metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2012-03-24 11:16 pm

А теперь о Ruby и Redmine

Я таки нашел, в чем причина вот этого бага:
no method error [] for class nil
https://bugs.launchpad.net/ubuntu/+source/ruby1.8/+bug/949011

Вкратце: недавно в большинстве реализаций хэш таблиц была найдена имманентная уязвимость к потенциальным DDOS атакам на веб-приложения, связанная с тем что атакующий мог посылать запросы такого вида, что внутри приложения они приводили к обращению к хэш-таблице всегда к одному bucket. Т.е. передавать ключи, которые после обработки hash-функцией всегда давали одно и то же значение, убивая эту таблицу из O(1) в O(N) и съедая тем самым процессор.

В руби это дело исправили:
https://launchpad.net/ubuntu/+source/ruby1.8/1.8.7.249-2ubuntu0.1
http://launchpadlibrarian.net/94639065/ruby1.8_1.8.7.249-2_1.8.7.249-2ubuntu0.1.diff.gz

конкретно эти строки:
++extern unsigned long rb_genrand_int32(void);
++
++void
++Init_st(void)
++{
++ hash_seed = rb_genrand_int32();
++}

+- register int key = 0;
++ register unsigned long key = hash_seed;

Формально, в норме бы ничего не поменялось, после этого.
НО: в редмайне оказалось место, где работа зависит от порядка элементов в хэше:
/usr/share/redmine/app/models/setting.rb,166
setting ||= new(:name => name, :value => @@available_settings[name]['default'])

тут происходит примерно такое: создается новый объект Setting и ему устанавливаются атрибуты name и value. И, это ключевой момент, установка атрибута value ЗАВИСИТ от наличия уже установленного атрибута name:
  def value=(v)
    v = v.to_yaml if v && @@available_settings[name]['serialized']
    write_attribute(:value, v.to_s)
  end

т.е. оно использует name чтобы получить значение по умолчанию из @@available_settings и далее пытается из него получить значение атрибута 'serialized'

Раньше это работало, а после секьюрити-фикса - работает в зависимости от rb_genrand_int32.

Так что ошибка, вообще говоря, в редмайне. Надеятся на порядок в хэш-таблице, это бред.

PS: а вот и фикс, месяц назад: http://www.redmine.org/projects/redmine/repository/revisions/8909/diff/trunk/app/models/setting.rb

[identity profile] metaclass.livejournal.com 2012-03-24 08:32 pm (UTC)(link)
Кстати в последнем редмайне исправили уже:
private
# Returns the Setting instance for the setting named name
# (record found in database or new record with default value)
def self.find_or_default(name)
name = name.to_s
raise "There's no setting named #{name}" unless @@available_settings.has_key?(name)
setting = find_by_name(name)
unless setting
setting = new(:name => name)
setting.value = @@available_settings[name]['default']
end
setting
end
end

[identity profile] theiced.livejournal.com 2012-03-25 04:59 am (UTC)(link)
ну - и у людей с рвмом проблема решилась сама собой.

и мы ещё раз увидели что бабуинасты ничего не тестируют.

[identity profile] avnik.livejournal.com 2012-03-24 08:47 pm (UTC)(link)
Закладываться на порядок в хеше, супер чо. Очень агильненько.
и эти люди запрещают мне ковырять в носу.

(Anonymous) 2012-03-26 02:53 pm (UTC)(link)
В 1.9 порядок в хеше гарантируется, до этого разработчики были ССЗБ. Ну жабисты и прочие XMLщики ликуют, да.

[identity profile] familom.livejournal.com 2012-03-24 08:50 pm (UTC)(link)
А потом они пишут статьи про то, как ужасно разговаривать на собеседованиях про классические алгоритмы и структуры данных.
Edited 2012-03-24 20:50 (UTC)

[identity profile] skif-by.livejournal.com 2012-03-24 08:53 pm (UTC)(link)
Полный бред. Авторы редмайн укуренные.

[identity profile] darkdrip.livejournal.com 2012-03-24 10:10 pm (UTC)(link)
нужно использовать пыхыпышный mantis!

[identity profile] inhate.livejournal.com 2012-03-25 06:09 am (UTC)(link)
Jira такой херней не страдает

(no subject)

[identity profile] darkdrip.livejournal.com - 2012-03-25 07:02 (UTC) - Expand

[identity profile] mr-s-o-u-l.livejournal.com 2012-03-24 08:53 pm (UTC)(link)
я пока сидю на 1.10 версии (там чето после 1.20 они конфиги вроде координально поменяли), гемы ставил ручками, редмайн из исходника в отдельного пользователя. Обновление ведра убунты пережило спокойно и не поперхнулось.

[identity profile] metaclass.livejournal.com 2012-03-24 09:04 pm (UTC)(link)
ядро ок.
ломается после апдейта руби.

если сломается, прикрутишь фикс отсюда: http://www.redmine.org/projects/redmine/repository/revisions/8909/diff/trunk/app/models/setting.rb

:)

[identity profile] mr-s-o-u-l.livejournal.com 2012-03-24 09:12 pm (UTC)(link)
оу сенкс! тока я руби вроде тоже руками ставил, не из репозитория.Оно нихрена и не обновлялось :))
задача в принципе стояла не постоянно держать боевую проапдейеченную и пропатченную систему, а приучить дикарей пользоваться унитазом приобщить ограниченный контингент НИИ ГиТ к таск-менеджменту.

(no subject)

[identity profile] metaclass.livejournal.com - 2012-03-24 21:37 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-03-24 21:48 (UTC) - Expand

(no subject)

[identity profile] mr-s-o-u-l.livejournal.com - 2012-03-24 21:57 (UTC) - Expand

(no subject)

[identity profile] avnik.livejournal.com - 2012-03-24 23:08 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-03-25 05:01 (UTC) - Expand

(no subject)

[identity profile] nivanych.livejournal.com - 2012-03-25 16:49 (UTC) - Expand

[identity profile] dnnx.livejournal.com 2012-03-24 09:57 pm (UTC)(link)
Немного ортогональный комент, но тоже про руби хэши.

Неоднократно сталкивался с тем, что в рубёвых гемах начинают валиться тесты при переходе с руби 1.8 на руби 1.9 только по той причине, что код основывается на порядке элементов в хэше. Кучу примеров видел и фиксил.

В 1.9 хэши стали сохранять порядок, в котором добавляются элементы. Такое изменение логично, потому что с теорией знакомы не все (пичаль-пичаль), а руби старается следовать принципу least surprise.

➜  ~  rvm use ruby-1.9.3-p125 && ruby -e "h = {}; h[:b]=2; h[:a]=1; p h"       
Using /home/dnnx/.rvm/gems/ruby-1.9.3-p125
{:b=>2, :a=>1}
➜  ~  rvm use ree-1.8.7-head && ruby -e "h = {}; h[:b]=2; h[:a]=1; p h" 
Using /home/dnnx/.rvm/gems/ree-1.8.7-head
{:a=>1, :b=>2}
Edited 2012-03-24 21:59 (UTC)

[identity profile] avnik.livejournal.com 2012-03-24 11:07 pm (UTC)(link)
Равнение на идиотов -- это правильно.

PS Пока что из языков только питон предсказуем до тошноты, может луа еще (хотя там в стандартных библиотеках undefined поведение местами)

[identity profile] x-a-e-p.livejournal.com 2012-03-24 11:28 pm (UTC)(link)
питон пусть с таймзонами работать научится сначала нормально, ну и нифига он не предсказуем(например, изменения в 3.x по сравнению с 2.x).
lua да, весьма стабилен, хотя тут ещё все зависит от конкретной реализации

(no subject)

[identity profile] avnik.livejournal.com - 2012-03-25 00:27 (UTC) - Expand

(no subject)

[identity profile] x-a-e-p.livejournal.com - 2012-03-25 01:15 (UTC) - Expand

[identity profile] theiced.livejournal.com 2012-03-25 05:04 am (UTC)(link)
ага, предсказуем. особенно когда кто нить где нить поставить один табик в исходниках. то то будет веселуха ;]

(no subject)

[identity profile] fraks-nsk.livejournal.com - 2012-03-25 05:40 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-03-25 06:03 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-03-25 06:29 (UTC) - Expand

(no subject)

[identity profile] nivanych.livejournal.com - 2012-03-25 16:50 (UTC) - Expand

(no subject)

[personal profile] wizzard - 2012-03-25 18:29 (UTC) - Expand

(no subject)

[identity profile] nivanych.livejournal.com - 2012-03-26 03:04 (UTC) - Expand

(no subject)

[personal profile] wizzard - 2012-03-26 09:39 (UTC) - Expand

(no subject)

[identity profile] avnik.livejournal.com - 2012-03-25 10:33 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-03-26 08:49 (UTC) - Expand

(no subject)

[identity profile] avnik.livejournal.com - 2012-03-26 09:12 (UTC) - Expand

(no subject)

(Anonymous) - 2012-03-26 11:03 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-03-26 11:43 (UTC) - Expand

(no subject)

[identity profile] mend0za.livejournal.com - 2012-03-25 09:24 (UTC) - Expand

(no subject)

[identity profile] avnik.livejournal.com - 2012-03-25 09:33 (UTC) - Expand

(no subject)

[identity profile] mend0za.livejournal.com - 2012-03-25 09:51 (UTC) - Expand

[identity profile] mudasobwa.livejournal.com 2012-03-25 03:49 am (UTC)(link)
Хренассе least surprise.

По этой логике и переменные нельзя терять после выхода из scope, вдруг я удивлюсь, что она была и вдруг исчезла.

[identity profile] teewoon.livejournal.com 2012-03-24 11:32 pm (UTC)(link)
А я чота всё больше смотрю в сторону chiliproject. Хотя там тоже не шоколадно. Полгода назад поломали древовидное отображение подтасков и родительских, обещают в следущем релизе поправить (к лету вроде), а пока что патч. Т.е. хотят - ломают, хотят - фишки прикручивают. Ну и в догонку - пачка core-девелоперов из редмайна ушла в chili, поэтому и там и сям случаются косяки.
Edited 2012-03-24 23:33 (UTC)

[identity profile] nivanych.livejournal.com 2012-03-25 06:58 am (UTC)(link)
Я стараюсь вообще хеши не использовать — обычно, никакой в этом нужды нет, исключения довольно редки.
Когда-то, помню, я довольно преуспел в создании хеш-функций и оптимизации всяких хешевых структур.

[identity profile] metaclass.livejournal.com 2012-03-25 07:11 am (UTC)(link)
В рубях, кложурах и прочих вебоориентированных лиспах хэш практически основная структура данных.

(no subject)

[identity profile] mend0za.livejournal.com - 2012-03-25 09:25 (UTC) - Expand

(no subject)

[identity profile] nivanych.livejournal.com - 2012-03-25 12:26 (UTC) - Expand

[identity profile] aamonster.livejournal.com 2012-03-25 07:59 am (UTC)(link)
Блджад. Косяк, вообще говоря, и в ruby тоже: не должно быть итераторов по неупорядоченным коллекциям.

[identity profile] metaclass.livejournal.com 2012-03-25 08:06 am (UTC)(link)
Да ну нахер, это же перечислимое множество очевидно.
А итератор никаких умолчаний на тему упорядоченности не предполагает вообще-то.

(no subject)

[identity profile] kkirsanov.livejournal.com - 2012-03-25 12:02 (UTC) - Expand

(no subject)

[identity profile] x-den.livejournal.com - 2012-03-28 12:04 (UTC) - Expand

(no subject)

[identity profile] kkirsanov.livejournal.com - 2012-03-28 12:12 (UTC) - Expand

[identity profile] mend0za.livejournal.com 2012-03-25 09:25 am (UTC)(link)
изумительный баг

[identity profile] metaclass.livejournal.com 2012-03-25 09:26 am (UTC)(link)
Ну. Вчера не смог справится с искушением разобраться, что же такого они утворили.

[identity profile] slonopotamus.livejournal.com 2012-03-25 05:05 pm (UTC)(link)
Что характерно -аналогичная история была и с петоном, когда в очередном релизе dict'ы перестали быть упорядоченными (хотя они никогда порядка не обещали).

Метнем фекалий.

[identity profile] livejournal.livejournal.com 2012-03-28 10:36 am (UTC)(link)
User [livejournal.com profile] inhate referenced to your post from Метнем фекалий. (http://inhate.livejournal.com/470287.html) saying: [...] траненное занятие. И судя по багу аффектящему алгоритмы работы основополагающих структур данных [...]