Распределенный Postgresql срач

[metaclass]

В итоге, в разборки насчет использования dmzlj postgresql под приличной нагрузкой в системе GPS-мониторинга подключили всех до кого смогли дотянутся, вплоть до разработчиков postgresql.

Я потерял нить обсуждения где-то в конце, но судя по результатам, ключевой аспект шизы был в двух вещах: фрагментированность данных и индекса (условно говоря - на каждую интересующую нас запись нужно было читать целую страницу данных, в которой все остальное нас не касалось) и нехватка памяти для кэша, в результате чего все начинало тормозить.

В качестве решения проблемы в итоге предложили какое-то хитрое двухуровневное партиционирование, которое должно устранить проблему фрагментации - сначала партиционировать сильно актуальные данные (текущий день(неделя, месяц)) по hash id объекта, затем переносить данные в партиции по времени кусками с одинаковыми id чтобы избежать фрагментации.

Comments

[metaclass.livejournal.com]

Я подозреваю, там что-нибудь из соображений "следить за сверхскоростным поездами". Особо это радует в контексте точности GPS-приемников и скорости выдачи ими результатов :)

[dmzlj.livejournal.com]

Главным образом потому, что они сами не понимают чего хотят, но исходят из того, что если попросят раз в полсекунды, то им будет в случае чего не так худо, как если попросят раз в полминуты. Ну типа они считают, что если что, то из полсекунды полминуты они сделают как-нибудь, а вот наоборот --- никак.

И убедить их врядли в чем-то можно, потому что что такое РЖД и что такое мы.

[permea-kra.livejournal.com]

Я так подозреваю, что скорее отслеживать момент отбытия составов. Там, в общем-то, посекундная точность может быть оправдана.

[permea-kra.livejournal.com]

В смысле, на ЖД несмотря на размеры график надо выдерживать точно. А то торможение за 15 секунд, впаяешься в спину - пред. состава - не отмоешь.

[b00ter.livejournal.com]

Э-э-э... РЖД хочет заменить машинистов роботами?

[permea-kra.livejournal.com]

Оно всегда хочет. Машинист нужен для исполнения команд диспетчера и форсмажоров. БОльшую часть времени его действия подчинены строгому алгоритму и проходу между блокирующей автоматикой.

[norguhtar.livejournal.com]

Я подозреваю что N-секунд будут лицезреть состав кторый стоит :))

[dmzlj.livejournal.com]

Секунд? Они будут сутками мониторить стоящие составы. А особенно, спецсоставы, которые стоят годами, ну раз в месяц на учения съездят.

[norguhtar.livejournal.com]

Ну для них то точно надо полусекундный апдейт, а то вдруг сопрут!

[dmzlj.livejournal.com]

Ну танки же сперли, что б составы не спереть

[blacklion.livejournal.com]

Да вроде же сняли скальпели с вооружения :)

[dmzlj.livejournal.com]

Ну они по-любому другому ведомству принадлежали бы.