Распределенный Postgresql срач

[metaclass]

В итоге, в разборки насчет использования dmzlj postgresql под приличной нагрузкой в системе GPS-мониторинга подключили всех до кого смогли дотянутся, вплоть до разработчиков postgresql.

Я потерял нить обсуждения где-то в конце, но судя по результатам, ключевой аспект шизы был в двух вещах: фрагментированность данных и индекса (условно говоря - на каждую интересующую нас запись нужно было читать целую страницу данных, в которой все остальное нас не касалось) и нехватка памяти для кэша, в результате чего все начинало тормозить.

В качестве решения проблемы в итоге предложили какое-то хитрое двухуровневное партиционирование, которое должно устранить проблему фрагментации - сначала партиционировать сильно актуальные данные (текущий день(неделя, месяц)) по hash id объекта, затем переносить данные в партиции по времени кусками с одинаковыми id чтобы избежать фрагментации.

Comments

[vp.livejournal.com]

У нас задача вообще обобщенная. Мы делаем софт. Потому сразу считаем, что все приборы разные, есть глупые, есть очень глупые и т.п. Потому все алгоритмы - "наверху".
С выбросами боремся тучей алгоритмов.
1. Если стоянка, то координата усредняется
2. изменения координат фильтруются вариацией на тему медианного фильтра
3. скорость постоянно пересчитывается вручную (есть недоверие к тому, что насчитывают приборы)
4. скользящими окнами высчитываются 2е производные на предмет "а не уплющило ли от такого скачка там водителя насмерть", и по таким критериям бракуются скачки как невозможные.

Вот пример картинки эффективности выбранных алгоритмов.

ЗЫ Конечно, когда имеет место залочка на приборы одного типа и они НОРМАЛЬНЫЕ, масса подобных мер не нужна :)

[dmzlj.livejournal.com]

Мы что-то в итоге решили, что все приборы - говно, а какие не говно, те стоят 500 евро. Проще свой сделать и везде его пихать.

[vp.livejournal.com]

Мы почти аналогичное сделали. Но т.к. мощностей на производство нет, то мы снюхались с нормальной конторой, которая готова все сделать. а мы ей грамотно ставим задачи и описываем желаемую бизнес-логику.
Например, последняя версия прибора - это сплошной греп и логи :)

[dmzlj.livejournal.com]

Прикольно, а мы по скорости звука считаем.