![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Распределенный Postgresql срач
В итоге, в разборки насчет использования ![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
dmzlj postgresql под приличной нагрузкой в системе GPS-мониторинга подключили всех до кого смогли дотянутся, вплоть до разработчиков postgresql.
Я потерял нить обсуждения где-то в конце, но судя по результатам, ключевой аспект шизы был в двух вещах: фрагментированность данных и индекса (условно говоря - на каждую интересующую нас запись нужно было читать целую страницу данных, в которой все остальное нас не касалось) и нехватка памяти для кэша, в результате чего все начинало тормозить.
В качестве решения проблемы в итоге предложили какое-то хитрое двухуровневное партиционирование, которое должно устранить проблему фрагментации - сначала партиционировать сильно актуальные данные (текущий день(неделя, месяц)) по hash id объекта, затем переносить данные в партиции по времени кусками с одинаковыми id чтобы избежать фрагментации.
dmzlj postgresql под приличной нагрузкой в системе GPS-мониторинга подключили всех до кого смогли дотянутся, вплоть до разработчиков postgresql.Я потерял нить обсуждения где-то в конце, но судя по результатам, ключевой аспект шизы был в двух вещах: фрагментированность данных и индекса (условно говоря - на каждую интересующую нас запись нужно было читать целую страницу данных, в которой все остальное нас не касалось) и нехватка памяти для кэша, в результате чего все начинало тормозить.
В качестве решения проблемы в итоге предложили какое-то хитрое двухуровневное партиционирование, которое должно устранить проблему фрагментации - сначала партиционировать сильно актуальные данные (текущий день(неделя, месяц)) по hash id объекта, затем переносить данные в партиции по времени кусками с одинаковыми id чтобы избежать фрагментации.
no subject
no subject
ну и будет учитывать то что когда я в 9 утра начал заниматься этой проблемой - то я уже не спал более суток ;]
no subject
no subject
эксперты такие эксперты...
no subject
Настоятельно рекомендую прочитать про партиции в Оракле и партиции и MDC в DB2.
no subject
no subject
(Anonymous) 2010-03-26 04:16 am (UTC)(link)no subject
IOT вроде не умеет и читать данные только из индексов, если их хватает для запроса, судя по сегодняшним тестам - тоже.
А компрессия индексов (префиксная что ли?) это видимо тут бы помогло прилично, да.
no subject
У постгреса довольно ракообразная версионность и он всегда вынужден лазить в таблицу, дабы убедится, жива ли запись или как. Т.е. покрытие индексом в нем не работает. В данном случае это было как серпом по гонадам.
Угу, префиксная. Ну можно и собственно данные пожать.
no subject
no subject
no subject
no subject
no subject
no subject
(Anonymous) 2010-03-26 04:14 am (UTC)(link)партиции в oracle бывают только в Enterprise Edition ($47,500 за процессорное ядро, а не за сокет как в SE(1)),
причём за дополнительные деньги ($11,500/core)
Поэтому в банковском опердне Oracle Partitioning мы не используем.
no subject
no subject
такие вот дятлы только и умеют что паразитировать (причём на паразитах типа газа или нефтесосалок), их в реальные условия поместить, посдыхают быстро.
no subject
Ну, я про Orcale хорошую историю из первых рук знаю.
Жила-была компания Sleepy Cat Software. Имела очаровательный логотип и делала Berkeley DB. bdb шла под двумя лицензиями — Full BSD и коммерческой, причём была на сайте цена той лицензии. Потом пришлё Oracle и купил SCS.
А ещё через пару лет моему другу потребовалась коммерческая лицензия на BDB потому что нужна она была ему в заказном проекте шибко (ну вот удобнее всего с ней получалось), да и заказчик был понимающий, был готов денег отсыпать на неё. Пошёл мой друг на сайт Oracle, а нет там цены, есть ссылка “Request quote”. Нажал он на ссылку, заполнил поля формы (кто он, откуда, телефон свой рабочий, е-мейл, зачем ему вообще коммерческая BDB), и стал ждать. Ждал-ждал, через месяц плюнул — работать-то надо — и сделала его команда проект без BDB, что-то менее удобное взяли, да то ли с Apache license то ли с New BSD, то ли с MIT — в общем, то, что подходило по лицензии. А ещё через пару месяцев (т.е. месяцев через 6-9 после заполнения формочки на сайте Orcale) позвонил ему сейлз из Oracle и стал выяснять — а что за проект в точности, что за бизнес, хороший ли у них офис и сколько человек в фирме и какие у них зарплаты. В общем, зондировать почву на тему — а сколько за ту лицензию денег можно слупить с данного конкретного клиента. Ну, был послан в пешее эротическое на чистом английском, само собой.
no subject
no subject
(Anonymous) 2010-03-27 04:50 pm (UTC)(link)http://www.oracle.com/corporate/pricing/pricelists.html
Удивляет другое - как можно так злобно критиковать, додумывать, как оно "в серьёзном бизнесе", и при этом даже не потрудиться прочитать прайс из 1 страницы.
Эксперты по экспертам оракла такие эксперты.