metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2012-10-23 11:27 am
  • Add Memory
  • Share This Entry

Чувствую, что несу чушь,

но не могу отделаться от ощущения, что с эволюцией баз данных нас очень сильно наебали.
Это по поводу этого: http://plumqqz.livejournal.com/323506.html
Меня очень сильно бесит расхождение технологий: с одной стороны, классические СУБД, с другой NoSQL, с третьей - всякие in-memory распределенные базы, с четвертой - всякие аналитические БД с column storage, сжатием данных и перекосом в сторону чтения типа vertica, sybase iq или забиваторской QD. Плюс еще всякие datomic до которой я никак добраться не могу.

Все это, очевидно, между собой мало совместимо, решает разные задачи, требует каких-то дурных миграцией данных между собой и превращает работу с большим количеством данных в тыкву, потому что вместо одного толкового решения существует десяток решений разной степени безумности, требующих интеграции.

Page 3 of 5

Threaded | Top-Level Comments Only

[identity profile] volodymir-k.livejournal.com 2012-10-23 03:47 pm (UTC)(link)
В стандарте используются таблицы вида "tablename : last_pk_value"
либо (при наличии оптимизации и точки контроля) делают select max(id) + 1 from table / retry on commit fail

> т.е. вернуть из insert/update значения полей, которые были автосгенерированы

это уровень API, а не SQL

[identity profile] lazy-flyer.livejournal.com 2012-10-23 03:54 pm (UTC)(link)
Ребе, я позволю себе не скромно поинтересоваться...
А нахера вам всё это? У вас сколько терабайт данных в базе складировано?

[identity profile] theiced.livejournal.com 2012-10-23 05:27 pm (UTC)(link)
иди сортировку по заксоренным полям чини, макака убогая>

[identity profile] metaclass.livejournal.com 2012-10-23 05:27 pm (UTC)(link)
Пока десятки гигабайт.
Интересно масштабирование этого вверх для начала в 10 раз, без потери производительности и превращения обслуживания в ад.
Думаю все-таки использовать в этом случае Postgresql, посмотреть, что из этого выйдет. А там видно будет.

[identity profile] theiced.livejournal.com 2012-10-23 05:29 pm (UTC)(link)
в реальном мире шифрует данные путём десятикратного ксора. макака колхозная, мы твой говнософт уже видели - молчал бы.

[identity profile] maxdz.livejournal.com 2012-10-23 05:33 pm (UTC)(link)
В реальном мире, много чего интересного происходит. Но недоразвитым колхозным макакам, сидящим в говне стагнирующего колхоза - недоступно. Несчастным макакам даже работающие ДБ2 посмотреть негде. :)

[identity profile] lazy-flyer.livejournal.com 2012-10-23 05:37 pm (UTC)(link)
Ипануццо.
Это сколько документов нужно в год сплодить и за сколько лет держать историю, что бы выйти на такие объёмы...

[identity profile] metaclass.livejournal.com 2012-10-23 05:53 pm (UTC)(link)
Да 4 млн проводок (аггрегированных, исходных раз в 5 больше) за 5 лет, плюс аналитика по ним, плюс история действий пользователей. Документов поменьше будет, не больше гигабайта.

(Anonymous) 2012-10-23 05:58 pm (UTC)(link)
Тоесть проблемы индейцев шерифа.... Дык в жопу такого шерифа. Я думал я один такой дурак, но вот вопль "автоинкрементные поля/генераторы-секвенсы и возвращение результата последней DML операции (т.е. вернуть из insert/update значения полей, которые были автосгенерированы"

Это уже не просто вопль. В отличае от меня этот человек что, то пишет и не первый год и у него такие вот вопросы.

Насчет DB2 ну не знаю. MySQL и MS SQL по сравнению с ним это уже не то.

(Anonymous) 2012-10-23 06:00 pm (UTC)(link)
Что еще написать? может собственную СУБД? Нахрен она такая нужна которая обычную задачу не делает?

(Anonymous) 2012-10-23 06:02 pm (UTC)(link)
Приплыли... 1) Вам уже раньше сказали 2) чтоб посрать я должен соорудить Байконур! Нахрен.

(Anonymous) 2012-10-23 06:02 pm (UTC)(link)
Причем очень смешно работает LAST_INSERT_ID() при многопоточности! Офигенно!

(Anonymous) 2012-10-23 06:05 pm (UTC)(link)
Осталось только научиться генерить такие ID. UUID хороши но блин размер... И правила таких ID? Шел 2012 год, а Степаныч изучал модуль рандом....

(Anonymous) 2012-10-23 06:06 pm (UTC)(link)
За год легко 40 гигов. Могу базу слить. Правда там жопа с ушами...

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:08 pm (UTC)(link)
Не могу отделаться от ощущения, что с эволюцией процессоров нас наебали.
Не могу отделаться от ощущения, что с эволюцией языков программирования нас наебали.
Не могу отделаться от ощущения, что нас наебали.

[identity profile] lazy-flyer.livejournal.com 2012-10-23 06:11 pm (UTC)(link)
Огром. Но всё равно как то на десятки гигов...Наверное я совсем отстал от жизни. :)

[identity profile] berezovsky.livejournal.com 2012-10-23 06:12 pm (UTC)(link)
это ощущение называется FFFFFFFFFUUUUUUUUUUUUUUUUUUUUUU

[identity profile] lazy-flyer.livejournal.com 2012-10-23 06:13 pm (UTC)(link)
Не надо сливать. Словами расскажите, откуда столько.

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:43 pm (UTC)(link)
Мы вот коровами восьмидесятого уровня торгуем, за месяц 5.5 миллиардов строк raw data.

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:44 pm (UTC)(link)
Да, можно комикс сделать. Типа, чувак пишет запрос в гугл "database management system"

[identity profile] lazy-flyer.livejournal.com 2012-10-23 06:47 pm (UTC)(link)
Мля, я точно отстал от жизни.

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:51 pm (UTC)(link)
Да, причем безо всякой иронии. Быстрое железо (память, SSD) сейчас доступно всем.

[identity profile] lazy-flyer.livejournal.com 2012-10-23 06:55 pm (UTC)(link)
Да не в железе дело. Сколько строк и в скольки таблицах может занимать один инвойс? По 100 строк в 60 таблицах? Может я что то не заметил...

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:57 pm (UTC)(link)
Насчет инвойсов не знаю, я про свою область говорю - социальные игры. Каждый чих пользователя записываем.

[identity profile] metaclass.livejournal.com 2012-10-23 07:02 pm (UTC)(link)
ADO сам по себе вроде не умеет же?
Threaded | Top-Level Comments Only

Page 3 of 5