Чувствую, что несу чушь,

[metaclass]

но не могу отделаться от ощущения, что с эволюцией баз данных нас очень сильно наебали.
Это по поводу этого: http://plumqqz.livejournal.com/323506.html
Меня очень сильно бесит расхождение технологий: с одной стороны, классические СУБД, с другой NoSQL, с третьей - всякие in-memory распределенные базы, с четвертой - всякие аналитические БД с column storage, сжатием данных и перекосом в сторону чтения типа vertica, sybase iq или забиваторской QD. Плюс еще всякие datomic до которой я никак добраться не могу.

Все это, очевидно, между собой мало совместимо, решает разные задачи, требует каких-то дурных миграцией данных между собой и превращает работу с большим количеством данных в тыкву, потому что вместо одного толкового решения существует десяток решений разной степени безумности, требующих интеграции.

Comments

[lazy-flyer.livejournal.com]

Не надо сливать. Словами расскажите, откуда столько.

[bydl0coder.livejournal.com]

Мы вот коровами восьмидесятого уровня торгуем, за месяц 5.5 миллиардов строк raw data.

[lazy-flyer.livejournal.com]

Мля, я точно отстал от жизни.

[bydl0coder.livejournal.com]

Да, причем безо всякой иронии. Быстрое железо (память, SSD) сейчас доступно всем.

[lazy-flyer.livejournal.com]

Да не в железе дело. Сколько строк и в скольки таблицах может занимать один инвойс? По 100 строк в 60 таблицах? Может я что то не заметил...

[bydl0coder.livejournal.com]

Насчет инвойсов не знаю, я про свою область говорю - социальные игры. Каждый чих пользователя записываем.

[lazy-flyer.livejournal.com]

Я о приземлённом. О продажах, финансах...

[slach.livejournal.com]

ок =))
100 гигов в год
Крупная торговая сеть
1С =)
50% этого объема это "итоги регистров накопления"
чеки хранятся свернутыми по позициям за сутки

[metaclass.livejournal.com]

Шапка: 1 запись
Строки: 1-N записей, до 100 условно
Какая-нибудь блокировка товара на складе - еще столько же записей.
История действий пользователей - в зависимости от реализации - от одной до N*количество действий записей
Если этот документ связан с другими - еще записи в таблицах связей.

Если же это реализовать более менее универсальным образом, то в случае EAV - сразу под тысячу записей, но всего в двух-трех таблицах (обкрученных индексами по всем полям, что эффективно увеличивает размер в 2-3 раза).

[lazy-flyer.livejournal.com]

Ндя...
В 2004-м году мне удалось достичь размера базы за год в ~600 МБ. При шестизначном номере инвойса...
База - в целом всей системы, вся логистика и финансы. Я бесконечно отстал от жизни.