metaclass: (Default)
[personal profile] metaclass
но не могу отделаться от ощущения, что с эволюцией баз данных нас очень сильно наебали.
Это по поводу этого: http://plumqqz.livejournal.com/323506.html
Меня очень сильно бесит расхождение технологий: с одной стороны, классические СУБД, с другой NoSQL, с третьей - всякие in-memory распределенные базы, с четвертой - всякие аналитические БД с column storage, сжатием данных и перекосом в сторону чтения типа vertica, sybase iq или забиваторской QD. Плюс еще всякие datomic до которой я никак добраться не могу.

Все это, очевидно, между собой мало совместимо, решает разные задачи, требует каких-то дурных миграцией данных между собой и превращает работу с большим количеством данных в тыкву, потому что вместо одного толкового решения существует десяток решений разной степени безумности, требующих интеграции.

Date: 2012-10-23 06:43 pm (UTC)
From: [identity profile] bydl0coder.livejournal.com
Мы вот коровами восьмидесятого уровня торгуем, за месяц 5.5 миллиардов строк raw data.

Date: 2012-10-23 06:47 pm (UTC)
From: [identity profile] lazy-flyer.livejournal.com
Мля, я точно отстал от жизни.

Date: 2012-10-23 06:51 pm (UTC)
From: [identity profile] bydl0coder.livejournal.com
Да, причем безо всякой иронии. Быстрое железо (память, SSD) сейчас доступно всем.

Date: 2012-10-23 06:55 pm (UTC)
From: [identity profile] lazy-flyer.livejournal.com
Да не в железе дело. Сколько строк и в скольки таблицах может занимать один инвойс? По 100 строк в 60 таблицах? Может я что то не заметил...

Date: 2012-10-23 06:57 pm (UTC)
From: [identity profile] bydl0coder.livejournal.com
Насчет инвойсов не знаю, я про свою область говорю - социальные игры. Каждый чих пользователя записываем.

Date: 2012-10-23 07:04 pm (UTC)
From: [identity profile] lazy-flyer.livejournal.com
Я о приземлённом. О продажах, финансах...

Date: 2012-10-30 08:12 am (UTC)
From: [identity profile] slach.livejournal.com
ок =))
100 гигов в год
Крупная торговая сеть
1С =)
50% этого объема это "итоги регистров накопления"
чеки хранятся свернутыми по позициям за сутки

Date: 2012-10-23 07:08 pm (UTC)
From: [identity profile] metaclass.livejournal.com
Шапка: 1 запись
Строки: 1-N записей, до 100 условно
Какая-нибудь блокировка товара на складе - еще столько же записей.
История действий пользователей - в зависимости от реализации - от одной до N*количество действий записей
Если этот документ связан с другими - еще записи в таблицах связей.

Если же это реализовать более менее универсальным образом, то в случае EAV - сразу под тысячу записей, но всего в двух-трех таблицах (обкрученных индексами по всем полям, что эффективно увеличивает размер в 2-3 раза).

Date: 2012-10-23 07:15 pm (UTC)
From: [identity profile] lazy-flyer.livejournal.com
Ндя...
В 2004-м году мне удалось достичь размера базы за год в ~600 МБ. При шестизначном номере инвойса...
База - в целом всей системы, вся логистика и финансы. Я бесконечно отстал от жизни.

Profile

metaclass: (Default)
metaclass

April 2017

S M T W T F S
      1
2345678
9101112 131415
16171819202122
23242526272829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 7th, 2025 04:28 am
Powered by Dreamwidth Studios