metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2012-10-23 11:27 am

Чувствую, что несу чушь,

но не могу отделаться от ощущения, что с эволюцией баз данных нас очень сильно наебали.
Это по поводу этого: http://plumqqz.livejournal.com/323506.html
Меня очень сильно бесит расхождение технологий: с одной стороны, классические СУБД, с другой NoSQL, с третьей - всякие in-memory распределенные базы, с четвертой - всякие аналитические БД с column storage, сжатием данных и перекосом в сторону чтения типа vertica, sybase iq или забиваторской QD. Плюс еще всякие datomic до которой я никак добраться не могу.

Все это, очевидно, между собой мало совместимо, решает разные задачи, требует каких-то дурных миграцией данных между собой и превращает работу с большим количеством данных в тыкву, потому что вместо одного толкового решения существует десяток решений разной степени безумности, требующих интеграции.

[identity profile] oldmann.livejournal.com 2012-10-23 08:34 am (UTC)(link)
ребе, вполне себе есть старый добрый DB2, который в одном флаконе RDBMS, NoSQL, и распределённая база со сжатием данных и column storage в одном флаконе. прекрасно работающая и совместимая.

просто у красноглазых карго-культ: они подсмотрели, как бывает у Белого Человека, а теперь отправляют ритуалы, строят из пальм и соломы копии взлётно-посадочных полос, аэропортов и радиовышек.

[identity profile] theiced.livejournal.com 2012-10-23 08:38 am (UTC)(link)
тот самый дб2 который требует обезьянку-дба исполняющего ритуальные танцы 24/7 или падает?

[identity profile] oldmann.livejournal.com 2012-10-23 08:39 am (UTC)(link)
не падает. ну а дба нужен при любой большой базе, в общем-то.

[identity profile] theiced.livejournal.com 2012-10-23 08:41 am (UTC)(link)
я хочу увидеть дб2 который просто работает. я, конечно, допускаю что у меня нерепрезентативная выборка но то что я видел не работало принципиально.

(no subject)

[identity profile] oldmann.livejournal.com - 2012-10-23 08:43 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-10-23 08:48 (UTC) - Expand

(no subject)

[identity profile] oldmann.livejournal.com - 2012-10-23 08:49 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-10-23 08:51 (UTC) - Expand

(no subject)

[identity profile] oldmann.livejournal.com - 2012-10-23 09:15 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-10-23 22:02 (UTC) - Expand

(no subject)

[identity profile] enternet.livejournal.com - 2012-10-23 08:58 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 09:53 (UTC) - Expand

(no subject)

[identity profile] theiced.livejournal.com - 2012-10-23 17:27 (UTC) - Expand

(no subject)

[identity profile] veter-r-r.livejournal.com - 2012-10-23 13:51 (UTC) - Expand

[identity profile] veter-r-r.livejournal.com 2012-10-23 01:50 pm (UTC)(link)
Он старый, но очень недобрый.

[identity profile] plumqqz.livejournal.com 2012-10-23 08:39 am (UTC)(link)
нас очень сильно наебали

Вы, если не заметили, живете в мире наживы и чистогана. Хотя, может быть, в хранимой Богом и лично Александром Григорьевичем это не совсем так - то в остальном мире совсем так.
Следовательно, продавца, который сегодня не занимается работорговлей исключительно потому, что это из-за дурацких законов очень геморройное занятие, нисколько не волнует то, что вам надо и что вам хочется. Ему надо продать, причем так, чтобы денег содрать побольше, а расходов понести поменьше.
То есть удивляться тому, что элитные расчески для ресниц - это обязательнейший предмет быта каждого уважающего себя современного человека не надо.
(deleted comment)

[identity profile] nicka-startcev.livejournal.com 2012-10-23 09:43 am (UTC)(link)
>прикрутить ко всему этому SQL

какой именно SQL?
Диалектов этого сикеля - как собак нерезанных и по факту технический перенос чего угодно с одного на другой будет невозможен.

Это ж песец, дорогие товарищи, это примерно как придумать такой язык, который компилируется только одним компилятором, а потом придумать еще стопицот таких же языков и диалектов вместо достаточно широкого Стандарта.

[identity profile] metaclass.livejournal.com 2012-10-23 09:49 am (UTC)(link)
Да есть стандарт на него. Но козлопитоны производители сделали миллионы расширений или не целиком реализовали стандарт.

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 10:11 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 10:28 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 11:14 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 11:46 (UTC) - Expand

(no subject)

[identity profile] falcrum.livejournal.com - 2012-10-23 15:14 (UTC) - Expand

(no subject)

[identity profile] zamotivator.livejournal.com - 2012-10-23 20:02 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 20:21 (UTC) - Expand

(no subject)

[identity profile] zamotivator.livejournal.com - 2012-10-23 20:22 (UTC) - Expand

(no subject)

[identity profile] zamotivator.livejournal.com - 2012-10-24 00:20 (UTC) - Expand

(no subject)

[identity profile] kika.livejournal.com - 2012-10-24 00:04 (UTC) - Expand

(no subject)

[identity profile] kika.livejournal.com - 2012-10-24 00:21 (UTC) - Expand

(no subject)

[identity profile] tzirechnoy.livejournal.com - 2012-10-26 09:54 (UTC) - Expand
(deleted comment)

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 09:57 (UTC) - Expand
(deleted comment)
(deleted comment)

(no subject)

(Anonymous) - 2012-10-23 17:58 (UTC) - Expand
(deleted comment)

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 19:02 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 10:23 (UTC) - Expand

(no subject)

[identity profile] gds.livejournal.com - 2012-10-23 10:29 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 10:31 (UTC) - Expand

(no subject)

[identity profile] gds.livejournal.com - 2012-10-23 10:59 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 11:03 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 11:22 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 11:30 (UTC) - Expand

(no subject)

[identity profile] berezovsky.livejournal.com - 2012-10-23 11:43 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 11:52 (UTC) - Expand

(no subject)

(Anonymous) - 2012-10-23 18:02 (UTC) - Expand

(no subject)

[identity profile] berezovsky.livejournal.com - 2012-10-23 20:13 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 20:20 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-24 05:07 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-24 17:22 (UTC) - Expand
(deleted comment)

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 19:03 (UTC) - Expand

(no subject)

(Anonymous) - 2012-10-23 18:00 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 19:13 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 10:33 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 10:35 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 11:21 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 11:23 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 11:31 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-23 11:36 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 11:40 (UTC) - Expand

(no subject)

(Anonymous) - 2012-10-23 18:05 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 19:13 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 19:15 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 19:17 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 19:29 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 19:33 (UTC) - Expand

(no subject)

[identity profile] berezovsky.livejournal.com - 2012-10-23 19:47 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 19:51 (UTC) - Expand

(no subject)

[identity profile] berezovsky.livejournal.com - 2012-10-23 20:04 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-23 20:09 (UTC) - Expand

(no subject)

[identity profile] berezovsky.livejournal.com - 2012-10-23 20:18 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-24 06:55 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-25 10:54 (UTC) - Expand

(no subject)

[identity profile] plumqqz.livejournal.com - 2012-10-25 11:00 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-25 11:12 (UTC) - Expand

(no subject)

(Anonymous) - 2012-10-23 18:02 (UTC) - Expand

(no subject)

[identity profile] w00dy.livejournal.com - 2012-10-23 11:24 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 11:33 (UTC) - Expand

(no subject)

[identity profile] w00dy.livejournal.com - 2012-10-23 11:47 (UTC) - Expand

(no subject)

[identity profile] volodymir-k.livejournal.com - 2012-10-23 15:47 (UTC) - Expand

[identity profile] zamotivator.livejournal.com 2012-10-23 07:59 pm (UTC)(link)
> Но специализированные решения для хранения разряженных многомерных массивов более производительны.

О, а можно поподробней о таких решениях?
Я как раз такое пилю right now - SciDB
(deleted comment)

(no subject)

[identity profile] zamotivator.livejournal.com - 2012-10-23 20:01 (UTC) - Expand

[identity profile] enternet.livejournal.com 2012-10-23 09:02 am (UTC)(link)
Column storage сейчас вроде все умеют.

[identity profile] maxdz.livejournal.com 2012-10-23 09:53 am (UTC)(link)
Это только в детских садах сложные задачи решают простыми способами, с единственным ЯП и БД. А мир - он сложнее и разнообразнее. :)

[identity profile] theiced.livejournal.com 2012-10-23 05:29 pm (UTC)(link)
в реальном мире шифрует данные путём десятикратного ксора. макака колхозная, мы твой говнософт уже видели - молчал бы.

[identity profile] maxdz.livejournal.com 2012-10-23 05:33 pm (UTC)(link)
В реальном мире, много чего интересного происходит. Но недоразвитым колхозным макакам, сидящим в говне стагнирующего колхоза - недоступно. Несчастным макакам даже работающие ДБ2 посмотреть негде. :)

(no subject)

[identity profile] theiced.livejournal.com - 2012-10-23 22:15 (UTC) - Expand

(no subject)

[identity profile] maxdz.livejournal.com - 2012-10-24 07:14 (UTC) - Expand

[identity profile] arush-damage.livejournal.com 2012-10-23 12:04 pm (UTC)(link)
Оригинал лучше:


Да и стих перед песней доставляет %)))

[identity profile] lazy-flyer.livejournal.com 2012-10-23 03:54 pm (UTC)(link)
Ребе, я позволю себе не скромно поинтересоваться...
А нахера вам всё это? У вас сколько терабайт данных в базе складировано?

[identity profile] metaclass.livejournal.com 2012-10-23 05:27 pm (UTC)(link)
Пока десятки гигабайт.
Интересно масштабирование этого вверх для начала в 10 раз, без потери производительности и превращения обслуживания в ад.
Думаю все-таки использовать в этом случае Postgresql, посмотреть, что из этого выйдет. А там видно будет.

[identity profile] lazy-flyer.livejournal.com 2012-10-23 05:37 pm (UTC)(link)
Ипануццо.
Это сколько документов нужно в год сплодить и за сколько лет держать историю, что бы выйти на такие объёмы...

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 17:53 (UTC) - Expand

(no subject)

[identity profile] lazy-flyer.livejournal.com - 2012-10-23 18:11 (UTC) - Expand

(no subject)

[identity profile] rashid80.livejournal.com - 2012-11-04 20:53 (UTC) - Expand

(no subject)

[identity profile] rashid80.livejournal.com - 2012-11-04 20:54 (UTC) - Expand

(no subject)

(Anonymous) - 2012-10-23 18:06 (UTC) - Expand

(no subject)

[identity profile] lazy-flyer.livejournal.com - 2012-10-23 18:13 (UTC) - Expand

(no subject)

[identity profile] bydl0coder.livejournal.com - 2012-10-23 18:43 (UTC) - Expand

(no subject)

[identity profile] lazy-flyer.livejournal.com - 2012-10-23 18:47 (UTC) - Expand

(no subject)

[identity profile] bydl0coder.livejournal.com - 2012-10-23 18:51 (UTC) - Expand

(no subject)

[identity profile] lazy-flyer.livejournal.com - 2012-10-23 18:55 (UTC) - Expand

(no subject)

[identity profile] bydl0coder.livejournal.com - 2012-10-23 18:57 (UTC) - Expand

(no subject)

[identity profile] lazy-flyer.livejournal.com - 2012-10-23 19:04 (UTC) - Expand

(no subject)

[identity profile] slach.livejournal.com - 2012-10-30 08:12 (UTC) - Expand

(no subject)

[identity profile] metaclass.livejournal.com - 2012-10-23 19:08 (UTC) - Expand

(no subject)

[identity profile] lazy-flyer.livejournal.com - 2012-10-23 19:15 (UTC) - Expand

[identity profile] kranov.livejournal.com 2012-10-23 08:41 pm (UTC)(link)
так смысла нет про вертику говорить, 48гиг озу стоит $500, а вот если 10-ки терабайт, и результат через нужен минуту

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:08 pm (UTC)(link)
Не могу отделаться от ощущения, что с эволюцией процессоров нас наебали.
Не могу отделаться от ощущения, что с эволюцией языков программирования нас наебали.
Не могу отделаться от ощущения, что нас наебали.

[identity profile] berezovsky.livejournal.com 2012-10-23 06:12 pm (UTC)(link)
это ощущение называется FFFFFFFFFUUUUUUUUUUUUUUUUUUUUUU

[identity profile] bydl0coder.livejournal.com 2012-10-23 06:44 pm (UTC)(link)
Да, можно комикс сделать. Типа, чувак пишет запрос в гугл "database management system"