metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2014-04-09 10:59 pm

BigData - это когда вместо схемы мусор, а разработчики боятся джоинов?

http://habrahabr.ru/company/beeline/blog/218669/
В статье вроде все не сильно страшно, но вот вопрос - откуда такая боязнь join-ов?
Если там таблица c размерностями мизерного размера и помещается вместе с индексами в кэш, то join на нее достаточно дешевый, чтобы на него было пофиг совершенно, по сравнению с вычитыванием каких-нибудь сотен миллионов записей из таблицы фактов.

Впрочем, если в реляционную БД попытаться засунуть неструктурированные данные и попытаться их нормализовать, а еще не дай бог попытаться поверх этого сделать иммутабельность, то запросы действительно вырождаются в десятиэтажные джоины (и все равно я особой проблемы в этом не вижу).

[identity profile] anonim-legion.livejournal.com 2014-04-11 09:43 am (UTC)(link)
По секциям раскладывать.

О теме поста:

Мне предлагали работу Старшего Инженера в МТС. За 45 т.р.(~1500$), в декабре 2013 года. Мне кажется, для Старшего Инженера это маловато. Не сомневаюсь, что автор статьи, уважаемый билайновский программист, имеющий опыт работы в Голландии, Европе и на Луне имеет больше денег. Но он один - а данных много. Вот отсюда и возникает необходимость в БигДата.

Кстати, будь моя воля - я бы запретил оператору сотовой связи торговать аппаратурой связи.

[identity profile] berezovsky.livejournal.com 2014-04-11 10:32 am (UTC)(link)
А чем опыт работы в Голландии отличается от опыта работы в Беларуси?

[identity profile] anonim-legion.livejournal.com 2014-04-11 10:39 am (UTC)(link)
Я это к тому, что в сотовых компаниях сотрудникам платить не любят. А вот звезда... из Явропы... такому можно и заплатить. Опять же, он выражение Big Data знает.

[identity profile] berezovsky.livejournal.com 2014-04-11 10:46 am (UTC)(link)
А-а-а, так там рак. Я просто боюсь хабры открывать.