metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2014-04-09 10:59 pm

BigData - это когда вместо схемы мусор, а разработчики боятся джоинов?

http://habrahabr.ru/company/beeline/blog/218669/
В статье вроде все не сильно страшно, но вот вопрос - откуда такая боязнь join-ов?
Если там таблица c размерностями мизерного размера и помещается вместе с индексами в кэш, то join на нее достаточно дешевый, чтобы на него было пофиг совершенно, по сравнению с вычитыванием каких-нибудь сотен миллионов записей из таблицы фактов.

Впрочем, если в реляционную БД попытаться засунуть неструктурированные данные и попытаться их нормализовать, а еще не дай бог попытаться поверх этого сделать иммутабельность, то запросы действительно вырождаются в десятиэтажные джоины (и все равно я особой проблемы в этом не вижу).

[identity profile] permea-kra.livejournal.com 2014-04-11 04:52 pm (UTC)(link)
да ващемто ни параллельный merge sort на кластере, ни параллельный merge join на нем же каким-то космическим рокет-сайнсом не являются, поэтому реляционность сама по себе шардингу не помеха. Там скорее проблема в том, что в распространенное бесплатное это пока не запилили, ну и сетка в таком кластере должна быть очень веселой, чтобы петабайты гонять.