metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2014-04-09 10:59 pm

BigData - это когда вместо схемы мусор, а разработчики боятся джоинов?

http://habrahabr.ru/company/beeline/blog/218669/
В статье вроде все не сильно страшно, но вот вопрос - откуда такая боязнь join-ов?
Если там таблица c размерностями мизерного размера и помещается вместе с индексами в кэш, то join на нее достаточно дешевый, чтобы на него было пофиг совершенно, по сравнению с вычитыванием каких-нибудь сотен миллионов записей из таблицы фактов.

Впрочем, если в реляционную БД попытаться засунуть неструктурированные данные и попытаться их нормализовать, а еще не дай бог попытаться поверх этого сделать иммутабельность, то запросы действительно вырождаются в десятиэтажные джоины (и все равно я особой проблемы в этом не вижу).

[identity profile] avnik.livejournal.com 2014-04-10 03:28 am (UTC)(link)
обычно -- хипстерское bigdata -- это то что вы описали, но втиснутое в бюджет в три раза меньше. И все беды там ровно от этого.

[identity profile] vit-r.livejournal.com 2014-04-10 05:33 am (UTC)(link)
Хипстерское - это два application сервера, load balancer и два database сервера (потому что инвестор платит) на полтора визита в минуту (ну не пошёл пользователь на наш замечательный сайт, что тут поделать?)

[identity profile] nivanych.livejournal.com 2014-04-10 09:18 am (UTC)(link)
Очень точно описано.