metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2014-04-09 10:59 pm

BigData - это когда вместо схемы мусор, а разработчики боятся джоинов?

http://habrahabr.ru/company/beeline/blog/218669/
В статье вроде все не сильно страшно, но вот вопрос - откуда такая боязнь join-ов?
Если там таблица c размерностями мизерного размера и помещается вместе с индексами в кэш, то join на нее достаточно дешевый, чтобы на него было пофиг совершенно, по сравнению с вычитыванием каких-нибудь сотен миллионов записей из таблицы фактов.

Впрочем, если в реляционную БД попытаться засунуть неструктурированные данные и попытаться их нормализовать, а еще не дай бог попытаться поверх этого сделать иммутабельность, то запросы действительно вырождаются в десятиэтажные джоины (и все равно я особой проблемы в этом не вижу).

[identity profile] serbod.livejournal.com 2014-04-11 06:40 am (UTC)(link)
Ежемесячные расходы на сбор и хранение "сырых" данных не превышают расходов на содержание одного не шибко ценного сотрудника. Зато польза от анализа и принятого решения может быть впечатляющей.

Пример. Как-то возникла необходимость посчитать среднее время обслуживания клиента на кассе. Не время между операциями, не время от создания до закрытия чека (чек создают заранее), а время от добавления первой строки до закрытия чека. В БД такой информации нет, а в логах есть. Сделали разбивку по кассирам, добавили счетчик ошибок и отмен - сразу открылась картина, кто на кассе работает, а кто херней страдает.

[identity profile] yuri-yurkevich.livejournal.com 2014-04-11 07:09 am (UTC)(link)
Как можно страдать хернёй на кассе, если cама стоящая над кассиром очередь давит на психику?

То, что один работает медленнее, другой быстрее говорит прежде всего о том, что кому-то труднее, чем другому.

[identity profile] anonim-legion.livejournal.com 2014-04-11 09:50 am (UTC)(link)
Ах, мечты...

Потом пришел инспектор к владельцу магазина, разбил ему лицо, и посоветовал чуть сэкономить на кабаках, зато нанять еще двух кассирш. Пообещав, что в случае неисполнения в течении двух недель - ноги сломает.

Кассирш наняли, уменьшилась нагрузка на персонал, уменьшилась длина очереди на кассе, а ширина хари у владельца магазина тоже слегка уменьшилась.

Без подобного подхода, любая оптимизация - это "вы будете работать больше за те же деньги, а прибыль от этого пойдет на прокорм дяди".

[identity profile] serbod.livejournal.com 2014-04-11 10:17 am (UTC)(link)
Странные у вас мечты.

В действительности дурная кассирша может создать проблемы с фискальными органами.