Amazon EMR

[metaclass]

Наслушался сегодня зогбиватора про то, как его знакомые на Amazon EMR молотят жабой какой-то Machine Learning c финансово-маркетинговой аналитикой и сижу думаю, где взять столько данных и тяжелой по CPU, но параллелизуемой аналитики, чтобы имело смысл попробовать там что-нибудь посчитать.
А то получается, что у меня, например, похожая аналитика всегда упирается в дисковый i/o и глобального смысла в том, чтобы закачивать данные на S3 и оттуда их уже молотить на EMR, я не наблюдаю.
Вот если бы какие-нибудь десятки-сотни гигабайт данных от независимых источников сразу туда складывать, препроцессить и забирать обработанные - наверно имело бы смысл.

Comments

[maxdz.livejournal.com]

>где взять столько данных и тяжелой по CPU, но параллелизуемой аналитики, чтобы имело смысл попробовать там что-нибудь посчитать.

Я коллекционирую ХМЛ-фиды нескольких крупных букмекерских контор. Беру только теннис и футбол, 2 раза в минуту. Хоть собираю некруглосуточно - получается много. :)

[bydl0coder.livejournal.com]

Игры. У нас что-то вроде шести миллиардов строк в месяц.

Тьфу, не прочитал до конца. У нас тоже в I/O упирается.

[theiced.livejournal.com]

да запросто - вон у нас геномы в воркерах считаются, хуле. вообще вариантов масса различных же.

[kurilka.livejournal.com]

Если оно в I/O упирается - это значит, что оно фигово на отд. боксы делится?

[sleepy-drago.livejournal.com]

облачкам есть альтернативы. Например ящик с ~200 гиг оперативы и парой терабайт очень быстрых винтов. туда к тому же влазит ~50 ядер цпу. пока оно будет у них перекачиваться туда-обратно и биллить их за траффик у тебя оно уже посчитается. и цены на это дело давно уже не космические.