Amazon EMR

[metaclass]

Наслушался сегодня зогбиватора про то, как его знакомые на Amazon EMR молотят жабой какой-то Machine Learning c финансово-маркетинговой аналитикой и сижу думаю, где взять столько данных и тяжелой по CPU, но параллелизуемой аналитики, чтобы имело смысл попробовать там что-нибудь посчитать.
А то получается, что у меня, например, похожая аналитика всегда упирается в дисковый i/o и глобального смысла в том, чтобы закачивать данные на S3 и оттуда их уже молотить на EMR, я не наблюдаю.
Вот если бы какие-нибудь десятки-сотни гигабайт данных от независимых источников сразу туда складывать, препроцессить и забирать обработанные - наверно имело бы смысл.

Comments

[sleepy-drago.livejournal.com]

облачкам есть альтернативы. Например ящик с ~200 гиг оперативы и парой терабайт очень быстрых винтов. туда к тому же влазит ~50 ядер цпу. пока оно будет у них перекачиваться туда-обратно и биллить их за траффик у тебя оно уже посчитается. и цены на это дело давно уже не космические.

[metaclass.livejournal.com]

200+50 ядер это где-то в 10-20 штук баксов встанет.
Для постоянного использования - ок, если нерегулярно, то похоже облака было бы лучше.
С перекачиванием - да, проще сразу туда складывать, по моему.

[sleepy-drago.livejournal.com]

я думаю сильно зависит от того публичные данные считать или приватные. Если от утечки контора может разориться то вопрос где считать уже решен.
Меня в этом деле стремает то что для того чтобы попробовать будет ли оно все там работать нужны неизвестные расходы на софтописание.

[theiced.livejournal.com]

угуугу. а сколько будет стоять ящик с парой террабайт оперативы и парой тысяч процессоров и стоящий одновременно в яуропе (тм) и сша?

[metaclass.livejournal.com]

А сколько будет строить час полной загрузки такого ящика у омозона?

[theiced.livejournal.com]

копейки

[nivanych.livejournal.com]

http://selectel.ru/services/cloud/
У амазона, вроде, немного подешевле, но порядок цен тот же.

[sleepy-drago.livejournal.com]

у них калькулятора интегральных расходов нет? или еще лучше "историй успеха" с цифрами в стиле за сколько бабла в месяц все крутится.

[nivanych.livejournal.com]

Калькулятора, вроде бы, нет.
Истории были, но я не помню цифр. Помню, что совсем немного.
Я только собираюсь попробовать, мне просто пока не очень нужно.

[sleepy-drago.livejournal.com]

ну ты бы спросил у бухгалтеров - может контора и не бомжует по облачкам а ты и не знаешь. У нас вон вчера чуток обновили билд ферму - добавили 4 ящика каждый по 8 цпу, 32 гб оперативки, ссдшки и тп. Причем когда я спрашивал брали за смешные деньги. И то у нас тут село не асфальтированное. В более важных местах это как расходы на семечки.