Amazon EMR

[metaclass]

Наслушался сегодня зогбиватора про то, как его знакомые на Amazon EMR молотят жабой какой-то Machine Learning c финансово-маркетинговой аналитикой и сижу думаю, где взять столько данных и тяжелой по CPU, но параллелизуемой аналитики, чтобы имело смысл попробовать там что-нибудь посчитать.
А то получается, что у меня, например, похожая аналитика всегда упирается в дисковый i/o и глобального смысла в том, чтобы закачивать данные на S3 и оттуда их уже молотить на EMR, я не наблюдаю.
Вот если бы какие-нибудь десятки-сотни гигабайт данных от независимых источников сразу туда складывать, препроцессить и забирать обработанные - наверно имело бы смысл.

Comments

[metaclass.livejournal.com]

Вот геномы вроде да, там какая-то тяжелая вычислительная нагрузка.
Квантовую химию я не умею, разве что канадских линуксоидов пнуть - они по ней спецы, пусть стартапъ делают с расчетами в облаках :)

[permea-kra.livejournal.com]

Тяжелая параллельная квантовая химия, равно как и физика, часто упирается даже не в процессор как таковой, а в сеть. Я как-то сомневаюсь, что в амазоновском облаке стоит инфинибанд на 300 гигабит.