Безумная кложурная жесть

[metaclass]

Делаю генератор отчетов, у которого часть работы - запросы к БД и часть - постобработка. Все это работает в фоновых потоках clojure (внутри future) и паралелльно еще несколько потоков (из ScheduledThreadPool и его вариаций из java.util.concurrent) выполняют всякую вспомогательную работу типа "очистить старые данные", "пересчитать изменения пришедшие в очередь в БД".
future в clojure реализованы в том же thread pool что и функция send-off для агентов. Этот thread pool не имеет ограничений по размеру и изначально предполагался для операций, ожидающих i/o, а не cpu-bound. Пока отчет считается в БД - это нормально, но когда начинается постобработка, при превышении некоторого порога количества потоков - возникают совершенно непропорциональные тормоза, типа 30 отчетов одновременно считается за 2 минуты, 64 отчета считаются 30 минут.
Надо как-то более равномерно распределить работу по времени, чтобы количество нагружающих CPU потоков было ограничено, что ли. И вообще, надо как-то осилить профилирование нагрузки, чтобы знать, чем там кложурь и JVM занимаются.

Comments

[metaclass.livejournal.com]

А есть ли англоязычный ресурс типа хабра?
Я правда сомневаюсь, что где-нибудь, кроме русскоязычного интернета, жизнеспособна идея "дрочить на карму" :)

[mehanizator.livejournal.com]

все что в рунете есть - заимствования и копии. дрочить на карму начали в digg еще в 2004

[bydl0coder.livejournal.com]

Во-во. Метакласс, по ходу, интернет вчера увидел.

[prepor.livejournal.com]

или еще предстоит. завтра на стэковерфлоу наткнется.

[theiced.livejournal.com]

я не в курсе про аналогично ненужные ресурсы.

[golikov konstantine (from livejournal.com)]

в stackoverflow жизнеспособна же

[thedeemon.livejournal.com]

reddit, hacker news
Оттуда большинство переводимых статей хабровских.