metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2009-12-14 02:44 pm

Пределы роста

Исходник на хаскеле, 2.8 мега, 6000 строк, экспорт из базы данных. GHC при компиляции падает с переполнением стека.

PS: Собралось:

D:\Programm\Haskell\ghc-6.10.2\bin\ghc.exe --make -o test2.exe "test2.hs" +RTS -K100000000
В процессе сожрало 1.5 гигабайта памяти :)

Екзешник получился 43 мегабайта. Отрабатывает сортировку списка и вывод проекции из него достаточно быстро.
Теперь мне пришло в голову, что можно сделать экспорт в более гуманный формат (CSV или вообще бинарный), а из метаданных, которые живут в базе, сгенерить его читалку, тогда компилироваться будет быстро, и можно будет проверить на больших объемах данных.

[identity profile] metaclass.livejournal.com 2009-12-14 05:52 pm (UTC)(link)
Какая она лучшая? Это банальный тест, сгенеренный из базы исходник (просто данные) и к нему два файла обвязки коротеньких.

Я вообще проверяю идею "можно ли обрабатывать большие объемы данных хаскелем". Вообще судя по результатам - можно, вот только прикручу еще загрузку данных из внешнего файла, и запилю туда гига два экспорта из базы :)

[identity profile] dmzlj.livejournal.com 2009-12-14 05:53 pm (UTC)(link)
Лучшая известная программа на хаскелле --- это компилятор хаскелла

[identity profile] metaclass.livejournal.com 2009-12-14 05:56 pm (UTC)(link)
А-а, еле дошло :)