Пределы роста

[metaclass]

Исходник на хаскеле, 2.8 мега, 6000 строк, экспорт из базы данных. GHC при компиляции падает с переполнением стека.

PS: Собралось:

D:\Programm\Haskell\ghc-6.10.2\bin\ghc.exe --make -o test2.exe "test2.hs" +RTS -K100000000
В процессе сожрало 1.5 гигабайта памяти :)

Екзешник получился 43 мегабайта. Отрабатывает сортировку списка и вывод проекции из него достаточно быстро.
Теперь мне пришло в голову, что можно сделать экспорт в более гуманный формат (CSV или вообще бинарный), а из метаданных, которые живут в базе, сгенерить его читалку, тогда компилироваться будет быстро, и можно будет проверить на больших объемах данных.

Comments

[thedeemon.livejournal.com]

>В процессе сожрало 1.5 гигабайта памяти :)

А вот это уже характерно. Когда лучшая программа на Хаскелле (которую всегда называют при просьбе показать большой проект) ест столько памяти на небольшом и довольно безобидном инпуте. Real World Haskell как он есть.

[http://users.livejournal.com/_zerg/]

У меня плюсы (gcc) сжирают около двух гигов памяти при компиляции.

[dmzlj.livejournal.com]

Трехмегабайтного файла?

[http://users.livejournal.com/_zerg/]

не скажу точно на какой файле это происходит, но весь проект на три с половиной мега.

[dmzlj.livejournal.com]

ну таки есть разница.

[kiryl.livejournal.com]

При агрессивном использовании препроцессора/шаблонов размер исходного файла значения не имеет.

[http://users.livejournal.com/_zerg/]

Так оно и есть.

[http://users.livejournal.com/_zerg/]

Я хотел сказать, что 1.5G отъеденных GHC не так уж и плохо.

[metaclass.livejournal.com]

Какая она лучшая? Это банальный тест, сгенеренный из базы исходник (просто данные) и к нему два файла обвязки коротеньких.

Я вообще проверяю идею "можно ли обрабатывать большие объемы данных хаскелем". Вообще судя по результатам - можно, вот только прикручу еще загрузку данных из внешнего файла, и запилю туда гига два экспорта из базы :)

[dmzlj.livejournal.com]

Лучшая известная программа на хаскелле --- это компилятор хаскелла

[metaclass.livejournal.com]

А-а, еле дошло :)

[holmic.livejournal.com]

и чем же этот инпут небольшой и безобидный? 6000 сущностей в одном модуле, которые нужно оттайпчекать хиндли-милнером - по-моему вполне ожидаемое поведение.
Можно и строчку придумать, которая будет там выдавать какой-нибудь тапл в миллион полей и ghc на такой строчке тоже сломается.

[thedeemon.livejournal.com]

Да вроде Хиндли-Милнер сам по себе много памяти не требует. Я бы еще понял, если бы там были мегабайты сложного кода с классами и семействами типов и пр. А тут просто табличка. Получается по 10 КБ на одну переменную...

[palm-mute.livejournal.com]

Хиндли-Милнера можно свести с ума простым кодом:

let f1 x = (x, x)
let f2 x = f1 (f1 x)
let f3 x = f2 (f2 x)
let f4 x = f3 (f3 x)
let f5 x = f4 (f4 x)
let f6 x = f5 (f5 x)
let f7 x = f6 (f6 x)

[metaclass.livejournal.com]

Ууу, какая полезная шиза:)

[thedeemon.livejournal.com]

Скормил Окамлу, он надолго задумался, но в константной памяти - 2 мега всего. Что подтверждает мои слова выше.