Пределы роста
Dec. 14th, 2009 02:44 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
Исходник на хаскеле, 2.8 мега, 6000 строк, экспорт из базы данных. GHC при компиляции падает с переполнением стека.
PS: Собралось:
D:\Programm\Haskell\ghc-6.10.2\bin\ghc.exe --make -o test2.exe "test2.hs" +RTS -K100000000
В процессе сожрало 1.5 гигабайта памяти :)
Екзешник получился 43 мегабайта. Отрабатывает сортировку списка и вывод проекции из него достаточно быстро.
Теперь мне пришло в голову, что можно сделать экспорт в более гуманный формат (CSV или вообще бинарный), а из метаданных, которые живут в базе, сгенерить его читалку, тогда компилироваться будет быстро, и можно будет проверить на больших объемах данных.
PS: Собралось:
D:\Programm\Haskell\ghc-6.10.2\bin\ghc.exe --make -o test2.exe "test2.hs" +RTS -K100000000
В процессе сожрало 1.5 гигабайта памяти :)
Екзешник получился 43 мегабайта. Отрабатывает сортировку списка и вывод проекции из него достаточно быстро.
Теперь мне пришло в голову, что можно сделать экспорт в более гуманный формат (CSV или вообще бинарный), а из метаданных, которые живут в базе, сгенерить его читалку, тогда компилироваться будет быстро, и можно будет проверить на больших объемах данных.
no subject
Date: 2009-12-14 04:55 pm (UTC)А вот это уже характерно. Когда лучшая программа на Хаскелле (которую всегда называют при просьбе показать большой проект) ест столько памяти на небольшом и довольно безобидном инпуте. Real World Haskell как он есть.
no subject
Date: 2009-12-14 05:05 pm (UTC)no subject
Date: 2009-12-14 05:09 pm (UTC)no subject
Date: 2009-12-14 05:14 pm (UTC)no subject
Date: 2009-12-14 05:57 pm (UTC)no subject
Date: 2009-12-14 07:35 pm (UTC)no subject
Date: 2009-12-15 03:52 am (UTC)no subject
Date: 2009-12-15 03:51 am (UTC)no subject
Date: 2009-12-14 05:52 pm (UTC)Я вообще проверяю идею "можно ли обрабатывать большие объемы данных хаскелем". Вообще судя по результатам - можно, вот только прикручу еще загрузку данных из внешнего файла, и запилю туда гига два экспорта из базы :)
no subject
Date: 2009-12-14 05:53 pm (UTC)no subject
Date: 2009-12-14 05:56 pm (UTC)no subject
Date: 2009-12-14 11:20 pm (UTC)Можно и строчку придумать, которая будет там выдавать какой-нибудь тапл в миллион полей и ghc на такой строчке тоже сломается.
no subject
Date: 2009-12-15 12:52 am (UTC)no subject
Date: 2009-12-15 12:57 pm (UTC)no subject
Date: 2009-12-15 01:35 pm (UTC)no subject
Date: 2009-12-15 02:11 pm (UTC)