Пределы роста

[metaclass]

Исходник на хаскеле, 2.8 мега, 6000 строк, экспорт из базы данных. GHC при компиляции падает с переполнением стека.

PS: Собралось:

D:\Programm\Haskell\ghc-6.10.2\bin\ghc.exe --make -o test2.exe "test2.hs" +RTS -K100000000
В процессе сожрало 1.5 гигабайта памяти :)

Екзешник получился 43 мегабайта. Отрабатывает сортировку списка и вывод проекции из него достаточно быстро.
Теперь мне пришло в голову, что можно сделать экспорт в более гуманный формат (CSV или вообще бинарный), а из метаданных, которые живут в базе, сгенерить его читалку, тогда компилироваться будет быстро, и можно будет проверить на больших объемах данных.

Comments

[dmzlj.livejournal.com]

Ага, сказали суровые сибирские мужики.

[aamonster.livejournal.com]

2.8 мега и 6000 строк - это далеко не "ага", а не слишком-то большой проект.

Впрочем, лично для меня это не звучит приговором: даже если инструмент можно использовать только для небольших проектов - это не повод отказаться от него совсем... В большом проекте могут оказаться части, которые удобно выделить и применить данный инструмент.

[metaclass.livejournal.com]

Это не проект, это один файл, с списком из 6000 кортежей с 27 полями.

[aamonster.livejournal.com]

А... Интересно, сломаются ли на таком (что три метра кода - это один объект) более привычные компилеры.

[dmzlj.livejournal.com]

нет. мне на бородатом SunCC Pro года так 2000 --- 2001 случалось компилировать стабы перла, размером 90 мегабайт файл и более.

[metaclass.livejournal.com]

Да, меня этот вопрос тоже интересовал, но писать экспорт из проги на дельфи в код на дельфи или C# мне влом :)

[wizzard]

C# компилирует 40-50 мб исходники нормально. Но студиевскому интеллисенсу начинает становиться непредсказуемо плохо (ака хаотичные подтормозы)

[nivanych.livejournal.com]

Сгенерированный, что-ли?

[metaclass.livejournal.com]

Да, экспорт из дельфи :)

[nivanych.livejournal.com]

Ах, вот в чём дело.
GHC очень не любит дельфи, а дух его
обязательно просочился при экспорте.

(Там с самого начала было написано,
что это экспорт из базы, и я этого не заметил,
или ты сейчас это дописал?)

[metaclass.livejournal.com]

Было написано :)
А вообще да, использовать дельфи совместно с GHC это такое междурасовое скрещивание, что ощущаешь себя доктором менгеле в командировке в отряде 731.

[nivanych.livejournal.com]

> Было написано :)

Вот блин, одну строчку прочитать не могу, устал, что-ли...

> дельфи совместно с GHC

Если на уровне генерации кода, то не страшно.
А вот с FFI, это, думается, дааа %)

[metaclass.livejournal.com]

Я до FFI еще не добрался.
Сильно хотелось бы сложные типы данных передавать между дельфи и GHC, но чувствую, что проще будет в дельфи сериализовать, в хаскеле парсить. Вплоть до использования protobuf.

[nivanych.livejournal.com]

> проще будет в дельфи сериализовать, в хаскеле парсить

В смысле, проще, чем FFI? Уверен, что проще.

[dmzlj.livejournal.com]

Я, как бы, ни разу ни спорю. Применимость хаскелла в продакшене для меня была и остается вопросом. На который я пока не вижу для себя ответа.

[kiryl.livejournal.com]

Софт вообще дерьмо.

[zelanton.livejournal.com]

ололо
http://lurkmore.ru/Haskell

[metaclass.livejournal.com]

"Хаскель — это как ламборджини в деревне. Немного подрочил — и пошел работать на тракторе."
Вот, примерно так и есть. :)

[potan.livejournal.com]

Без оптимизации?

[metaclass.livejournal.com]

Без.

[potan.livejournal.com]

Можно попробовать с -H поиграться.

[metaclass.livejournal.com]

Собралось, обновил пост.

[migmit.vox.com (from livejournal.com)]

Сделай доброе дело, добавь тикет.

[metaclass.livejournal.com]

Я еще не пробовал размер стека менять для рунтайма в GHC.

[metaclass.livejournal.com]

Все, собралось :)

[vromanov.livejournal.com]

нафиг-нафиг.. Еще и с такими глюками бороться...

[clayrat.livejournal.com]

я ж грил надо было в commonlisp гнать =D

[metaclass.livejournal.com]

И потом парсить его хаскелем?

[clayrat.livejournal.com]

лучше, конечно, самим лиспом, но на худой конец почему бы и не хаскеллом? интерпретатор lisp->haskell не то чтобы очень сложная программа, см http://www.defmacro.org/ramblings/lisp-in-haskell.html - около 200 строчек: лямбда синтаксис и s-expressions концептуально сходны.

[potan.livejournal.com]

Теперь то же самое с -O3 :-)

А вообще вполне приемлемое решение - выдавать отчет ввиде программы, которая осуществляет по нему навигацию. Ночью компилируется, а днем запускается.

[metaclass.livejournal.com]

c -O3 получился 13 мег бинарник, компилировался 6 минут, сожрал где-то 1.2 гига памяти при компиляции.

[thedeemon.livejournal.com]

>В процессе сожрало 1.5 гигабайта памяти :)

А вот это уже характерно. Когда лучшая программа на Хаскелле (которую всегда называют при просьбе показать большой проект) ест столько памяти на небольшом и довольно безобидном инпуте. Real World Haskell как он есть.

[http://users.livejournal.com/_zerg/]

У меня плюсы (gcc) сжирают около двух гигов памяти при компиляции.

[dmzlj.livejournal.com]

Трехмегабайтного файла?

[http://users.livejournal.com/_zerg/]

не скажу точно на какой файле это происходит, но весь проект на три с половиной мега.

[dmzlj.livejournal.com]

ну таки есть разница.

[kiryl.livejournal.com]

При агрессивном использовании препроцессора/шаблонов размер исходного файла значения не имеет.

[http://users.livejournal.com/_zerg/]

Так оно и есть.

[http://users.livejournal.com/_zerg/]

Я хотел сказать, что 1.5G отъеденных GHC не так уж и плохо.

[metaclass.livejournal.com]

Какая она лучшая? Это банальный тест, сгенеренный из базы исходник (просто данные) и к нему два файла обвязки коротеньких.

Я вообще проверяю идею "можно ли обрабатывать большие объемы данных хаскелем". Вообще судя по результатам - можно, вот только прикручу еще загрузку данных из внешнего файла, и запилю туда гига два экспорта из базы :)

[dmzlj.livejournal.com]

Лучшая известная программа на хаскелле --- это компилятор хаскелла

[metaclass.livejournal.com]

А-а, еле дошло :)

[holmic.livejournal.com]

и чем же этот инпут небольшой и безобидный? 6000 сущностей в одном модуле, которые нужно оттайпчекать хиндли-милнером - по-моему вполне ожидаемое поведение.
Можно и строчку придумать, которая будет там выдавать какой-нибудь тапл в миллион полей и ghc на такой строчке тоже сломается.

[thedeemon.livejournal.com]

Да вроде Хиндли-Милнер сам по себе много памяти не требует. Я бы еще понял, если бы там были мегабайты сложного кода с классами и семействами типов и пр. А тут просто табличка. Получается по 10 КБ на одну переменную...

[palm-mute.livejournal.com]

Хиндли-Милнера можно свести с ума простым кодом:

let f1 x = (x, x)
let f2 x = f1 (f1 x)
let f3 x = f2 (f2 x)
let f4 x = f3 (f3 x)
let f5 x = f4 (f4 x)
let f6 x = f5 (f5 x)
let f7 x = f6 (f6 x)

[metaclass.livejournal.com]

Ууу, какая полезная шиза:)

[thedeemon.livejournal.com]

Скормил Окамлу, он надолго задумался, но в константной памяти - 2 мега всего. Что подтверждает мои слова выше.

[thedeemon.livejournal.com]

Сейчас для сравнения сгенерил исходник с 6000 туплами по 27 элементов (инты, флоаты и строки) и скормил его Окамлу.
Компиляция в байткод заняла 3 секунды и 32 мега памяти.
Компиляция в нативный код заняла 19 секунд, из которых секунды 3 работал окамл, а все остальное время - масм. Памяти съел 37 мегов.
Значит, проблема не Хиндли-Милнере.