diff на больших файлах, кэширование файлов и память

[metaclass]

Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти и сидит в нее долбится.
В связи с этим вспоминается, что vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".
И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде, где написано, что делать собственные кэши, чтение файла по кускам и вообще выпендриваться алгоритмами давно не модно, т.к. винда лучше знает как ей это делать, особенно с мемори-маппед файлами.
А у Firebird так и вообще есть параметр "использовать ли кэш операционки", пороговый - задано количество страниц, если база меньше чем это количество - то используется, если больше - то нет. Не совсем понятно обоснование для наличия такого параметра и более того - указание его в страницах (которые могут иметь разные размеры у разных баз), а не в абсолютных значениях.

Comments

[plumqqz.livejournal.com]

Дифф имеет полиномиальную зависимость от длины входа, если не ошибаюсь. Так что увы...

[xeno-by.livejournal.com]

И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде
http://habrahabr.ru/blogs/windows7/107605/

[vp.livejournal.com]

Да надо просто тестировать то, что пишут. Неужели нельзя было проверить типичные случаи?

[184467440737095.livejournal.com]

память дешевая, а геморрой дорогой.

[unstablebear.livejournal.com]

Я kdiff3 юзаю для таких целей. Проверил на двух файлах по 100мб(примерно по 150 тыс. строк), работал минут 10. Выжрал в пике 760мб памяти. Не издох. Скачать можно отсюда http://sourceforge.net/projects/kdiff3/files/ .

[metabr.livejournal.com]

Кульные прожки.

[volodymir-k.livejournal.com]

> vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".

Ёпт, а чем сей гений занимается? Сертификатами? А он пробовал скорость работы своих прог на сертификатах с именем в 100 Мб символов? Нет? В Бобруйск, жывотное! У меня имя в 100Мб длиной!
А вдруг хакер сделает в имени опечатку!

> Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти

Как бэ крутые джежаи в таких случаях молча пишут на коленке свой дифф для 100 Мб.

[ynot.livejournal.com]

дадад. Араксис специфичен, ему и три гига отожрать для 64б-версии не предел (на 250м, что ли, файлах)