diff на больших файлах, кэширование файлов и память

[metaclass]

Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти и сидит в нее долбится.
В связи с этим вспоминается, что vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".
И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде, где написано, что делать собственные кэши, чтение файла по кускам и вообще выпендриваться алгоритмами давно не модно, т.к. винда лучше знает как ей это делать, особенно с мемори-маппед файлами.
А у Firebird так и вообще есть параметр "использовать ли кэш операционки", пороговый - задано количество страниц, если база меньше чем это количество - то используется, если больше - то нет. Не совсем понятно обоснование для наличия такого параметра и более того - указание его в страницах (которые могут иметь разные размеры у разных баз), а не в абсолютных значениях.

Comments

[plumqqz.livejournal.com]

Дифф имеет полиномиальную зависимость от длины входа, если не ошибаюсь. Так что увы...

[xeno-by.livejournal.com]

И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде
http://habrahabr.ru/blogs/windows7/107605/

[vp.livejournal.com]

Да надо просто тестировать то, что пишут. Неужели нельзя было проверить типичные случаи?

[thedeemon.livejournal.com]

Думаю, 100 МБ они не считают типичным случаем.

[vp.livejournal.com]

100 несчастных мегабайт логов???? Последние времена.

[thedeemon.livejournal.com]

А он вообще для логов предназначен?
Я им исходники мерджу (вот прям щас, кстати, в этот момент), их по сто мегов не бывает обычно.

[metabr.livejournal.com]

diff - compare files line by line © DIFF(1)

Но у вас наверное могут быть иные представления о назначении diff'а

[thedeemon.livejournal.com]

Речь не про diff, вообще-то.

[alll]

Название программы "Araxis Merge" какбэ говорит нам, что не диффом она там занимается.

[metabr.livejournal.com]

Серьезно?

[alll]

стопудофф

[metaclass.livejournal.com]

Да не, именно диффом она занимается. Мерже там следующая отдельная операция, после изучения разницы.

[alll]

диффом она там занимается, скорее всего, просто в качестве побочного эффекта :)

[metaclass.livejournal.com]

Нет. Там сначала diff и наглядный просмотр результата, затем мерже руками или автоматом.

[alll]

показывает-то дифф
а данные, небось, готовит для мержа - чтоб два раза не вставать

[184467440737095.livejournal.com]

память дешевая, а геморрой дорогой.

[unstablebear.livejournal.com]

Я kdiff3 юзаю для таких целей. Проверил на двух файлах по 100мб(примерно по 150 тыс. строк), работал минут 10. Выжрал в пике 760мб памяти. Не издох. Скачать можно отсюда http://sourceforge.net/projects/kdiff3/files/ .

[unstablebear.livejournal.com]

Хотя, выходит, что тоже долбится загрузив все в оперативку.

[metabr.livejournal.com]

Кульные прожки.

[volodymir-k.livejournal.com]

> vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".

Ёпт, а чем сей гений занимается? Сертификатами? А он пробовал скорость работы своих прог на сертификатах с именем в 100 Мб символов? Нет? В Бобруйск, жывотное! У меня имя в 100Мб длиной!
А вдруг хакер сделает в имени опечатку!

> Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти

Как бэ крутые джежаи в таких случаях молча пишут на коленке свой дифф для 100 Мб.

[ynot.livejournal.com]

дадад. Араксис специфичен, ему и три гига отожрать для 64б-версии не предел (на 250м, что ли, файлах)