diff на больших файлах, кэширование файлов и память

[metaclass]

Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти и сидит в нее долбится.
В связи с этим вспоминается, что vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".
И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде, где написано, что делать собственные кэши, чтение файла по кускам и вообще выпендриваться алгоритмами давно не модно, т.к. винда лучше знает как ей это делать, особенно с мемори-маппед файлами.
А у Firebird так и вообще есть параметр "использовать ли кэш операционки", пороговый - задано количество страниц, если база меньше чем это количество - то используется, если больше - то нет. Не совсем понятно обоснование для наличия такого параметра и более того - указание его в страницах (которые могут иметь разные размеры у разных баз), а не в абсолютных значениях.

Comments

[vp.livejournal.com]

Да надо просто тестировать то, что пишут. Неужели нельзя было проверить типичные случаи?

[thedeemon.livejournal.com]

Думаю, 100 МБ они не считают типичным случаем.

[vp.livejournal.com]

100 несчастных мегабайт логов???? Последние времена.

[thedeemon.livejournal.com]

А он вообще для логов предназначен?
Я им исходники мерджу (вот прям щас, кстати, в этот момент), их по сто мегов не бывает обычно.

[metabr.livejournal.com]

diff - compare files line by line © DIFF(1)

Но у вас наверное могут быть иные представления о назначении diff'а

[thedeemon.livejournal.com]

Речь не про diff, вообще-то.

[alll]

Название программы "Araxis Merge" какбэ говорит нам, что не диффом она там занимается.

[metabr.livejournal.com]

Серьезно?

[alll]

стопудофф

[metaclass.livejournal.com]

Да не, именно диффом она занимается. Мерже там следующая отдельная операция, после изучения разницы.

[alll]

диффом она там занимается, скорее всего, просто в качестве побочного эффекта :)

[metaclass.livejournal.com]

Нет. Там сначала diff и наглядный просмотр результата, затем мерже руками или автоматом.

[alll]

показывает-то дифф
а данные, небось, готовит для мержа - чтоб два раза не вставать