metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2010-11-25 06:07 am

diff на больших файлах, кэширование файлов и память

Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти и сидит в нее долбится.
В связи с этим вспоминается, что [livejournal.com profile] vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".
И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде, где написано, что делать собственные кэши, чтение файла по кускам и вообще выпендриваться алгоритмами давно не модно, т.к. винда лучше знает как ей это делать, особенно с мемори-маппед файлами.
А у Firebird так и вообще есть параметр "использовать ли кэш операционки", пороговый - задано количество страниц, если база меньше чем это количество - то используется, если больше - то нет. Не совсем понятно обоснование для наличия такого параметра и более того - указание его в страницах (которые могут иметь разные размеры у разных баз), а не в абсолютных значениях.

[personal profile] alll 2010-11-25 08:51 am (UTC)(link)
диффом она там занимается, скорее всего, просто в качестве побочного эффекта :)

[identity profile] metaclass.livejournal.com 2010-11-25 08:52 am (UTC)(link)
Нет. Там сначала diff и наглядный просмотр результата, затем мерже руками или автоматом.

[personal profile] alll 2010-11-25 08:56 am (UTC)(link)
показывает-то дифф
а данные, небось, готовит для мержа - чтоб два раза не вставать