metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2010-11-25 06:07 am

diff на больших файлах, кэширование файлов и память

Запустил сравнение Araxis Merge на двух 100 мб файлах, он выжрал гиг памяти и сидит в нее долбится.
В связи с этим вспоминается, что [livejournal.com profile] vitus_wagner постоянно ругается на тему "раньше обрабатывали под досом файлы в 100 раз больше чем объем памяти, а сейчас разучились".
И статья, которую кто-то недавно постил на тему кэширования файлов и свопа в винде, где написано, что делать собственные кэши, чтение файла по кускам и вообще выпендриваться алгоритмами давно не модно, т.к. винда лучше знает как ей это делать, особенно с мемори-маппед файлами.
А у Firebird так и вообще есть параметр "использовать ли кэш операционки", пороговый - задано количество страниц, если база меньше чем это количество - то используется, если больше - то нет. Не совсем понятно обоснование для наличия такого параметра и более того - указание его в страницах (которые могут иметь разные размеры у разных баз), а не в абсолютных значениях.

[identity profile] unstablebear.livejournal.com 2010-11-25 08:19 am (UTC)(link)
Хотя, выходит, что тоже долбится загрузив все в оперативку.