Забавный баг

[metaclass]

Третий день ловлю баг, связанный с тем, что TCP сервер под большой нагрузкой падает с ошибкой out of memory, хотя ему выделено всего 800 мег и еще гиг физической памяти свободно. На каждое воспроизведение бага - сутки работы сервера под нагрузкой в несколько раз больше рабочей.

Оказалось - нехватка виртуальной памяти, причем вообще - не самой памяти, а ее адресного пространства. Менеджер памяти при выделении/удалении сильно фрагментирует память, в итоге адресам становится мало 2^31 и все падает, с ошибками типа "not enough storage" в самых левых функциях вроде записи в инишник.
Причем, западло в том, что увидеть это число в Task Manager нельзя, нужно смотреть Process Explorer или делать лог perfmon-ом.

Comments

[potan.livejournal.com]

Частично.
Фрагментация памяти создает много частично заполненых страниц и свопинг начнется раньше. А если учесть и то, что размер указателя вырос, то программа может потребовать значительно больше памяти.

[bigfrogg.livejournal.com]

Ну у метакалса не хватает не пямти, памяти как раз он сказал есть ещё гиг. А с современными ценами на память, день работы программиста стоит как 8 гиг озу.
Значительно памяти больше программа не потребует. Даже если предпложить что вся программа состоит только из указателей, то памяти будет тратить всего в 2 раза больше, что совсем не много.

[potan.livejournal.com]

Ну да, по этому частично решает.
А цену рабочего дня программиста надо сравнивать с ценой памяти, помноженной на количество пользователей...

[metaclass.livejournal.com]

Оптимизировать нельзя - если сервер не будет требовать пару гиг памяти, это неэнтерпрайзно, клиенты не поймут, за что они платили :)

[potan.livejournal.com]

Еще один повод отказаться от язвков класса C :-).