Файловые системы и базы данных

[metaclass]

Поэтому после оптимизации будут тесты, которые будут имитировать типичные проблемы файловых систем - в основном, это переупорядочение запросов и, поэтому, возможна ситуация, когда информация о commit уже записана, а данные ещё нет.

Это вообще как? Без write barrier вроде же такое никак не вылечить (ну, не считая вуду механизмов в стиле "считаем диск одной из нод распределенной системы, наворачиваем консенсусы и безнадежно воюем с CAP теоремой")

Я просто вообще с трудом понимаю, что можно сделать, если файловая система не представляет хоть каких-нибудь гарантий целостности.

Снова про прогресс.

Comments

[norguhtar.livejournal.com]

Это вообще как?

Легко. Зависит от какой журнал используем. Типичная файловая система с журналом ( к примеру XFS) гарантирует целостность метаданных. Насколько помню единственная FS которая еще журнализирует и сами данные это ext4.

[kiryl.livejournal.com]

Страшный текст в тему: http://danluu.com/file-consistency/

[thesz.livejournal.com]

Это оно, да.

Файловые системы это тихий ужас. Их все пишут, как могут, да чтобы получше на соревнованиях выглядели.

Что касается "как с этим бороться", я думаю использовать erasure codes с транспонированием данных. Какие именно коды, пока не решил.

[thesz.livejournal.com]

http://thesz.livejournal.com/1466211.html - наш ответ. ;)

[tomarcafe.livejournal.com]

> поэтому, возможна ситуация, когда информация о commit уже записана, а данные ещё нет.
что-то автор бредит тут, нет? как информация о коммите ушла на запись, пока не пришло подтверждение о записи данных?

[shalcker.livejournal.com]

Информация ушла в буфер системы например, а информация о коммите реально записалась.

И тут диск на котором данные отключается.

[tomarcafe.livejournal.com]

вот ага, тут-то и кроется вопрос - информация о коммите разве не должна записываться _после_ того, как пришло подтверждение о записи. ?

[shalcker.livejournal.com]

В идеале да. На практике не обязана если не прилагать усилий - скорость может быть важнее.

Обязательный порядок это и есть write barrier - блокировка записи и форсирование её порядка. Что означает никаких системных кэшей, никакой одновременной записи в разные места и т.д.