metaclass: (Default)
[personal profile] metaclass
Поэтому после оптимизации будут тесты, которые будут имитировать типичные проблемы файловых систем - в основном, это переупорядочение запросов и, поэтому, возможна ситуация, когда информация о commit уже записана, а данные ещё нет.

Это вообще как? Без write barrier вроде же такое никак не вылечить (ну, не считая вуду механизмов в стиле "считаем диск одной из нод распределенной системы, наворачиваем консенсусы и безнадежно воюем с CAP теоремой")

Я просто вообще с трудом понимаю, что можно сделать, если файловая система не представляет хоть каких-нибудь гарантий целостности.

Снова про прогресс.

Date: 2015-12-25 07:06 am (UTC)
From: [identity profile] norguhtar.livejournal.com

Это вообще как?

Легко. Зависит от какой журнал используем. Типичная файловая система с журналом ( к примеру XFS) гарантирует целостность метаданных. Насколько помню единственная FS которая еще журнализирует и сами данные это ext4.

Date: 2015-12-25 07:21 am (UTC)
From: [identity profile] kiryl.livejournal.com
Страшный текст в тему: http://danluu.com/file-consistency/

Date: 2015-12-25 11:13 am (UTC)
From: [identity profile] thesz.livejournal.com
Это оно, да.

Файловые системы это тихий ужас. Их все пишут, как могут, да чтобы получше на соревнованиях выглядели.

Что касается "как с этим бороться", я думаю использовать erasure codes с транспонированием данных. Какие именно коды, пока не решил.

Date: 2015-12-25 12:19 pm (UTC)
From: [identity profile] tomarcafe.livejournal.com
> поэтому, возможна ситуация, когда информация о commit уже записана, а данные ещё нет.
что-то автор бредит тут, нет? как информация о коммите ушла на запись, пока не пришло подтверждение о записи данных?

Date: 2015-12-25 07:00 pm (UTC)
From: [identity profile] shalcker.livejournal.com
Информация ушла в буфер системы например, а информация о коммите реально записалась.

И тут диск на котором данные отключается.

Date: 2015-12-25 09:55 pm (UTC)
From: [identity profile] tomarcafe.livejournal.com
вот ага, тут-то и кроется вопрос - информация о коммите разве не должна записываться _после_ того, как пришло подтверждение о записи. ?
Edited Date: 2015-12-25 09:55 pm (UTC)

Date: 2015-12-26 01:13 am (UTC)
From: [identity profile] shalcker.livejournal.com
В идеале да. На практике не обязана если не прилагать усилий - скорость может быть важнее.

Обязательный порядок это и есть write barrier - блокировка записи и форсирование её порядка. Что означает никаких системных кэшей, никакой одновременной записи в разные места и т.д.

Profile

metaclass: (Default)
metaclass

April 2017

S M T W T F S
      1
2345678
9101112 131415
16171819202122
23242526272829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 22nd, 2025 03:19 am
Powered by Dreamwidth Studios