Отказоустойчивость и теория вероятности

[metaclass]

А вот скажите, где бы почитать про первый сабж в совокупности со вторым?

А то я не совсем соображу, как работают с вероятностями событий типа "винт накрылся", если у нас есть только характеристики типа MTBF, а распределение вероятности сдохнуть в течение жизни винта я не знаю, причем не только количественно но и качественно (хотя и очевидно, что с временем эта вероятность нарастает, а MTBF это что-то вроде середины в оном распределении).

Хочу количественно сравнить разные варианты решения проблемы отказоустойчивости в случае "простой системы на 10-20 минут в день всем пофиг, но данные после физически выполненной операции терять неприемлемо, и желательно чтобы данные восстанавливались автоматически". Плюс еще иногда выполняемая автоматическая репликация этих данных на другой сервер, но канал связи с этим сервером есть не всегда, поэтому использовать его в качестве резервного нельзя, а репликация в случае умирания и восстановления одной из баз не должна нарушаться.

Что-то мне подсказывает, что я пытаюсь решать самодельными техническими средствами проблемы, которые нужно решать жесточайшими пиздюлями персоналу выключающему компыорганизационными методами и покупкой надежного оборудования и софта. То бишь 1000 баксов на софт+10000 на сервер+100000 на оракл.

Comments

[(Anonymous)]

Если данных не очень много - timesten - будет очень быстро, с репликацией и просто ставить. Но дорого.. Но можно скачать бесплатно - лицензирование на совести пользователя. Можно разработаь на нем, и обязать покупать его заказчика.
Для разработки и тестирования большинство продуктов оракла бесплатны.

[permea-kra.livejournal.com]

Прими экспонециальный закон распада, как у радиоактивного изотопа.

[metaclass.livejournal.com]

Это работает только для большого количества винтов - тогда их сдыхает примерно этому закону и подчиняется.

[permea-kra.livejournal.com]

Дык а в чем проблема? Он получается из предположения число распадов в единицу времени = константа * количество. Отсюда вероятность отвала в единицу времени для одного винта вполне считается.

[w00dy.livejournal.com]

вместо одного веника поставить 5 или 6 в raid6, протянуть резервный канал для репликации, рядом поставить второй сервер для бекапов и негра с мачете для желающих отключить сервак с розетки. Это дешевле чем 100штук за оракл :)

[zelanton.livejournal.com]

оракл.
вашу мать.
Что у вас там за мега-задачи которые нельзя регулярным ночным бэкапом за несколько сотен баксов решить?
Вычислительный центр Беларусь банка? Белаз? Белкалий? Впрочем последние два на MSSQL на моей памяти.
У нас тут немелкие заводы случается на интербэйзах видеть - и ничего.

[metaclass.livejournal.com]

Ну толку мне от регулярного ночного бэкапа, если данные за час работы мне потом придется два дня выцарапывать ручками из чеков и фискальной памяти, чтобы бухгалтерия с налоговой не разошлась?
Если шо, оно сейчас так и работает - с регулярными бэкапами и тому подобным. За последние 12 лет финансовые данные ни разу не терялись, но вот ебля с восстановлением эмпирическими методами пару раз была.
А я хочу сделать, чтобы а) восстанавливалось само б) без вуду-знаний

[zelanton.livejournal.com]

Не понял, а с чего это данные теряются за час?
Вы их не сразу комитите?
Херится база, которая реплицируется раз в час?
Херится веник?

[zelanton.livejournal.com]

и что, поставить UPS который будет корректно завершать работу сервера при пропадании ысктрычества + RAID 1 никак нельзя?

[vk11.livejournal.com]

ваша память вам изменяет, с последним, о mssql :)

2 metaclass - ребе, сейчас пороюсь в загашниках, была одна интересная статья именно о винтах и рейдах

[zelanton.livejournal.com]

Кстати, ребе, добавьте туда ещё дизель-генератор, блок аккумуляторов, мощные стабилизаторы, топливохранилище и автоматику ввода резерва. Гыгы, мне сейчас как раз дома делают.

[metaclass.livejournal.com]

Такого нету даже на главном сервере тут в минске, не говоря уже о тех объектах в ебенях где оно будет работать.

[oldmann.livejournal.com]

ребе, реальные данные по отказам покупаются у аналитиков типа IDC, и стоят под 50k$ за отчет по одному вендору, на минуточку.

[metaclass.livejournal.com]

Давно хочу посмотреть на лица оных клиентов, когда они узнают сколько реально стоит нормальное внедрение всей той срани, которую я тут для них делаю на коленке.

[http://users.livejournal.com/_slw/]

хорошо, т.е. попиздел со знакомым -- и можно навариваться?

[oldmann.livejournal.com]

надо попиздеть с парой сотен знакомых, отвечающих за эксплуатацию техники на пару сотен миллионов баксов, чтобы выборка была репрезентативной. тогда можно навариваться, а не суперкомпьютеры на видеокарточках строить.

[zelanton.livejournal.com]

и кстати, по первому вопросу ("где прочитать") вот:
http://www.google.com/search?as_q=data+loss+probability&hl=en&num=100&as_epq=&as_oq=&as_eq=&lr=&cr=&as_ft=i&as_filetype=&as_qdr=all&as_occt=any&as_dt=i&as_sitesearch=&as_rights=&safe=images

[volger.livejournal.com]

У гугля было исследования по винчестерам, из того, что они выяснили - оптимальная температура от 35 до 45 градусов, ниже или выше - хуже. А еще, что производители врут в 3 раза по-поводу вроде как раз MTBF. А также про влияния характеристик, сообщаемых S.M.A.R.T., что случаев, когда смарт молчал в трубочку и винт сдох - много, но вот если уж смарт что-то вякнул, то вероятность выхода винчестера резко повышается, причем для разных сообщений там приведено, где-то видел перевод данного руководства с информативными комментариями (примерно как УК с комментариями :-) ).
Еще как-то читал статью (чуть ли не в википедии про RAID), что raid5-raid6 по-производительности получается очень фиговый для СУБД (даже в случае аппаратного контроллера), там кажется было решение в виде raid 10.

Про отказоустойчивость и теорию вероятности в применении к кампутерной технике - это что-то такое в институте читали, убей не помню только название предмета, всякие там 0.9999*0.9999*0.995.

ЗЫ а если у заказчика какой-то особо красивый админ что-то там "выдернет" - это разве вам не пофиг? Или это такой заказчик, который примерно как свой директор, т.е. отдуваться придется не им, а вам?

[black-angel-by.livejournal.com]

гм, Теория Вероятности и Мат Статистика ? ТВиМС :)
Я на ней такие хрени считал, как щас помню :)

[metaclass.livejournal.com]

Она родимая. Единственное но - я не помню, как ее применять к событиям типа "однократно наступающий пиздец" :)

[enternet.livejournal.com]

Работают не с абсолютными вероятностями, а с произведением вероятности на стоимость последствий.
Пример простоя предприятия:
1) Винт с ценной информацией сдохнет. сам. раз в три года обычно. 100000$ * 1/(3*365) = 100$
2) Сдохнет вся локальная сеть предприятия на один день. Раз в год обязательно бывает. 10000$ * 1/365 = 27$
Итого, видно, что бакап в данном случае - это первоочередной приоритет. Но может быть и наоборот.

[metaclass.livejournal.com]

Слушай, а что тут с размерностями величин?
Ведь 1/(3*365) имеет размерность день^-1 т.е. 100 - это в не в баксах, а в баксах на день.

[enternet.livejournal.com]

1/(3*365) - это день/день, это я так вероятность наступления события обозначил - в один день из трёх лет он сдохнет )

[zamotivator.livejournal.com]

Обычная теория вероятности - конкретно, распределение Байеса (зависимые вероятности).

[vk11.livejournal.com]

http://habrahabr.ru/blogs/hardware/78311/