![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
metaclassПоведение NTFS на диске с порядка полмиллиона файлов меня как-то огорчает. Сейчас переношу с одного диска на другой - оно минут 15 только структуру папок сканировало.
Как линуксовые FS себя ведут в подобных случаях?
Как линуксовые FS себя ведут в подобных случаях?
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2010-09-26 02:51 pm (UTC)no subject
Date: 2010-09-26 05:23 pm (UTC)no subject
Date: 2010-09-26 03:23 pm (UTC)no subject
Date: 2010-09-27 06:01 am (UTC)no subject
Date: 2010-09-27 06:42 am (UTC)no subject
Date: 2010-09-27 06:44 am (UTC)no subject
Date: 2010-09-27 06:49 am (UTC)no subject
Date: 2010-09-27 06:50 am (UTC)Не подхватил.
no subject
Date: 2010-09-27 09:11 am (UTC)no subject
Date: 2010-09-27 09:17 am (UTC)no subject
Date: 2010-09-27 09:29 am (UTC)no subject
Date: 2010-09-27 10:18 am (UTC)Кроме того, лицензия на нее до недавнего времени была плохая.
no subject
Date: 2010-09-27 11:50 am (UTC)и что из функциональности там отсутствует?
no subject
Date: 2010-09-27 12:28 pm (UTC)А почему в Linuxовое ядро она тогда так долго попадала?
no subject
Date: 2010-09-27 12:30 pm (UTC)а какие они там?!
проблемы негров...
no subject
Date: 2010-09-27 12:37 pm (UTC)У меня сейчас слишком много на Linux завязано, что бы я безболезнено всезде вернулся на FreeBSD или перешел на Солярку. То есть zfs мне по расовому признаку не подошел.
no subject
Date: 2010-09-27 10:53 pm (UTC)no subject
Date: 2010-09-26 03:31 pm (UTC)no subject
Date: 2010-09-26 03:58 pm (UTC)no subject
Date: 2010-09-26 04:04 pm (UTC)no subject
Date: 2010-09-26 04:12 pm (UTC)no subject
Date: 2010-09-26 04:16 pm (UTC)no subject
Date: 2010-09-26 07:12 pm (UTC)no subject
Date: 2010-09-26 07:15 pm (UTC)no subject
Date: 2010-09-26 07:18 pm (UTC)no subject
Date: 2010-09-26 07:24 pm (UTC)no subject
Date: 2010-09-26 07:31 pm (UTC)no subject
Date: 2010-09-26 07:35 pm (UTC)no subject
Date: 2010-09-26 07:33 pm (UTC)no subject
Date: 2010-09-26 07:39 pm (UTC)А на самом деле никаких барьеров нет.
Никаких проблем к встраиванию БД в ОС нету. Да, MS уже пыталась и у неё вышла тыква. Если что, когда-то с MS Word была та же история. И ещё много с чем. Просто цикл инвестирования предполагает накопление опыта. Будет нам БД, никуда не денемся. А усложнения не будет, будет упрощение, ибо низкий уровень знать нафик не надо будет.
no subject
Date: 2010-09-26 07:48 pm (UTC)Не знаю, как в венде (хотя по доходящим до меня слухам там ситуация похожа), а в линупсах многие тулзы и драйвера завязаны на sysfs/procfs. Многие проги (обоснованно полагая, что разбираются в данном вопросе лучше) хранят свои данные в виде битового потока. И вы заколупаетесь объяснять разработчикам, что они неправы. Представление флешек в виде подмонтируемых каталогов, опять же. Т. е. по сути, для _перехода_ на системную БД потребуется переписать половину системного софта и придумать новый шелл плюс принять стандарты на апи. И проехаться по ушам всем железячникам для переписывания дров.
А прикрутить сбоку проблемой не является, да. Но это неинтересно.
no subject
Date: 2010-09-26 07:54 pm (UTC)Я заколупаюсь? Придёт Билли или этот, которой из Apple, как там его... И все возьмут под козырёк. Я на миллиардера пока что не тяну. Не там родился.
А API да, невероятная проблема. Нормальный API к БД прикрутить к БД невозможно - мне про это уже все уши прожужали. Только я до сих пор не понял почему.
А переписывать да, придётся. На том мы все (и не только мы) и наживёмся. И не я это придумал, если что.
no subject
Date: 2010-09-26 07:59 pm (UTC)Вот я и говорю - поначалу скорее всего выйдет дорого, поскольку затраты нужно будет отбить ( а там выйдут гигабайты кода)
>>есть в БД такая штука - блоб. Тот самый битовый поток.
А зачем тогда бд ? Древовидная система объектов, с некоторыми из которых ассоциированы битовые потоки, уже есть сколько лет. Называется - fs.
>>Нормальный API к БД прикрутить к БД невозможно
Не в этом дело. надо
- принять стандарт
- этот стандарт должен учитывать тонкости подключения хранилищ
- этот стандарт должен работать с объектами заранее неизвестной структуры (т. е. быть расширяемым)
Т.е. это будет новый xml с жабами и червями.
no subject
Date: 2010-09-26 10:20 pm (UTC)FS действительно формально попадает под определение БД, но существующие FS имеют массу ограничений, работуют с ориентацией на битовый поток, причём обязательно "один объект (файл) - один набор байтов", а данные там сбоку бантик. Кроме того FS изначально доступна пользователю, а концепция БД в принципе строиться на абстрагировании данных от пользователя, пользователю даётся интерфейс. Причём для каждого вида данных - свой.
А стандарт принимать необязательно. Рынок-то между гигантами попилен. Например, что майкрософт скажет, то мы и возьмём под козырёк. Кто-то может повыпендривается, но из откровенной хуйни никто не попробует революцию делать, так что никуда не денемся.
no subject
Date: 2010-09-27 05:55 am (UTC)Не только дрова. Ну, давайте предметно: линукс показывает устройства в виде файлов в /dev и /sys и экспортирует кучу данных в /proc . На это точены все дрова (т. е. как минимум придется переписывать все дрова из ядра), интерфейс работа с консолью (stdin/stdout, терминалы и пр показываются программе в виде файловых дескрипторов), все системные приложения (udev, xorg-server, системы записи дисков, dd, etc, etc). В случае, если это дело перетаскивать под БД все это надо переписывать. Только ядро линупса - это 30 мб сжатого кода, а все вместе под гигабайт набежит. Человек пишет в лучшем случае 10 кб осмысленного кода в день, итого имеем порядка 3000000 человеко-дней, т. е. порядка нескольких сот человеко-лет только на разработку, а ещё нужно тестирование и документация. Т. е. проект потребует несколько тысяч людей. Пусть это индусы с оплатой $1000/мес, это $50/раб. день Тогда затраты составять 15 000 000 млн. На выходе же будет абсолютно новый продукт, требующий ещё затрат на рекламу и усилий по переносу всего и вся.
>>FS действительно формально попадает под определение БД, но существующие FS имеют массу ограничений, работуют с ориентацией на битовый поток, причём обязательно "один объект (файл) - один набор байтов", а данные там сбоку бантик.
И кто мешает эти недостатки устранять? Майкрософт вот этим в NTFS занялась.
no subject
Date: 2010-09-26 07:28 pm (UTC)"И вообще, все это невозможно без метапрограммирования".
no subject
Date: 2010-09-26 07:41 pm (UTC)Ребе, всё решает потребитель.
no subject
Date: 2010-09-26 07:50 pm (UTC)Кроме того, самым кондовым пользователям уже сто лет как пофег файлы, они сидят в специализированном прикладном софте, за пределы папки "Мои документы" и чего-нибудь вроде "Реестр накладных на отпуск мозговых жаб" в ERP системы не выходя.
no subject
Date: 2010-09-26 07:57 pm (UTC)Вообще открыть доступ только к моим документам - вариант, то тогда всплывает убогость древовидности и прочей убогости файловой системы.
no subject
Date: 2010-09-26 08:03 pm (UTC)Сейчас задачи подгоняются под существующие хранилища данных, а нужно придумать способ подгонять хранилища данных под задачу.
Насчет легаси уже сказали - это неразрешимый пиздец, единственное спасение от него это какие-нибудь совсем новые вещи типа ипадов, ифонов и хранилищ в облаках - там все равно все нужно будет переделывать заново и отказ от файлов в пользу каких-нибудь более структурированных хранилищ уже никого не напряжет.
no subject
Date: 2010-09-26 08:06 pm (UTC)И ребе потребитель - не программист. Если бы fs пользовался только он то да. Но 99% "пользований" fs приходится не на него.
no subject
Date: 2010-09-26 08:16 pm (UTC)И по моему, файловой системой больше пользуются программисты, нежели обычные пользователи. Обычный пользователь открывает один документ из списка, в лучшем случае найдя его поиском, в худшем - тупо перебором пока не увидит знакомое имя. И потом работает исключительно внутри этого документа.
Я, для начала, вижу одно преимущество fs перед СУБД - в случае необходимости выдрать кусок из fs и скомбинировать с другой частью (т.е. перенести часть файлов в другую папку) сильно проще, чем сделать то же самое с СУБД - я просто удолбался, например, писать синхронизатор/импортер данных для обновления наших баз под Firebird. В новой версии софта модуль делающий примерно то же самое, будет использовать просто список файлов, т.к. функции СУБД кроме "найти по ключу" там не используются.
no subject
Date: 2010-09-26 08:56 pm (UTC)как бы все же орет он не users....
no subject
Date: 2010-09-26 07:43 pm (UTC)no subject
Date: 2010-09-27 06:43 am (UTC)no subject
Date: 2010-09-26 04:04 pm (UTC)no subject
Date: 2010-09-26 10:13 pm (UTC)no subject
Date: 2010-09-27 06:33 am (UTC)no subject
Date: 2010-09-27 07:53 am (UTC)попробовал переместить дерево портов (130 тыс файлов)
slayer # find /usr/portage -type f |wc -l
129364
сбросил файловый кэш:
slayer # echo 3 > /proc/sys/vm/drop_caches
с ext4 на reiser3, с обнуленным кешем:
slayer # time mv /usr/portage /home/
real 11m54.194s
user 0m1.896s
sys 0m55.675s
обратно, кеш не трогал:
slayer # time mv /home/portage /usr/
real 4m13.231s
user 0m1.211s
sys 0m30.927s