В порядке безумия
Apr. 18th, 2013 10:21 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
metaclasshttp://plumqqz.livejournal.com/364288.html
Я вот как-то не задумывался, что в приложениях, предназначенных для exUSSR базы данных с большим количеством текстовых полей в таблицах в win-1251 будут в два раза меньше чем в utf8.
Интересно, нельзя ли в базе сделать кастомную кодировку, аналогичную utf8, но чтобы в ней символы, цифры, русские и приравненные к ним буквы чтобы занимали 1 байт, а английские и прочие умляуты - 2 и прочее. Сразу бы вопрос размера базы снялся.
Я вот как-то не задумывался, что в приложениях, предназначенных для exUSSR базы данных с большим количеством текстовых полей в таблицах в win-1251 будут в два раза меньше чем в utf8.
Интересно, нельзя ли в базе сделать кастомную кодировку, аналогичную utf8, но чтобы в ней символы, цифры, русские и приравненные к ним буквы чтобы занимали 1 байт, а английские и прочие умляуты - 2 и прочее. Сразу бы вопрос размера базы снялся.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2013-04-18 07:24 pm (UTC)И так хватило безумия с кодировками. А хотите ада - жмите поля ppm.
no subject
Date: 2013-04-18 07:27 pm (UTC)Впрочем, я придумал более простой вариант - два поля, русский писать в первое в win1251, если понадобится нерусь вносить - во второе, в utf8.
no subject
Date: 2013-04-18 08:20 pm (UTC)no subject
Date: 2013-04-19 04:01 am (UTC)no subject
Date: 2013-04-19 04:00 am (UTC)no subject
Date: 2013-04-18 07:26 pm (UTC)no subject
Date: 2013-04-18 07:27 pm (UTC)no subject
Date: 2013-04-18 07:29 pm (UTC)no subject
Date: 2013-04-19 09:43 am (UTC)no subject
Date: 2013-04-18 07:37 pm (UTC)no subject
Date: 2013-04-18 07:45 pm (UTC)no subject
Date: 2013-04-19 05:57 pm (UTC)no subject
Date: 2013-04-18 07:53 pm (UTC)один чорт на перекодировку utf8r <-> utf8 процессор напрягать
no subject
Date: 2013-04-18 07:55 pm (UTC)no subject
Date: 2013-04-18 07:55 pm (UTC)no subject
Date: 2013-04-18 08:17 pm (UTC)no subject
Date: 2013-04-18 09:16 pm (UTC)no subject
Date: 2013-04-18 08:25 pm (UTC)no subject
Date: 2013-04-18 08:36 pm (UTC)Но вот для баз в несколько терабайт размером и на хороших дисках, внезапно, экономия в два раза начинает иметь смысл. Плюс еще ускорение работы в два раза чисто за счет i/o.
no subject
Date: 2013-04-18 08:51 pm (UTC)no subject
Date: 2013-04-18 09:07 pm (UTC)P.S. в моём тестовом стенде 1TiB RAM :-P
no subject
Date: 2013-04-18 09:20 pm (UTC)Вот собирался сделать себе сервак для виртуализации - памяти побольше, диски в рейде, материнка плата более-менее приличная - так в итоге получается, что он себя не окупит.
Т.е. пиковая его производительность мне нужна, когда я интенсивно делаю какую-нибудь трэшатину, но загрузить его в среднем хотя бы на 50% - я один лично не смогу, я столько работы не делаю, а больше некому. :)
no subject
Date: 2013-04-18 11:16 pm (UTC)А то вся флибуста - это такие-то жалкие 301 гигабайт со всеми толстыми и достоевскими. И всё равно не дотягивает.
no subject
Date: 2013-04-19 04:12 am (UTC)no subject
Date: 2013-04-19 04:58 am (UTC)no subject
Date: 2013-04-19 04:51 am (UTC)no subject
Date: 2013-04-19 05:31 am (UTC)no subject
Date: 2013-04-18 08:53 pm (UTC)no subject
Date: 2013-04-18 09:19 pm (UTC)no subject
Date: 2013-04-20 07:21 am (UTC)no subject
Date: 2013-04-19 05:29 am (UTC)no subject
Date: 2013-04-19 05:51 am (UTC)no subject
Date: 2013-04-19 07:24 am (UTC)no subject
Date: 2013-04-19 06:12 am (UTC)У меня брат - врач, и, грит, с определенного момента времени
юзерыпациенты начали привозить выписки из историй болезни на китайском, тайском, арабском, турецком и т.п. Что с ними делать - он не знал, но в итоге пошел по вашему пути - просто подклеивал. Пусть будет, чё...no subject
Date: 2013-04-20 07:22 am (UTC)Врачи такие врачи.
no subject
Date: 2013-04-22 07:30 pm (UTC)no subject
Date: 2013-04-19 09:12 am (UTC)no subject
Date: 2013-04-19 09:13 am (UTC)no subject
Date: 2013-04-19 09:09 am (UTC)На чистом BTRFS получается раза в полтора-два медленнее, чем в ext4, но зато, в BTRFS есть сжатие, и оно как-то что-то позволяет.
Я не пробовал.
no subject
Date: 2013-04-19 09:10 am (UTC)А в постгрэссе, конечно, можно.
no subject
Date: 2013-04-19 09:45 am (UTC)Если надо цифры и буквы, которым нет аналогов в кириллице, можно ещё бит добавить :)
no subject
Date: 2013-04-19 04:32 pm (UTC)А вообще, это касается только БД с кучей текстов - полнотекстовый поиск и т.д. Но для этого случая реляцилнные БД как-то не очень.
no subject
Date: 2013-04-20 07:19 am (UTC)Пускай ужаснется.