В порядке безумия

[metaclass]

http://plumqqz.livejournal.com/364288.html
Я вот как-то не задумывался, что в приложениях, предназначенных для exUSSR базы данных с большим количеством текстовых полей в таблицах в win-1251 будут в два раза меньше чем в utf8.
Интересно, нельзя ли в базе сделать кастомную кодировку, аналогичную utf8, но чтобы в ней символы, цифры, русские и приравненные к ним буквы чтобы занимали 1 байт, а английские и прочие умляуты - 2 и прочее. Сразу бы вопрос размера базы снялся.

Comments

[aamonster.livejournal.com]

Хочется взять и уебать.
И так хватило безумия с кодировками. А хотите ада - жмите поля ppm.

[falcrum.livejournal.com]

Теоретически, никто не мешает. Заодно... э-э... обсфурцируешь... :)

[metaclass.livejournal.com]

Ну да, но вот народ уперся рогом в win-1251 и все. А потом же будут костыли когда туда понадобится умляуты и иероглифы писать.
Впрочем, я придумал более простой вариант - два поля, русский писать в первое в win1251, если понадобится нерусь вносить - во второе, в utf8.

[metaclass.livejournal.com]

"В комментарии призывается maxdz с комментариями про колхозные кодировки серверного мордора основанные на xor"

[aamonster.livejournal.com]

Только ppm. Только хардкор. Всё остальное - неоправданный расход битиков!

[berezovsky.livejournal.com]

ничё не понял, куда там что упирается, если размер в два раза больше

[metaclass.livejournal.com]

Нагрузка на i/o и размеры стораджа.

[alll]

ребе, не останавливайтесь на полдороге - жмите уже текстовые поля потоковым компрессором
один чорт на перекодировку utf8r <-> utf8 процессор напрягать

[berezovsky.livejournal.com]

аппаратно зипировать

[metaclass.livejournal.com]

Вы тащемта не поверите, но базы данных это сами вроде делают :)

[plumqqz.livejournal.com]

Некоторые даже с аппаратной помощью.

[plumqqz.livejournal.com]

А вы, между прочим, предложили отличное решение.

[kiryl.livejournal.com]

Купите уже больше памяти/диска и не изобретайте костыли.

[metaclass.livejournal.com]

Да я тоже так думаю.
Но вот для баз в несколько терабайт размером и на хороших дисках, внезапно, экономия в два раза начинает иметь смысл. Плюс еще ускорение работы в два раза чисто за счет i/o.

[eternal-leave.livejournal.com]

Базы в пару терабайт зачастую партиционированы на куски по несколько десятков гиг, которые с легкостью влазят целиком в память

[eternal-leave.livejournal.com]

latin1 же )

[kiryl.livejournal.com]

А что по сегодняшним меркам пара терабайт -- это объём? Это ж за разумные деньги делается. Хоть SAS на 15k, хоть SSD.

P.S. в моём тестовом стенде 1TiB RAM :-P

[alll]

Не поверю - иначе откуда бы вы взяли такой вкусный выигрыш в размерах в ~50% вместо унылого ~20%. ;)

[qehgt.livejournal.com]

Есть такая мудрая поговорка "с говна сметану собирать".

[metaclass.livejournal.com]

У меня как-то не складывается.
Вот собирался сделать себе сервак для виртуализации - памяти побольше, диски в рейде, материнка плата более-менее приличная - так в итоге получается, что он себя не окупит.
Т.е. пиковая его производительность мне нужна, когда я интенсивно делаю какую-нибудь трэшатину, но загрузить его в среднем хотя бы на 50% - я один лично не смогу, я столько работы не делаю, а больше некому. :)

[qehgt.livejournal.com]

А можно поинтересоваться, что в "несколько терабайтной" базе этой храниться будет? Фамилии/имена всех жителей России от начала времён и до конца жизни Вселенной?

А то вся флибуста - это такие-то жалкие 301 гигабайт со всеми толстыми и достоевскими. И всё равно не дотягивает.

[trueblacker.livejournal.com]

+1

[trueblacker.livejournal.com]

не в точности, но примерно по теме

[thedeemon.livejournal.com]

Запись всех разговоров и мыслей жителей Минска и окрестностей за 21-25 века.

[metaclass.livejournal.com]

Там вроде все в архивах.

[metaclass.livejournal.com]

В трекер только что добавлен пункт "переговорить с куратором насчет утечки данных в Таиланде".

[denisioru.livejournal.com]

А что такое "в два раза"? У вас plain-text document storage? В остальных случаях разница win1251/utf-8 несущественна. Индексы по текстовым строкам пожырнее будут, но это не настолько критично, ибо все нормальные full-text движки используют уникод для хранения строк. Я не вижу причин создавать базы СЕЙЧАС в кодировке, отличной от utf-8 или строго уникодной. Потому что завтра появится название на китайском, французском или чешском (кстати у нас такие уже есть такие, и монгольский и прочие).

[denisioru.livejournal.com]

Да не будет там в два раза. Служебной информации тоже хватает. К тому же большие текстовые данные отлично жмутся как позаписьно так и постранично.

[metaclass.livejournal.com]

Ну вот все так говорят, а крокодил говорит, что на текстах заметная экономия.

[plumqqz.livejournal.com]

Потому что завтра появится название на китайском, французском или чешском (кстати у нас такие уже есть такие, и монгольский и прочие).
У меня брат - врач, и, грит, с определенного момента времени юзерыпациенты начали привозить выписки из историй болезни на китайском, тайском, арабском, турецком и т.п. Что с ними делать - он не знал, но в итоге пошел по вашему пути - просто подклеивал. Пусть будет, чё...

[denisioru.livejournal.com]

Пруфы? И не надо синтетики, где одна таблица на стопицот миллионов записей с двумя полями, одно из которых текстовое и индексированное. Это ниразу не показатель. В реальной жизни разница единицы процентов, да и то надо постараться, чтобы она была.

[nivanych.livejournal.com]

Слышал, люди пробовали в BTRFS со сжатием хранить и даже получали какой-то выигрыш.
На чистом BTRFS получается раза в полтора-два медленнее, чем в ext4, но зато, в BTRFS есть сжатие, и оно как-то что-то позволяет.
Я не пробовал.

[tzirechnoy.livejournal.com]

Если весь сраный оркужающий мир не знает, как работать с разными кодировками -- то нет, нельзя.

А в постгрэссе, конечно, можно.

[tzirechnoy.livejournal.com]

В юникоде, кстати, так и нет нормальной одновременной поддержки китайского и японского иероглифического.

[denisioru.livejournal.com]

Тем не менее уникод снимает львиную долю головняков с хранением национальных символов.

[nivanych.livejournal.com]

BTRFS со включенным ZLO-сжатием!!

[litvin-v.livejournal.com]

Я как-то реализовывал хранение русских строк в 5-ти битах на символ. И свой формат базы. Телефонный справочник для аппарата с очень мало мозгов.

Если надо цифры и буквы, которым нет аналогов в кириллице, можно ещё бит добавить :)

[victor bolshakov (from livejournal.com)]

Хранить в нормальном UTF, чтоб русскому небыло обидно.
А вообще, это касается только БД с кучей текстов - полнотекстовый поиск и т.д. Но для этого случая реляцилнные БД как-то не очень.

[berezovsky.livejournal.com]

О, привет, глазофф!

[anonim-legion.livejournal.com]

Кто-нибудь, дайте Крокодилу ссылку: natishalom.typepad.com/nati_shaloms_blog/2010/03/memory-is-the-new-disk-for-the-enterprise.html

Пускай ужаснется.

[anonim-legion.livejournal.com]

+100500

[anonim-legion.livejournal.com]

Я почти уверен, что если бы выписки были на английском - он тоже не знал бы, что с ними делать. Потому что учил немецкий, но его тоже не знает.

Врачи такие врачи.

[plumqqz.livejournal.com]

Ну вот и думайте, к чему это все ведет.