metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2013-04-18 10:21 pm

В порядке безумия

http://plumqqz.livejournal.com/364288.html
Я вот как-то не задумывался, что в приложениях, предназначенных для exUSSR базы данных с большим количеством текстовых полей в таблицах в win-1251 будут в два раза меньше чем в utf8.
Интересно, нельзя ли в базе сделать кастомную кодировку, аналогичную utf8, но чтобы в ней символы, цифры, русские и приравненные к ним буквы чтобы занимали 1 байт, а английские и прочие умляуты - 2 и прочее. Сразу бы вопрос размера базы снялся.

[identity profile] denisioru.livejournal.com 2013-04-19 05:29 am (UTC)(link)
А что такое "в два раза"? У вас plain-text document storage? В остальных случаях разница win1251/utf-8 несущественна. Индексы по текстовым строкам пожырнее будут, но это не настолько критично, ибо все нормальные full-text движки используют уникод для хранения строк. Я не вижу причин создавать базы СЕЙЧАС в кодировке, отличной от utf-8 или строго уникодной. Потому что завтра появится название на китайском, французском или чешском (кстати у нас такие уже есть такие, и монгольский и прочие).

[identity profile] metaclass.livejournal.com 2013-04-19 05:51 am (UTC)(link)
Ну вот все так говорят, а крокодил говорит, что на текстах заметная экономия.

[identity profile] denisioru.livejournal.com 2013-04-19 07:24 am (UTC)(link)
Пруфы? И не надо синтетики, где одна таблица на стопицот миллионов записей с двумя полями, одно из которых текстовое и индексированное. Это ниразу не показатель. В реальной жизни разница единицы процентов, да и то надо постараться, чтобы она была.

[identity profile] plumqqz.livejournal.com 2013-04-19 06:12 am (UTC)(link)
Потому что завтра появится название на китайском, французском или чешском (кстати у нас такие уже есть такие, и монгольский и прочие).
У меня брат - врач, и, грит, с определенного момента времени юзерыпациенты начали привозить выписки из историй болезни на китайском, тайском, арабском, турецком и т.п. Что с ними делать - он не знал, но в итоге пошел по вашему пути - просто подклеивал. Пусть будет, чё...

[identity profile] anonim-legion.livejournal.com 2013-04-20 07:22 am (UTC)(link)
Я почти уверен, что если бы выписки были на английском - он тоже не знал бы, что с ними делать. Потому что учил немецкий, но его тоже не знает.

Врачи такие врачи.

[identity profile] plumqqz.livejournal.com 2013-04-22 07:30 pm (UTC)(link)
Ну вот и думайте, к чему это все ведет.

[identity profile] tzirechnoy.livejournal.com 2013-04-19 09:12 am (UTC)(link)
В юникоде, кстати, так и нет нормальной одновременной поддержки китайского и японского иероглифического.

[identity profile] denisioru.livejournal.com 2013-04-19 09:13 am (UTC)(link)
Тем не менее уникод снимает львиную долю головняков с хранением национальных символов.