metaclass: (Default)
metaclass ([personal profile] metaclass) wrote2013-04-23 01:29 pm

Нихт фертшейн

В результате запроса 150000 записей.
Размер временного файла для результата запроса, созданного Firebird - около 2Гб. Этот же результат, экспортированный в CSV - 5 мб.
13 килобайт на запись что ли, во временном файле. И фетч медленный как капец.
Надо, что-ли, во внутренности этого файла заглянуть будет как-нибудь, что ж там такое.
PS: при увеличении количества записей в запросе в 10 раз размер файла становится 2.2 гб. Сплошной wtf.
PPS: да это вообще абсурд - оно пишет во временный файл в три раза больше, чем читает с диска.

[identity profile] artureg.livejournal.com 2013-04-23 10:30 am (UTC)(link)
выкинь Firebird :)

[identity profile] denisioru.livejournal.com 2013-04-23 10:55 am (UTC)(link)
Предрекаю padded строковые данные до своей максимальной длины. А зачем временный файл на 5 МБ данных?

[identity profile] falcrum.livejournal.com 2013-04-23 10:59 am (UTC)(link)
Загляни. Разница на три порядка как-то внушает...

[identity profile] vp.livejournal.com 2013-04-23 11:17 am (UTC)(link)
какая-то натуральная чернь :(

[identity profile] mipa.livejournal.com 2013-04-23 11:43 am (UTC)(link)
Этот файл создается как временный скорее всего (FILE_ATTRIBUTE_TEMPORARY), т.е. никакого IO с диском нет пока хватает памяти.

[identity profile] fraks-nsk.livejournal.com 2013-04-23 04:03 pm (UTC)(link)
Про файлы сортировки можно поискать на sql.ru или спросить у hvlad там же.
На сколько я в курсе в файлах сортировки пишутся все поля во всю декларируемую ширину и все поля участвующие в select.
Или попробовать переписать запрос что бы сортировка была либо раньше линковки большинства полей либо после всех условий ограничения.

[identity profile] fraks-nsk.livejournal.com 2013-04-23 04:06 pm (UTC)(link)
Йоу, я понял.
У тебя сортировка идет натуралом а условия ограничения накладываются после нее.
Тот результат который ты в CSV пишешь и то что во временном файле - это совсем разные вещи.
Кстати во временном файле там не CSV там скорее на DBF похоже, по крайней мере в том что касается строковых полей.

[identity profile] fraks-nsk.livejournal.com 2013-04-23 04:07 pm (UTC)(link)
Запрос, DDL и план покажи.

[identity profile] anonim-legion.livejournal.com 2013-04-23 05:06 pm (UTC)(link)
Предлагаю бредовое решение - временные файлы на in-memory диске, со включенным сжатием.