metaclass: (Default)
[personal profile] metaclass
В результате запроса 150000 записей.
Размер временного файла для результата запроса, созданного Firebird - около 2Гб. Этот же результат, экспортированный в CSV - 5 мб.
13 килобайт на запись что ли, во временном файле. И фетч медленный как капец.
Надо, что-ли, во внутренности этого файла заглянуть будет как-нибудь, что ж там такое.
PS: при увеличении количества записей в запросе в 10 раз размер файла становится 2.2 гб. Сплошной wtf.
PPS: да это вообще абсурд - оно пишет во временный файл в три раза больше, чем читает с диска.

Date: 2013-04-23 10:30 am (UTC)
From: [identity profile] artureg.livejournal.com
выкинь Firebird :)

Date: 2013-04-23 10:55 am (UTC)
From: [identity profile] denisioru.livejournal.com
Предрекаю padded строковые данные до своей максимальной длины. А зачем временный файл на 5 МБ данных?

Date: 2013-04-23 10:59 am (UTC)
From: [identity profile] falcrum.livejournal.com
Загляни. Разница на три порядка как-то внушает...

Date: 2013-04-23 11:17 am (UTC)
From: [identity profile] vp.livejournal.com
какая-то натуральная чернь :(

Date: 2013-04-23 11:43 am (UTC)
From: [identity profile] mipa.livejournal.com
Этот файл создается как временный скорее всего (FILE_ATTRIBUTE_TEMPORARY), т.е. никакого IO с диском нет пока хватает памяти.

Date: 2013-04-23 04:03 pm (UTC)
From: [identity profile] fraks-nsk.livejournal.com
Про файлы сортировки можно поискать на sql.ru или спросить у hvlad там же.
На сколько я в курсе в файлах сортировки пишутся все поля во всю декларируемую ширину и все поля участвующие в select.
Или попробовать переписать запрос что бы сортировка была либо раньше линковки большинства полей либо после всех условий ограничения.

Date: 2013-04-23 04:06 pm (UTC)
From: [identity profile] fraks-nsk.livejournal.com
Йоу, я понял.
У тебя сортировка идет натуралом а условия ограничения накладываются после нее.
Тот результат который ты в CSV пишешь и то что во временном файле - это совсем разные вещи.
Кстати во временном файле там не CSV там скорее на DBF похоже, по крайней мере в том что касается строковых полей.

Date: 2013-04-23 04:07 pm (UTC)
From: [identity profile] fraks-nsk.livejournal.com
Запрос, DDL и план покажи.

Date: 2013-04-23 05:06 pm (UTC)
From: [identity profile] anonim-legion.livejournal.com
Предлагаю бредовое решение - временные файлы на in-memory диске, со включенным сжатием.

Profile

metaclass: (Default)
metaclass

April 2017

S M T W T F S
      1
2345678
9101112 131415
16171819202122
23242526272829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jun. 20th, 2025 01:41 am
Powered by Dreamwidth Studios