metaclass: (Default)
[personal profile] metaclass
Вот тут у Витуса Вагнера подняли тему насчет того, что разучились делать софт, который может в условиях ограниченных ресурсов работать с большими объемами данных.

Ну и там вспомнили две основные причины - плохое образование, и то, что рыночные условия требуют софт "как можно быстрее".

У всех какой-то явный непорядок с головой, на самом деле. Попытка сделать софт нормальным и качественным в условиях наличия достаточного времени с 100% вероятностью приведет или к тому что программисты будут пинать балду (чтобы отдохнуть от предыдущих экстремальных гонок) или к греху "перепроектирования", когда получится такой монстр, что проще будет заново все написать чем его осилить.

В условиях экстремальных гонок софт получается более простым, с багами и недоделками, но он как минимум есть и работает.

Одна надежда - что кризис снизит темпы бессмысленной работы.

Date: 2008-10-30 01:55 pm (UTC)
From: [identity profile] raydac.livejournal.com
если кризис сократит количество бессмысленной работы в ИТ, то миллионы спецов (даже те что гнут пальцы) окажутся на улице :)

Date: 2008-10-30 01:59 pm (UTC)
From: [identity profile] metaclass.livejournal.com
Это-то понятно. Но в этом может быть какая-то польза - наконец опять появятся свободные программисты:)

Date: 2008-10-30 02:02 pm (UTC)
From: [identity profile] raydac.livejournal.com
а проку то от свободных.. это только кажется что программеров нонче не хватает, вырвать кусок работы можно только по блату и с превеликим усилием и даже те кто в ЖЖ пишут - "где программеры?!!!! работать некому!!!" при переписке по поводу изготовления куска работы вдруг теряются и исчезают :) так как "нет программеров" это модная концепция, а не реальный факт :)

Date: 2008-10-30 02:36 pm (UTC)
From: [identity profile] nivanych.livejournal.com
До сих пор не наблюдалось свободных программистов?
Не, ну даже в Россиие?
Их было очень мало?

Date: 2008-10-30 10:42 pm (UTC)

Date: 2008-10-30 02:23 pm (UTC)
From: [identity profile] guamoka.livejournal.com

Недавно где-то в fido7.ru.unix.solaris сталкивался с тредом, где обсуждались проблемы работы с файлами в несколько гигабайт - ни один современный редактор, кроме emacs не был в состоянии это делать.
->
Потребовалось тут маленько подправить дамп базы - текстовый файл
размером 4.4G.


Окуеть. Просто, ИМХО, у программистов изначально сдвинута башня в сторону от реальности, ибо, как правило, опять же, их никогда не учили на инженеров (на математиков, физиков- на кого угодно, но только не инженеров). Это примерно так же, как бегать с криками "пипец, нигде не могу найти (бюджетного решения) кран- мне нужно дачный домик (кирпич, два этажа, 10 х 15) маленько подвинуть- с фундамента съехал. разучились, с#ки, машины делать!" :)

Date: 2008-10-30 03:15 pm (UTC)
From: [identity profile] g-rub.livejournal.com
Не смешивайте теплое с мягким.
В треде про файл на 4.4 Г человеку в первом же ответе совершенно верно упомянули магическое слово sed.

Витуса же заинтересовала абстрактная тема современного софта и ресурсов как таковая. И из этого ни разу не следует что у него "башня сдвинута в сторону от реальности".

Date: 2008-10-30 03:56 pm (UTC)
From: [identity profile] guamoka.livejournal.com

И из этого ни разу не следует что у него "башня сдвинута в сторону от реальности".


Из этого следует обратное?

ЗЫ. В общем-то, непонимание смысла моей реплики тоже кой о чем говорит.

Date: 2008-10-30 04:03 pm (UTC)
From: [identity profile] g-rub.livejournal.com
Откройте мне Истину, пожалуйста. Я внимательно слушаю.

Date: 2008-10-30 04:08 pm (UTC)
From: [identity profile] guamoka.livejournal.com
А я разве открывал семинар? :)

Date: 2008-10-30 04:14 pm (UTC)
From: [identity profile] g-rub.livejournal.com
Развешивать ярлыки и намекать на некий сакральный смысл своих реплик -- это ли не претензия на абсолютную Истину?

А претензия на абсолютную истину с одновременным отказом от ее раскрытия -- это уже моветон :)

Date: 2008-10-30 04:16 pm (UTC)
From: [identity profile] g-rub.livejournal.com
Если серьезно, то на мой непосвященный взгляд, смысл вашей реплики свелся к наезду на (не самую разумную в большинстве случаев) мысль редактировать текстовый дамп БД руками.

Что весьма слабо относится к теме, которую обсуждают в ЖЖ у Витуса.

Или таки в реплике был какой-то другой месседж, ускользнувший от моего понимания?

Date: 2008-10-30 04:19 pm (UTC)
From: [identity profile] metaclass.livejournal.com
sed умеет обрабатывать бинарные файлы? С текстом более менее понятно, но когда там в файле половина значений байт с кодом <31, виндовые конвееры вообще по моему ломаются, а под линуксом не все работает.

Date: 2008-10-30 04:31 pm (UTC)
From: [identity profile] g-rub.livejournal.com
Чего не знаю, того не знаю, а проверять лень/некогда.
ЕМНИП, там в треде человек поминал про чисто текстовый файл, так что в рамках его задачи альтернатива была предложена целиком корректная.

Date: 2008-10-30 04:37 pm (UTC)
From: [identity profile] metaclass.livejournal.com
Да, я уже заметил. У меня с чисто текстовыми дампами баз еще та проблема, что непонятно как в них блобы выглядят.

Date: 2008-10-31 07:09 am (UTC)
From: [identity profile] blackyblack.livejournal.com
Так у дампера надо ключик специальный ставить. У меня блобы в хексах. То есть в тексте всё ОК.

Date: 2008-10-30 04:18 pm (UTC)
From: [identity profile] metaclass.livejournal.com
Под виндой это правится винхексом за милую душу, а линуксоиды сами себе буратины.

Date: 2008-10-30 04:21 pm (UTC)
From: [identity profile] metaclass.livejournal.com
Ну в общем-то, требование обрабатывать многогигабайтные текстовые файлы достаточно разумное. Мало ли что сделать надо.
Правда в большинстве случаев изначальная постановка задачи - бред сивой кобылы, но бывают и действительно необходимость обработать огромный файл.

Date: 2008-10-30 04:33 pm (UTC)
From: [identity profile] guamoka.livejournal.com
Ну, я не про то, что отредактировать огромный файл- это восьмой смертельный грех. Всякое бывает. Даже, черт с ним, кривые руки- свои или где-то по пищевой цепочке выше. Я про тут же далеко идущие выводы. Вот, мол, чем не открою- все не откывает. Ну надо же. Каждый пользователь ежечасно порывается отредактировать файл по 4Гб по служебной необходимости, а, поди ж ты, (почти) все имеющиеся тулзы этого не позволяют! Куда катится мир? :)

Date: 2008-10-31 07:11 am (UTC)
From: [identity profile] blackyblack.livejournal.com
Вот как раз и тема для опенсорсного проекта. Сделать редактор файлов любого размера.

Date: 2008-10-30 08:35 pm (UTC)
From: [identity profile] thesz.livejournal.com
В Peopleware говорят ровно наоборот. Чем меньше прессинг сроков, тем лучше продукт.

Авторы эту тему исследовали плотно и, практически, на всей программистской популяции США.

Date: 2008-10-30 08:43 pm (UTC)
From: [identity profile] metaclass.livejournal.com
Значит там должен быть какой-то другой прессинг, или программисты все время работают в таких условиях.

Я точно знаю, что если с меня снять прессинг - я просто повалюсь и буду неопределенное ничего не кодировать в принципе. В лучшем случае в уме проектировать что нибудь буду, или гуру хаскелей и функционального программирования читать :)

Date: 2008-10-30 08:45 pm (UTC)
From: [identity profile] thesz.livejournal.com
Я точно знаю, что если с меня снять прессинг - я просто повалюсь и буду неопределенное ничего не кодировать в принципе. В лучшем случае в уме проектировать что нибудь буду, или гуру хаскелей и функционального программирования читать :)

То есть, судишь по себе.

Кстати, попробуй снять прессинг, узнаешь много интересного. ;)

Date: 2008-10-30 08:52 pm (UTC)
From: [identity profile] metaclass.livejournal.com
У меня тут бред, чтобы снять прессинг, нужно переделать какую-то непонятную гору работы. Накопилось всякой хрени выше крыши, причем половина требует длительного размышления и проектирования, а вторая половина - длительного тупого кодинга. Все, что можно было сделать минимальными усилиями - закончилось.

Date: 2008-10-30 10:51 pm (UTC)
From: [identity profile] volodymir-k.livejournal.com
Это проблема организации. У вас руководитель совершает непрофесиональные действия. Вы износитесь, получите психическое истощение, что он будет делать? Уволит с волчьим билетом по статье.

Date: 2008-10-31 01:53 am (UTC)
From: [identity profile] vp.livejournal.com
Уволиться или умереть кстати тоже нельзя - рухнут сразу несколько отраслей белорусской экономики. Так что приходится мучиться и терпеть :)

Date: 2008-10-31 06:32 am (UTC)
From: [identity profile] metaclass.livejournal.com
Мне по некоторым причинам приходится работать на двух работах, и отказаться от одной невозможно. Руководители на обоих вроде бы относятся к этому спокойно, но все равно тяжеловато.

Date: 2008-10-30 10:48 pm (UTC)
From: [identity profile] volodymir-k.livejournal.com
Интересно, кто-нибудь когда-нибудь произнесёт слово "требования". И что их кто-то сначала выскажет, а потом сделают. Вообще-то ИМЕТЬ 4-гиговый файл в некоторых ФС научились относительно недавно. Что СТРОКИ длинней 65к довольно недавно стали делать. Иметь 4-х гиговый ТЕКСТ -- это нонсенс. Другое дело, что они БД логов ведут в текстовом формате (и кстати теряют кучу места и эфективности) и хотят странного.

А так знаете, можно капризничать. "У меня оракловская БД на 100 терабайт на 16 стриммерах, хочу в середину два байта вставить. Ужас! Ни одна софтина не открывает файл, разбитый по 16 стриммерам! Куда катится мир! брак! ублюдки! криворукие молодые выродки! вот я в их возрасте!!!" -- Чистый NIH syndrome.

Profile

metaclass: (Default)
metaclass

April 2017

S M T W T F S
      1
2345678
9101112 131415
16171819202122
23242526272829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 25th, 2025 05:38 pm
Powered by Dreamwidth Studios