Генераторы сериализаторов-десериализаторов.

[metaclass]

Меня немного удивляет существование protocol buffers, и еще больше удивляет, когда кроме них изобретают еще и Apache Thrift, а потом еще и https://capnproto.org/ и https://google.github.io/flatbuffers/.

Все эти протоколы подразумевают, что система разрабатывается одной и той же командой (или двумя тесно взаимодействующими) с обоих сторон, что типы передаваемых меняются достаточно синхронно, т.е. что протокол за 2-3 итерации не превратится во что-нибудь вроде "у нас тут 100 опциональных полей на каждый случай жизни".

А вот генератора парсеров на случай "протокол дали ембеддеры-психи, засунув в 8 бит 2 флага и 2 поля по 3 бита с длиной дополнительных данных в пакете" или "обвязка протокол описана в виде ABNF в RFC, а в payload опять поселились эмбеддеры с бинарными форматами" я чего-то не видел.

Comments

[mikkim08.livejournal.com]

А это (https://github.com/scodec/scodec) ?

[berezovsky.livejournal.com]

генератор парсера SMS в формате PDU

[thedeemon.livejournal.com]

>Все эти протоколы подразумевают, что..

Ну да, и перечисленные условия - довольно частая и обыденная вещь, когда разным частям одной системы надо общаться. Для таких ситуаций и делаются.

В эрланге и эликсире весьма удобно сделан парсинг таких бинарных данных. А в других языках как-то ничего сразу на ум не приходит, да. Все привыкли текст парсить.

[slach.livejournal.com]

а меня вот сильно бесит что этот самый protobuf
никаким Wireshark нельзя закапчурить и пропарсить... =( прямо вот СИЛЬНО бесит

[vit-r.livejournal.com]

Они выходят такими убогими, что никто не хочет демонстрировать результат ;-)

[binf.livejournal.com]

очень ок делать это на актив-паттернах. например

let (|Digits|) (b:byte) = decimal(b >>> 4), decimal(b &&& 0x0Fuy)
let (|DecNums2|_|) (Digits (b1,b2)) = if b1<10m && b2<10m then Some(b1,b2) else None
let (|SignComa|) x =
let coma = (x &&& 0b111uy ) |> decimal
let sign = if (x >>> 7) = 0uy then 1m else (-1m)
sign, coma


что бы потом сказать что-то вроде


let (|Bcd6|_|) = function
| SignComa(sign,coma)::
DecNums2(d'100'000,d10'000)::DecNums2(d1000,d100)::DecNums2(d10,d1)::_ ->
Some( sign*(d'100'000*100000m + d10'000*10000m + d1000*1000m + d100*100m + d10*10m + d1 )/( pow 10m coma ) )
| _ -> None


а по другому хз как

[ilya-portnov.livejournal.com]

У нас есть инхаус-решение для этого, самописное. Описываем внешний формат, и по нему генерится парсер и сериализатор. Только вот делали его, похоже, люди с GUI головного мозга, поэтому основной способ описания формата — мышкой в замысловатых кривоватых редакторах. Ну или можно открыть сохранённое описание и править руками — но оно хранится в адовой структуры XML-е...

[besm6.livejournal.com]

> ... я чего-то не видел

В зеркало посмотри.

[tzirechnoy.livejournal.com]

Ну, насчёт кроме них удивлять должно слабо -- посмотрел я тут внутрь protobuf. Написано относительно идиоматично, но херово по скорости да и по дуракоустойчивости.

[juan-gandhi.livejournal.com]

По мне так pb - туфта.

[clayrat.livejournal.com]

>система разрабатывается одной и той же командой (или двумя тесно взаимодействующими) с обоих сторон
ну да, микросервисы типа

[b00ter.livejournal.com]

> "протокол дали ембеддеры-психи, засунув в 8 бит 2 флага и 2 поля по 3 бита с длиной дополнительных данных в пакете"

Рэбе, ну елки-палки - http://broadcast.oreilly.com/2009/03/the-power-of-erlang-bit-syntax.html

[zaharchenko]

А может и хорошо что нет, а то лишний повод был бы своё накопленное городить

[jdevelop.livejournal.com]

https://hackage.haskell.org/package/attoparsec

[slach.livejournal.com]

а меня вот сильно бесит что этот самый protobuf
никаким Wireshark нельзя закапчурить и пропарсить... =( прямо вот СИЛЬНО бесит

[dmitry shamov (from livejournal.com)]

Да на самом деле почему нет какого нибудь языка описания протокола (я возможно просто о нем не знаю)? Тогда по нему можно и генерить сериализатор, десериализатор.

[dmitry shamov (from livejournal.com)]

И кстати расскажите почему протобуф туфта. Я как раз тут думал для одного поделия что лучше использовать....

[slach.livejournal.com]

а меня вот сильно бесит что этот самый protobuf
никаким Wireshark нельзя закапчурить и пропарсить... =( прямо вот СИЛЬНО бесит

[perdakot.livejournal.com]

Думается, что язык описания бинарного формата, если он будет сколько-нибудь общим, будет таким же сложным как С++. А если он будет не общий, то он не будет поддерживать "2 флага и 2 поля по 3 бита". То есть считай, что С++ и есть язык описания формата.