Nano Hash - криптовалюты, майнинг, программирование

Protobuf парсит текст

У меня есть следующий текст protobuf, и я использую google-protobuf для его анализа, но я не уверен, как это сделать.

# HELP Type about service.
# TYPE gauge
metadata_server1{namespace="default",service="nginx"} 1
metadata_server2{namespace="default",service="operator"} 1
metadata_server3{namespace="default",service="someservice"} 1
...

Всякий раз, когда я пытаюсь его декодировать, я получаю эту ошибку:

/usr/lib/ruby/gems/2.3.0/gems/protobuf-3.8.3/lib/protobuf/decoder.rb:21:in `decode_each_field'

Вот как я пытаюсь его расшифровать:

class Metrics < ::Protobuf::Message
  required :string, :namespace, 1
  required :string, :value, 2
  required :string, :map, 3
end

class Message < ::Protobuf::Message
  repeated Metrics, :metrics, 1
end

data = get_data('http://localhost:8080/')

parsed_data = Metrics.decode(data)
puts parsed_data.metrics //does not work

Кто-нибудь знает, как я могу разобрать это?

ruby protocol-buffers google-protocol-buffer
08.06.2018

Ответы:


1

Ваши данные не являются Protobuf. Protobuf — это двоичный формат, а не текст, поэтому он не будет удобочитаемым для человека, как данные, которые вы видите. Технически Protobuf имеет альтернативное текстовое представление, используемое для отладки, но ваши данные тоже не в этом формате.

Вместо этого ваши данные представляются в текстовом формате Prometheus, который не является форматом Protobuf. Для анализа вам понадобится текстовый парсер Prometheus. Обычно этот формат потребляет только сам Prometheus, поэтому доступно не так много библиотек для его разбора (тогда как библиотек для его создания много). Однако формат довольно прост, и вы, вероятно, могли бы проанализировать его с помощью подходящего регулярного выражения.

Некоторые серверы, которые экспортируют метрики Prometheus, также поддерживают их экспорт в альтернативный формат на основе Protobuf. Если ваш сервер поддерживает это, вы можете запросить его, отправив заголовок:

Accept: application/vnd.google.protobuf; proto=io.prometheus.client.MetricFamily; encoding=delimited

Если вы отправите это в запросе, вы можете получить обратно формат на основе Protobuf, если сервер его поддерживает. Обратите внимание, что формат Protobuf устарел и удален в Prometheus 2, поэтому в наши дни его поддерживает меньшее количество серверов.

Если ваш сервер поддерживает этот формат, обратите внимание, что результат все еще не является простым Protobuf. Скорее это набор Protobuf в формате "с разделителями". Каждый Protobuf имеет префикс длины в кодировке varint («varint» — целочисленное кодирование переменной ширины Protobuf). В C++ или Java есть функции "parseDelimitedFrom", которые вы можете использовать для разбора этого формата, но похоже, что Ruby в настоящее время не имеет встроенной поддержки.

10.06.2018
  • Спасибо большое за вашу помощь. Используя правильный заголовок Accept, я смог получить формат protobuf. Затем я использовал клиентскую библиотеку Prometheus Ruby для анализа данных. 12.06.2018
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..