Nano Hash - криптовалюты, майнинг, программирование

Wget vs Curl: получение вывода сайта с запрещенной ошибкой 403

Я использую следующую команду:

wget --no-check-certificate "https://www.googleapis.com/youtube/v3/search?alt=json&q=hello&part=snippet"

Я получаю ошибку 403 Forbidden (это ожидаемый результат), но также есть сопутствующий ответ сервера в качестве причины, которую я не могу получить. Я пробовал с различными вариантами - игнорирование длины контента, предоставление частного сертификата PEM, установка пользовательского агента и т. д., но все еще не смог получить этот результат.

Однако при использовании curl результат получается таким, как ожидалось. curl "https://www.googleapis.com/youtube/v3/search?alt=json&q=hello&part=snippet"

Вывод:

--2013-06-07 18:37:13--  https://www.googleapis.com/youtube/v3/search?alt=json&q=hello&part=snippet
Resolving www.googleapis.com (www.googleapis.com)... 74.125.135.95, 2404:6800:4001:c01::5f
Connecting to www.googleapis.com (www.googleapis.com)|74.125.135.95|:443... connected.
WARNING: The certificate of `www.googleapis.com' is not trusted.
WARNING: The certificate of `www.googleapis.com' hasn't got a known issuer.
HTTP request sent, awaiting response... 403 Forbidden
2013-06-07 18:37:14 ERROR 403: Forbidden.

Выход завитка:

{
 "error": {
  "errors": [
   {
    "domain": "usageLimits",
    "reason": "dailyLimitExceededUnreg",
    "message": "Daily Limit for Unauthenticated Use Exceeded. Continued use requires signup.",
    "extendedHelp": "https://code.google.com/apis/console"
   }
  ],
  "code": 403,
  "message": "Daily Limit for Unauthenticated Use Exceeded. Continued use requires signup."
 }
}

Проблема в том, что на многих моих машинах установлен только wget, поэтому меня это раздражает. Я почти уверен, что пропустил какую-то опцию, которая заставляет wget показывать вывод. Если есть идеи, с удовольствием попробую. Спасибо.

07.06.2013

Ответы:


1

К сожалению, вам не повезло с wget.

Программа wget работает только с протоколом HTTP версии 1.0. В HTTP 1.1 ответ может быть отправлен с использованием кодировки chunked. Это означает, что любой агент может отправлять данные порциями, предваряя каждую порцию размером отправляемой порции. Это имеет смысл при отправке больших объемов данных ИЛИ данных, размер которых заранее неизвестен. Помимо прочего, кодировка chunked позволяет перемещаться в разные части передаваемого ресурса.

В вашем случае происходит то, что когда вы пытаетесь поговорить с Youtube через HTTP/1.0, сервер отвечает, что вам не повезло. Когда вы говорите с ним через HTTP/1.1, он предоставляет вам фрагментированный ответ, содержащий JSON, который вы видите. curl обрабатывает HTTP/1.1 и, следовательно, обрабатывает кодировку передачи chunked, предоставленную Youtube. Этот клип на Youtube дает вам быстрый взгляд на фрагментированную кодировку.

Наконец, следующее несколько не по теме: кодирование фрагментированной передачи и последующие запросы диапазона и ответ довольно вовлечены. Кит Кембридж сделал отличную презентацию о них.

07.06.2013
Новые материалы

Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..