Nano Hash - криптовалюты, майнинг, программирование

.NET Core 2.2 HttpClient / WebClient vs Curl - библиотеки .NET очень медленные для некоторых серверов

РЕДАКТИРОВАТЬ: добавлены образцы воспроизведения + Я запускаю это (на всех серверах) на Ubuntu 18.04 с .Net Core 2.2.203.

РЕДАКТИРОВАТЬ: протестировано из дома на моем ноутбуке с Windows 10; те же результаты

У меня есть фрагмент очень простого кода для HttpClient (статический, как рекомендуется, но я также тестировал с помощью ()):

sw.Start(); // stopwatch
client.GetAsync(url).Result();
sw.Stop();

а затем для завитка:

time curl -L "url" > /dev/null

а для рыси:

time lynx "url" > /dev/null

Разница ошеломляющая; это действительно зависит от запрошенного сервера / URL-адреса, но я получаю различия в 2-50 раз медленнее от HttpClient, чем curl / lynx при запросах с того же сервера.

Я перепробовал все исправления, которые смог найти;

HttpHandler без прокси (UseProxy = false, Proxy = null)

Использование await вместо .Result (не то, чтобы это должно иметь значение, и это действительно не так)

WebClient

ModernHttpClient

и оболочка Curl CurlThin

Последний вариант (очевидно) дал правильные результаты, остальные (параметры .NET) просто невероятно медленные.

На данный момент я использую оболочки Curl, потому что результаты .NET неверны и замедляют работу нашего стека.

У кого-нибудь было такое раньше? Я пробовал (как вы можете видеть выше) все «исправления», предоставленные Googling, но ни один из них не помог.

РЕДАКТИРОВАТЬ: от Матти в комментариях, если вы используете Windows с Powershell, это тоже воспроизводит;

(Measure-Command -Expression { $site = Invoke-WebRequest -Uri "reddit.com" }).Milliseconds

РЕДАКТИРОВАТЬ: Код для воспроизведения:

использовать с:

dotnet run -- https://reddit.com
using System;
using System.Diagnostics;
using System.Net.Http;

namespace Download.Playground
{
    class Program
    {
        static HttpClient client;

        
        static void Main(string[] args)
        {
        
            HttpClientHandler hch = new HttpClientHandler();
            hch.Proxy = null;
            hch.UseProxy = false;
            client = new HttpClient(hch);
       
            Stopwatch sw = new Stopwatch();

            sw.Start();
            var result = client.GetAsync(args[0]).Result; 
            sw.Stop();

            Console.WriteLine($"Spent {sw.ElapsedMilliseconds}ms"); 

        }
        
    }
}

Небольшой скрипт для проверки 20 раз, запустите с:

./runbench https://reddit.com
#!/bin/bash

for i in {1..20}
do
    dotnet run -- $1
    time curl -L $1 > /dev/null
done

  • Это тоже происходит с использованием методов синхронизации? Укажите URL-адрес, который позволит нам воспроизвести разницу. 09.05.2019
  • Да, например, такое случается и с DownloadString (). Reddit.com - хороший пример; на HttpClient и т. д. я получаю ~ 1800 мс, в то время как curl всегда дает мне <200 мс. Опять же, измерено с того же (гигабитная труба) сервера. Независимо от точных значений времени; HttpClient для reddit.com для этого сервера (и да, я пробовал разные серверы; тот же результат) дает результаты в 5-10 раз медленнее более 30 запросов для curl и httpclient. 09.05.2019
  • Для меня он также в 5 раз медленнее .. Я использовал это для измерения времени `(Measure-Command -Expression {$ site = Invoke-WebRequest -Uri reddit.com}). Миллисекунды` 09.05.2019
  • Может в этом проблема? github.com/dotnet/corefx/issues/37035; Все машины Linux, на которых я работаю, имеют ipv6. Позвольте мне проверить свой ноутбук, выключив его. = ›Нет, это не так. 09.05.2019
  • Вы пытались подключиться более одного раза, используя один и тот же HttpClient? Возможно, есть некоторая инициализация, которая занимает так много времени, хотя разница в 1600 мс кажется слишком большой для любого кода инициализации 09.05.2019
  • Этот код выполняется внутри программного обеспечения, которое повторно использует HttpClient. К сожалению, результат точно такой же. Мы узнали об этой проблеме, потому что некоторые пользователи жаловались на то, что их страницы загружаются очень медленно (это используется для внутреннего инструмента), в то время как другие страницы загружаются очень быстро. У всех одинаковое время загрузки Curl, но очень разное время загрузки HttpClient. 09.05.2019
  • Я попытался получить доступ к reddit.com в браузере, и это заняло ~ 1 секунду, вы уверены, что для этого у вас будет меньше 200 мс в curl? Хотя, конечно, это зависит от того, где находится сервер и т. Д. 09.05.2019
  • Запустил это в Powershell и получил все от 50 мс до 1 секунды ... 09.05.2019
  • Вероятно, это зависит от местоположения, но я получаю, а также Мэтти, некоторые URL-адреса с разницей в 5-50 раз от того же соединения / машины. Вероятно, вы сможете найти URL-адреса из вашего местоположения, которые имеют такое же несоответствие. 09.05.2019
  • @IlyaChernomordik для меня использование WebClient из кода было примерно в 5 раз медленнее, чем powershell 09.05.2019
  • Я предполагаю, что не было прокси / перехвата, которое работает только для задействованного приложения dotnet, и вы также не запускали его при отладке? (Думаю, отладка против выпуска мало что даст, но вы можете попробовать скомпилировать его в выпуске и проверить) 09.05.2019
  • @CharlesS попробуйте этот stackoverflow.com/a/4914874/6058174, это не так быстро, но намного быстрее, по крайней мере, для меня. 09.05.2019
  • @IlyaChernomordik Я отключил прокси в HttpClient, и сеть такая же (тот же сервер). Программное обеспечение конечного пользователя скомпилировано в Release, и проблема та же. 09.05.2019
  • @ Чарльз, ты проверил результаты? Попытка ввести код вернет .... we're sorry, but you appear to be a bot and we've seen too many requests from you lately.. Reddit принимает только 1 запрос каждые 2 секунды, что означает, что вы, вероятно, измеряете мгновенный ответ отклонения вместо фактического ответа. 09.05.2019
  • @PanagiotisKanavos Reddit - лишь один из примеров, есть много других сайтов; и эти результаты бота также поступают намного медленнее через httpclient, чем для меня curl. 09.05.2019
  • @CharleS, и этот пример возвращает статическую страницу в curl. Возможно, другие тоже. Вы действительно проверяли ответ? 09.05.2019
  • @PanagiotisKanavos Я сделал (и снова проверил, поскольку вы заставили меня усомниться); результаты одинаковы для обоих запросов по содержанию / заголовку, но по времени это не так. 09.05.2019
  • @CharlesS HTTP-библиотека не может быть медленной для некоторых серверов, но не для других. Возможно, ответ был отклонен. В вызове curl нет строки пользовательского агента, которая определенно влияет на то, какие серверы отвечают. 09.05.2019
  • @CharlesS Я, с другой стороны, могу подтвердить, что это не так. curl -L "reddit.com" каждый раз возвращает отклонение, объясняя, что существует ограничение скорости и пользовательский агент должен быть заполнен. С другой стороны, Invoke-WebRequest -Uri "reddit.com" возвращает правильный ответ. 09.05.2019
  • @PanagiotisKanavos Я не знаю, что тебе сказать; curl -L reddit.com открывает мне домашнюю страницу Reddit. Иногда это дает мне эту ошибку, но иногда это дает мне завиток домашней страницы намного быстрее, чем httpclient. Однако давайте не будем слепо смотреть на Reddit, позвольте мне найти еще несколько сайтов, с которыми у меня возникла проблема. 09.05.2019
  • Благодаря @PanagiotisKanavos (и остальным за терпение) мне удалось правильно диагностировать проблему; он действительно был статическим против динамического, но моей целью был не Reddit (это был просто пример, с которым это тоже случилось, но, вероятно, даже несмотря на то, что я получаю домашнюю страницу, как я уже сказал, и она намного медленнее, чем Curl, но не настолько экстремальна, так вот думаю тогда просто "удача"). Сайты, на которые я нацелен с помощью этого инструмента, я не могу раскрыть, поскольку они являются внутренними, но когда я начал проверять, ища URL-адрес для передачи в PagagiotisKanavos, я обнаружил, что все медленные - это Wordpress. 09.05.2019
  • Затем я внимательно посмотрел на контент и увидел, что при отправке контента с помощью HttpClient WP Cache отключен! При отправке с помощью Curl WP Cache работает. Получается (что действительно дерьмово, ИМХО), что когда вы не добавляете user-agent, WP Cache не кеширует ... Спасибо за помощь! 09.05.2019
  • @CharlesS Я нашел еще одну интересную вещь - reddit определяет ваш язык и возвращает различный контент на основе заголовков. В Windows Invoke_WebRequest получает значения по умолчанию из Internet Options, поэтому я получил результаты для греческого языка, в то время как Chrome, который я установил на США, как и все разработчики, вернул содержимое для США. И curl, вызванный из WSL, вернул страницу отказа 09.05.2019
  • @CharlesS проверьте этот вопрос тоже. В этом случае сервер изо всех сил пытается обнаружить ботов и возвращает стандартный ответ робота, даже выскакивая страницу проверки человеком, если один и тот же IP-адрес делает слишком много запросов. Отправки строки UA недостаточно, чтобы убедить, что звонящий - человек 09.05.2019

Ответы:


1

Проблемы были решены - всего лишь комбинация факторов, которые привели к тому, что большая часть сайтов целевой аудитории не кэшировала свой контент. Ничего общего с HttpClient (кроме отправки пользовательского агента).

Прочтите комментарии для получения дополнительной информации.

09.05.2019
Новые материалы

Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..