Nano Hash - криптовалюты, майнинг, программирование

Пакетная обработка BlockingCollection‹T› с использованием TPL DataFlow

Есть ли способ собрать коллекцию элементов из блокирующей коллекции. НАПРИМЕР.

У меня есть издатель шины обмена сообщениями, вызывающий blockingCollection.Add()

И потребляющий поток, который создается следующим образом:

Task.Factory.StartNew(() =>
        {
            foreach (string value in blockingCollection.GetConsumingEnumerable())
                {
                    Console.WriteLine(value);
                }
        });

Однако я хочу, чтобы консоль записывалась только после того, как в блокирующей коллекции будет 10 элементов, тогда как GetConsumingEnumerable() всегда срабатывает после добавления каждого элемента. Я мог бы написать свою собственную очередь для этого, но я хотел бы использовать коллекцию блокировки, если это возможно?

c# task-parallel-library blockingcollection
11.02.2014

  • @HansPassant: Но это приведет к тому, что элементы после 10-го не будут обрабатываться ...? 11.02.2014

Ответы:


1

Не уверен, каковы требования к проекту, но я бы рекомендовал Пакетный блок TPL DataFlow.

Вы должны создать экземпляр BatchBlock<string>, привязать его к ActionBlock<string>, а затем опубликовать в пакетном блоке.

Псевдокод может выглядеть примерно так:

var bb = new BatchBlock<string>(10);
var ab = new ActionBlock<string[]>(msgArray=>{ 
    foreach(var msg in msgArray) 
        Console.Writeline(msg);
});

bb.LinkTo(ab);

foreach (string value in blockingCollection.GetConsumingEnumerable())
{
      bb.Post(value);
}

Используя DataFlow, вы можете даже заменить BlockingCollection на BufferBlock или просто опубликовать в блоке буфера напрямую, без предварительного добавления в коллекцию блоков, поскольку пакетный блок уже является потокобезопасным.

11.02.2014
  • Спасибо Дмитрий .. Просто возникла проблема с преобразованием типов здесь, на bb.LinkTo (ab). Проблема преобразования BatchBlock‹string› в ISourceBlock‹string›... 11.02.2014
  • Виноват. ActionBlock‹string› должен быть ActionBlock‹string[]›, потому что он получает массив строк из пакетного блока. См. обновленный ответ 11.02.2014
  • Это помечено как правильное, потому что я узнал что-то новое о TPL DataFlow! Спасибо Дмитрий. 11.02.2014
  • @Dimitri Согласно MSDN BatchBlock не является потокобезопасным (см. нижнюю часть связанной страницы). 02.05.2015

    • 2

    Быстрое решение будет примерно таким

    public class ConsoleQueue
{
    private readonly List<string> _values = new List<string>();

    public void FlushQueueIfFull()
    {
        if (_values.Count < 10) return;
        foreach (var value in _values)
        {
            Console.WriteLine(value);
        }
        _values.Clear();
    }

    public void Push(string message)
    {
        _values.Add(message);
        FlushQueueIfFull();
    }
}

    тогда вы можете использовать его так

            var queue = new ConsoleQueue();

        Task.Factory.StartNew(() =>
        {
            foreach (string value in blockingCollection.GetConsumingEnumerable())
            {
                queue.Push(value);
            }
        });

    Вы можете легко расширить его, чтобы охватить потокобезопасность и т. д.

    11.02.2014
  • +1. Другой альтернативой может быть использование DataFlow BatchBlock, который уже реализует потокобезопасную пакетную обработку. 11.02.2014
  • Спасибо - это работает отлично .. 11.02.2014
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..