Nano Hash - криптовалюты, майнинг, программирование

Соединения WebRTC случайным образом без вывода звука

Я наткнулся на странную проблему в веб-приложении WebRTC. Вот настройка: клиент A и клиент B отправляют аудио через соединения WebRTC только для отправки в SFU. Клиент C получает через два соединения только для приема с одним и тем же SFU аудиопотоки от клиентов A и B и добавляет их к двум различным «аудио» элементам. Маршрутизация между этими отправляющими и получающими соединениями работает правильно.

Вот проблема: при обновлении страницы иногда клиент C слышит звук как от клиента A, так и от клиента B. Но большую часть времени клиент C слышит звук только от случайного A или B. Это происходит как в firefox, так и в chrome.

Оба соединения получают данные (см. График bitsReceivedPerSecond), но только одно соединение выводит звук. Вот пример, когда C мог слышать A, но не B:

Клиент подключения A -> C: Подключение с аудиовыходом

Клиент подключения B -> C: Подключение без аудиовыхода

Насколько я понимаю, эти графики заключаются в том, что необработанное соединение WebRTC работает нормально (данные отправляются и принимаются), но каким-то образом соединение не выводит звук случайным образом.

Кто-нибудь знает, как это может случиться?

Вот обратный вызов «ontrack» для добавления потоков к аудиоэлементам. Журналы отображаются правильно для каждого подключения.

gotRemoteStream(e) {
    Logger.log("Remote Streams: #"+e.streams.length);

    if (this.audioElement.srcObject !== e.streams[0]) {
        Logger.log("Received remote Stream with tracks to audio: " + this.audioElement.id);
        this.audioElement.srcObject = e.streams[0];
    }
}
javascript audio webrtc
06.11.2018

  • totalAudioEnergy от клиента B не показывает слышимого звука, что указывает на проблему на стороне отправителя в B. Может случиться, например, если его входная дорожка (микрофон?) каким-то образом случайно отключилась (в этом случае браузеры все равно отправляют пакеты). Вы когда-нибудь слышали звук ни от одного из них? 07.11.2018
  • BitReceivedPerSecond идентичен звуку, который был отправлен клиентом B. Он говорил вначале, затем молчал в течение нескольких секунд, а затем снова начал говорить. Так что я думаю, что и со стороной отправителя, и с передачей тоже должно быть все в порядке. Я предполагаю, что totalAudioEnergy - это просто неотъемлемая часть audioOutputLevel с течением времени 07.11.2018

Ответы:


1

Один звуковой элемент может воспроизводить только одну звуковую дорожку за раз.

Вы сказали, что было две входящие звуковые дорожки, поэтому, если this.audioElement - это один и тот же элемент, тогда каждый вызов gotRemoteStream будет гоняться за настройкой srcObject, одна перезаписывает другую.

Скорее всего, поэтому вы слышите только одно или другое.

Самым простым решением может быть отключение отправленных ассоциаций потоков, поскольку они будут различаться:

const elements = {};

gotRemoteStream({streams: [stream]}) {
    if (!elements[stream.id]) {
      elements[stream.id] = this.audioElementA.srcObject ? this.audioElementB
                                                         : this.audioElementA; 
    }
    elements[stream.id].srcObject = stream;
}

Это должно работать для двух входящих соединений. Больше этого осталось в качестве упражнения.

06.11.2018
  • Как я писал в своем исходном посте, [...] добавляет их к двум различным аудиоэлементам .. Я не использую один аудиоэлемент для двух потоков 06.11.2018
  • @DominikVincenz Сколько обратных вызовов задействовано? Я бы дважды проверил значение this, потому что это объясняет симптом. В коде, который вы показываете, нет ничего, что указывало бы на то, что задействованы различные элементы. Как определить, какой из них получает A против B? 07.11.2018
  • для каждого соединения создается новый объект, который содержит RTCPeerConnection и его целевой аудиоэлемент. Фрагмент кода - это функция обратного вызова в этом классе контейнера. Итак, есть два объекта, которые содержат два разных аудиоэлемента. Также иногда клиент C может слышать как A, так и B, что было бы невозможно с одним единственным аудиоэлементом, как вы сказали. Журналы также показывают два разных идентификатора элементов: Logger.log (полученный удаленный поток с треками в аудио: + this.audioElement.id) 07.11.2018
  • @DominikVincenz Ты прав, тогда этот ответ не подходит. 07.11.2018
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..