Nano Hash - криптовалюты, майнинг, программирование

Понимание ввода сетки lstm.

Я думал о применении grid-lstm к изображению. Из его оригинальной статьи сказано, что:

Обратите внимание, что блок не получает отдельного представления данных. Точка данных проецируется в сеть через пару входных скрытых векторов и векторов памяти вдоль одной из сторон сетки.

Насколько я понимаю, это означает, что в отличие от других вариантов lstm, таких как многомерный lstm, ввод которого представляет собой конкатенацию *[все предыдущие скрытые вектора, I*x], сетка lstm не получает точку данных (скажем, значения RGB) в качестве входных данных. Вместо этого эти функции RGB напрямую используются как скрытые состояния/состояния памяти одной стороны grid-lstm. Это правильно?

deep-learning lstm
24.05.2017

Ответы:


1

Насколько я понимаю (и согласно рисунку 2), входные данные напрямую подаются в скрытый и запоминающий векторы. Кроме того, выходные данные получаются как из исходящей памяти, так и из скрытого вектора. Это говорит о том, что исходный ввод может, при необходимости, пройти через все измерение глубины (решение проблемы исчезающего градиента).

Однако это не влияет на входную проекцию (I * x), которую я интерпретирую как метод предварительной обработки (такой как встраивание слов в примере перевода 4.4). Я полагаю, что обозначение I * x было выбрано, чтобы показать простоту модели. Технически мы по-прежнему объединяем все входящие скрытые векторы, то же самое происходит в stacked/MD-LSTM. В качестве векторов по-прежнему используются RGB-точки, см. раздел 2.1:

(...) состояние сети, состоящее из скрытого вектора h ∈ R^d и вектора памяти m ∈ R^d.

d для RGB-изображений будет равно 3. Это определение LSTM, которое используется позже, поэтому мы можем предположить, что то же самое верно и для Grid-LSTM.

29.11.2017
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..