Nano Hash - криптовалюты, майнинг, программирование

Обнулите все, кроме максимума, в слое Custom Keras

В настоящее время я создаю собственный слой keras без обучаемых параметров.

Входные данные этого слоя имеют форму (размер пакета, длина последовательности, характеристики). По сути, это то же самое, что и вход в уровень глобального максимального пула 1D.

Что я пытаюсь сделать с этим настраиваемым слоем, так это выполнить одномерное глобальное максимальное объединение без уменьшения размерности. (Просто хочу обнулить записи, не являющиеся максимальными, для каждой функции). Вдобавок к этому я хочу, чтобы на выходе было одно дополнительное измерение, чтобы его можно было затем передать на сверточный 2D-слой.

Таким образом, выходные данные этого уровня должны иметь форму (размер пакета, длина последовательности, функции, 1). При этом 1D глобальный максимальный пул был выполнен путем обнуления всего, что не является максимальным.

Вот скелет слоя

class GlobalMaxPoolZeroOutNonMax(Layer):

    def __init__(self, **kwargs):
        super(GlobalMaxPoolZeroOutNonMax, self).__init__(**kwargs)
        self.input_spec = InputSpec(ndim=3)
        self.data_format = K.normalize_data_format('channels_last')

    def compute_output_shape(self, input_shape):
        return (input_shape[0], input_shape[1], input_shape[2], 1)

    def call(self, inputs):
        # THIS IS WHERE I NEED HELP to zero out the non max and add a dimension
        raise NotImplemented

    def get_config(self):
        config = {'data_format': self.data_format}
        base_config = super(GlobalMaxPoolZeroOutNonMax, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

Спасибо за уделенное время!


Ответы:


1

Вам не обязательно использовать подклассы. Вы можете добиться этого следующим образом. Следует иметь в виду, что при этом будут сохранены все максимальные значения (а не только одно максимальное значение - но маловероятно, что в реальном слое нейронной сети будет два максимальных значения).

from tensorflow.keras import layers, models
import tensorflow as tf
width = 20
n_channels = 3
inp = layers.Input(shape=(width, n_channels))
out = layers.Lambda(lambda x: tf.expand_dims(tf.cast(tf.equal(x, tf.reduce_max(x)), tf.float32)*x,axis=-1))(inp)

model = models.Model(inputs=inp, outputs=out)
model.summary()

Тестирование

x = np.zeros(shape=(10, width, n_channels))
x[0, 2, 2] = 2.0

y = model.predict(x)
print(y.shape)
print(y)

Результат

(10, 20, 3, 1)

[[[[0.]
   [0.]
   [0.]]

  [[0.]
   [0.]
   [0.]]

  [[0.]
   [0.]
   [2.]]

  [[0.]
   [0.]
   [0.]]

  ...

  [[0.]
   [0.]
   [0.]]]]
08.12.2019
Новые материалы

Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..