Перевод изображения в изображение с помощью TraVeLGAN
Это краткое изложение исследования — лишь одно из многих, которые еженедельно распространяются в информационном бюллетене ученых по искусственному интеллекту. Чтобы начать получать еженедельную рассылку, зарегистрируйтесь здесь.
В прошлом наблюдался растущий интерес к переводу изображения в изображение, в основном благодаря успеху неконтролируемых моделей, основанных на гипотезе постоянства цикла. Тем не менее, указанные успехи ограничены только конкретными подкатегориями доменов, такими как домены, отмеченные различиями в стиле или текстуре.
Группа исследователей решила эту сложную проблему и доказала, что домены могут быть определены не только по стилю и текстуре, но и включать больше характеристик изображения и неоднородности с помощью совершенно новой модели.
Трансформационное векторное обучение GAN (TraVeLGAN)
TraVeLGAN — это совершенно новый алгоритм, недавно выпущенный исследователями для обеспечения неконтролируемого сопоставления доменов. Помните традиционную сеть GAN, в которой была введена сеть дискриминатора, направляющая генератор на создание изображений в целевом домене?
Что ж, TraVeLGAN теперь добавляет третью сеть — сиамскую сеть — к исходным двум сетям, которые действуют как руководство для генератора, так что каждое исходное изображение разделяет свою семантику с соответствующей сгенерированной версией.
Таким образом, система с тремя сетями избавляет от необходимости ограничивать сеть генератора постоянным ограничением постоянства циклов. Конечным результатом является то, что модель генератора может изучать сопоставления между сложными областями, которые отличаются друг от друга не только стилем и текстурой.
Возможное использование и эффекты
TraVeLGAN без сомнения выводит манипулирование изображениями и объектами на новый уровень. Сообщество ИИ может применить его для захвата специальных функций в одной коллекции изображений и выяснить, как их можно преобразовать в совершенно другую коллекцию изображений.
Другие приложения включают создание фотографий из картин, общую обработку изображений, улучшение изображений, изменение цвета и текстуры изображений, преобразование объектов, перевод сцен автономного вождения, передачу стиля коллекции и многое другое.
Спасибо за чтение. Пожалуйста, комментируйте, делитесь и не забывайте подписываться! Также подписывайтесь на меня в Twitter и LinkedIn. Ваше здоровье!
