- Токены дискриминационного класса для моделей распространения текста в изображение (arXiv)
Автор: Назмул Карим, Нилутпол Чоудхури Митхун, Абхинав Раджванши, Хан-панг Чиу, Супун Самарасекера, Назанин Рахнавард.
Аннотация: Превосходные генеративные возможности моделей диффузии текста в изображение предполагают, что они изучают информативные представления текстовых данных изображения. Однако то, какие знания захватывают их представления, до конца не изучено, и они не были тщательно изучены в последующих задачах. Мы исследуем диффузионные модели, предлагая метод их оценки как нулевых классификаторов. Ключевая идея заключается в использовании способности диффузионной модели удалять шум с изображения с текстовым описанием метки в качестве показателя вероятности этой метки. Мы применяем наш метод к Imagen, используя его для исследования мелких аспектов знаний Imagen и сравнивая его с нулевыми возможностями CLIP. Imagen конкурирует с CLIP в широком диапазоне наборов данных для классификации изображений с нулевым снимком. Кроме того, он достигает самых современных результатов в тестах смещения формы/текстуры и может успешно выполнять привязку атрибутов, в то время как CLIP не может. Хотя генеративное предварительное обучение преобладает в НЛП, модели визуальной основы часто используют другие методы, такие как контрастное обучение. Основываясь на наших выводах, мы утверждаем, что генеративное предварительное обучение следует рассматривать как привлекательную альтернативу проблемам зрения и языка.
2. Абляция концепций в моделях распространения текста в изображение (arXiv)
Автор: Нупур Кумари, Бинлян Чжан, Шэн-Ю Ван, Эли Шехтман, Ричард Чжан, Джун-Ян Чжу.
Аннотация: Крупномасштабные модели диффузии текста в изображение могут генерировать высококачественные изображения с мощными композиционными способностями. Однако эти модели обычно обучаются на огромном количестве интернет-данных, часто содержащих материалы, защищенные авторским правом, лицензионные изображения и личные фотографии. Кроме того, было обнаружено, что они копируют стиль различных живых художников или запоминают точные образцы обучения. Как мы можем удалить такие концепции или изображения, защищенные авторским правом, без переобучения модели с нуля? Для достижения этой цели мы предлагаем эффективный метод удаления понятий в предварительно обученной модели, т. е. предотвращения генерации целевого понятия. Наш алгоритм учится сопоставлять распределение изображения для целевого стиля, экземпляра или текстовой подсказки, которую мы хотим удалить, с распределением, соответствующим концепции привязки. Это не позволяет модели генерировать целевые концепции с учетом ее текстового состояния. Обширные эксперименты показывают, что наш метод может успешно предотвратить создание аблированного понятия, сохраняя при этом тесно связанные понятия в модели.
