Нет хитовой песни без значимого текста, верно? Это заявление побудило команду Beatroots изучить возможности использования ИИ для создания текстов песен. Поскольку в этом году мы хотели использовать инструменты искусственного интеллекта в качестве «творческих партнеров» в процессе написания песен артиста, мы решили разработать модель, которая будет генерировать значимые тексты в зависимости от заданного пользовательского ввода. Сгенерированный текст можно затем использовать в качестве отправной точки или источника вдохновения, чтобы получить идеальную историю для песни, которую вы, как артист, хотите написать.
Мы в Dataroots любим мечтать о большем. Поэтому команда решила не останавливаться на достигнутом. Мы определили возможность обучить модель также предоставлять осмысленный набор музыкальных аккордов в зависимости от заданного ввода. Это еще раз подчеркивает цель создания инструментов ИИ, способных помочь музыкальным исполнителям в написании их песен. Сгенерированные аккорды могут вдохновить художника, давая подсказки о возможных аккордах для данного ввода.
Мы определили, что для поставленной задачи можно использовать модель преобразователя для генерации текста (например, GPT-2). В следующем разделе будет подробно рассказано о том, как мы настроили GPT-2, чтобы создать собственную модель искусственного интеллекта, генерирующую слова и аккорды: GPT-Sandy.
GPT-Sandy: создание (и использование)
GPT-Sandy — это точно настроенная модель GPT-2, способная генерировать тексты и аккорды для любой комбинации исполнителя, названия песни, музыкального жанра и десятилетия.
GPT-2 (Generative Pre-trained Transformer 2) — известная модель преобразователя, созданная OpenAI для целей обработки естественного языка (NLP). GPT-2 предварительно обучен на огромном количестве языковых данных, развивая понимание английского языка.
Мы использовали всю мощь этой модели и настроили ее для выполнения конкретной задачи генерации текста. Конкретной задачей является генерация текстов и аккордов в зависимости от ввода определенных метаданных (исполнитель, название песни, жанр и декада). Модель учится дополнять информацию метаданных, которую она получает, осмысленными текстами песен и соответствующими аккордами.
Если вы хотите узнать больше о трансформерах и НЛП, наш собственный Мурило Кунья написал об этом отличный блогпост. Более практическое руководство и демонстрации того, как использовать трансформеры для задач НЛП, можно найти на Huggingface.
Прежде чем углубиться в то, как был создан GPT-Sandy, и показать результаты, дается наглядная иллюстрация процесса разработки этого инструмента искусственного интеллекта.
Набор данных
Поскольку мы хотели успешно настроить модель для создания текстов песен, сопровождаемых аккордами, в зависимости от исполнителя, названия песни, музыкального жанра и десятилетия, нам потребовался достаточно большой набор данных песен, содержащий всю эту информацию. В идеале это позволит модели изучить представления различных жанров, исполнителей и т. д., присутствующих в наборе данных.
Lakh midi dataset, обсуждавшийся в предыдущем блоге Зои, послужил отправной точкой, поскольку он содержал большое количество уникальных midi-файлов, связанных с Million Song Dataset. Некоторая дальнейшая предварительная обработка этих музыкальных данных позволила нам создать окончательный набор данных, содержащий тысячи записей с необходимыми метаданными и лирической информацией в нужном формате.
Обучение и результаты
Huggingface, самый популярный пакет для работы с трансформерами, использовался вместе с Amazon Sagemaker для обучения. Предварительно обученная модель GPT-2 была получена от Huggingface и настроена с использованием нашего набора данных: родился GPT-Sandy.
Оставалось только использовать GPT-Sandy, чтобы засемплировать слова для созданной нами песни. Поскольку мы, гуманоиды, считали себя неспособными придумать название песни, удостоенное наград, мы задали GPT-3 следующий вопрос: «Создайте несколько творческих названий для песни, которая выиграет конкурс песни AI». Из различных вариантов, предоставленных GPT-3, мы выбрали название песни, которое нам понравилось больше всего. Еще одно сотрудничество между ИИ-инструментом и гуманоидом привело к следующему названию песни: Song of the Machines.
GPT-Sandy было поручено создать несколько последовательностей осмысленных текстов для этого конкретного названия песни. Мы, авторы песен, отобрали и доработали лучшие образцы. Мы исправили слова грамматически и убедились, что они хорошо сочетаются с созданной мелодией. Поскольку сгенерированный набор данных был все еще довольно небольшим, потребовалась некоторая настройка сгенерированного текста.
Окончательный текст, использованный для песни, можно увидеть ниже. Наша команда была удивлена, увидев, как много элементов в сгенерированном тексте может быть связано с названием песни. Мы обогатили приведенный ниже текст интерпретацией текста нашей командой. Вы когда-нибудь слышали, как машина скулит о своем существовании? Нет? Откройте для себя ниже.
Песня машин
Заключение
Этот пост в блоге вместе с предыдущими в этой серии иллюстрирует бесконечные возможности использования ИИ в творческих процессах, таких как написание песни. В этом сообщении в блоге показано, как можно разработать инструмент искусственного интеллекта и использовать его для создания текстов песен в зависимости от конкретных входных метаданных. Образцы, сгенерированные GPT-Sandy, были тщательно подобраны и минимально изменены, чтобы создать набор осмысленных текстов для песни. Помимо текстов, модель также предоставила подсказки по музыкальным аккордам, которые можно использовать вместе с сгенерированным текстом. Сгенерированные аккорды не использовались в финальном представлении, поскольку для создания мелодий песни использовались другие инструменты ИИ.
Хотите знать, как все сгенерированные сэмплы были объединены и переставлены для создания окончательной песни? Оставайтесь с нами, чтобы не пропустить последний пост из этой серии о том, как цифровая звуковая рабочая станция (DAW) использовалась для создания финальной песни.
Вам также понравится
Песни машин (2) — Гармонизация — Зои Ван Ноппен
Это сообщение в блоге является частью серии материалов, в которых мы раскрываем, как мы написали песню «Song of the Machines, с которой мы участвовали в конкурсе AI SongContest 2022. Конкурс песни AIКак сообщалось в предыдущем сообщении в блоге, наше видение песни этого года конкурс заключался в том, чтобы использовать инструменты ИИ в качестве творческого партнера…
Song of the Machines (1): Сэмплирование музыкальных фрагментов — Дориан Ван ден Хиде
