Преобразование мысли нейросети в музыку
В последние годы проекты на основе искусственного интеллекта стали обыденностью. Многие разработчики создают приложения, которые просто преобразуют текстовые запросы в аудиофайлы при помощи стандартных API-интерфейсов. Однако команда проекта Livadies решила пойти дальше и исследовать, как можно извлечь «чистые» звуки непосредственно из работы нейронной сети.
Хирургия нейросетевых моделей
Для достижения этой цели потребовалось глубокое погружение в архитектуру современных моделей машинного обучения. Команда использовала библиотеку PyTorch и её механизм Hooks, который позволяет вмешиваться в процесс вычислений внутри модели и получать доступ к промежуточным результатам обработки данных – так называемым тензорам.
Эксперимент №1: Извлечение звука из геометрических форм
Первый эксперимент заключался в том, чтобы заставить модель генерировать музыкальные ноты на основе визуальных образов. Для этого были использованы изображения различных объектов, таких как камни и кожа рептилий. Нейросеть обучалась распознавать геометрию этих изображений и превращать её в музыкальную композицию.
Эксперимент №2: Музыка из внутренних состояний нейросети
Второй эксперимент был направлен на то, чтобы понять, какие звуки генерирует сама нейросеть во время своей работы. Вместо того чтобы использовать внешние данные, исследователи подключились к внутренним слоям модели и извлекли оттуда сигналы, которые затем интерпретировали как музыкальные композиции.
