Что такое NSynth Super?
22 марта 2018 20:35
// Оборудование
NSynth super — это часть эксперимента Magenta, исследовательского проекта Google, который занимается изучением того, как средства машинного обучения могут помочь артистам создавать произведения искусства и музыки по-новому.
Технология всегда играла важную роль в создании новых видов звуков, которые могли бы вдохновить музыкантов — от дисторшна до электронных завываний синтезаторов. Сегодня открытия в сферах машинного обучения и нейронных сетей демонстрируют новые возможности генерации звуковых колебаний.
Сделав надстройку над уже ранее изученным, Magenta создали NSynth (Neural Synthesizer). Это алгоритм машинного обучения, который использует нейросеть для изучения характеристик нескольких звуков для последующего создания на их основе совершенно нового звука.
Вместо того, чтобы просто смешивать или комбинировать звуки, NSynth синтезирует совершенно новый звук на основе акустических свойств изначального звука, так, что в итоге получится нечто, являющееся одновременно ситарой и флейтой.
С самого релиза NSynth Magenta продолжает экспериментировать с разными музыкальными интерфейсами и средствами, чтобы сделать доступ к выводу алгоритма NSynth более простым.
Именно эти эксперименты привели к коллаборации с Google Creative Lab и созданию NSynth Super. Это экспериментальный оупенсорсный инструмент, позволяющий музыкантам создавать композиции с использованием совершенно новых звуков, порожденных алгоритмом NSynth из 4 разных звуковых источников. Опытный прототип (который вы можете видеть выше) был представлен небольшому сообществу музыкантов для лучшего понимания того, как его можно использовать в процессе творчества.
Как работает NSynth Super?
Для эксперимента (см. видео выше) в студии было записано 16 оригинальных звуков в диапазоне 15 высот. Затем записи были введены в алгоритм NSynth, чтобы просчитать новые звуки.
Результаты — более 100 000 новых звуков — были загружены в опытный образец.
Каждый набор содержит 4 звука-источника. С помощью тач-регулятора музыкант может выбрать звуки-источники для смешивания, а также использовать тач-скрин для навигации по процессу смешения акустических свойств 4 звуков-источников.
На NSynth Super можно играть с помощью MIDI источников типа DAW, секвенсоров и клавиатур.
Как работает алгоритм NSynth?
NSynth для генерации звуков использует глубокие нейронные сети. Учась с помощью предоставленных данных, NSynth предоставляет артистам интуитивный контроль над тембром и динамикой, а также способность изучать новые звуки, которые сложно или практически невозможно произвести на настраиваемом вручную синтезаторе.
NSynth — это алгоритм, который способен генерировать новые звуки путём комбинации свойств существующих звуков. Для того, чтобы так получалось, алгоритм берёт разные звуки в качестве входной информации. Используя автокодировщик, он выделяет 16 определяющих темпоральных свойств из каждого входа. Затем данные свойства линейно оцениваются для последующего создания вхождения (математической репрезентации каждого из звуков). Далее эти вхождения декодируются в новые звуки, которые имеют акустические свойства обоих вхождений.
Полное описание можно найти в блоге Magenta. Перечень данных и алгоритм находятся в исследовательской публикации Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders на странице Google Research
Как я могу получить NSynth Super?
Как и все проекты Magenta, NSynth Super создан с использованием библиотек с открытым кодом, таких как TensorFlow и openFrameworks. Сделано это для того, чтобы большее количество артистов, программистов и исследователей имело возможность экспериментировать с машинным обучением во время своего креативного процесса. Оупенсорс версия прототипа NSynth Super включает в себя весь программный код, схемы и шаблоны конструкции. Всё это доступно для скачивания на GitHub.
Оригинальная статья.
- Комментарии
Загрузка комментариев...
