ИИ система для редактирования музыки в видео

Музыканты-любители и даже профессионалы тратят значительное время на поиск материала на YouTube, чтобы подобрать ноты для конкретной песни или припева. Задача усложняется, когда задействовано несколько инструментов одновременно. Своё решение предложили учёные из подразделения Массачусетского технологического института CSAIL (Computer Science and Artificial Intelligence Laboratory): искусственный интеллект “PixelPlayer”, позволяющий “выключить” другие инструменты в видеоролике, оставить нужный музыканту и сделать его громче.

Система была обучена на более 60 часах видео и не нуждается в дополнительных данных о типе музыкальных инструментов. Сначала она определяет участки изображений, от которых исходят звуки, а затем разделяет их на компоненты, исходящие от каждого пикселя.

Даже труба и туба, играющие тему из “Super Mario Brothers”, несмотря на общий диапазон, ритм и одинаковые ноты были разделены программой успешно.

В будущем система  может помочь инженерам улучшать качество звучания записей старых концертов. Музыкальные продюсеры будущего могут получить возможность изменять звучание песни, поставив вместо акустической гитары электрогитару.

PixelPlayer способна различить более 20 инструментов. Один из авторов исследования Hang Zhao отмечает, что это ограничение связано с недостатком данных для обучения.

Источник: https://news.mit.edu/2018/ai-editing-music-videos-pixelplayer-csail-0705

Загрузка ...
The Robot
Adblock
detector