Google создала нейросеть, которая генерирует музыку по тексту

Генерировать произведения по описаниям высокой сложности систему обучали на датасете, содержащем более 280 тысяч часов музыки. Она может, например, создать «техно Берлина 90-х с низкими басами», «саундтрек в стиле электро для видеоигры» или «завораживающую джазовую песню с цепляющим соло на саксофоне и вокальным соло».

MusicLM способна генерировать фрагменты длиной в несколько минут. Также ей можно вводить сразу несколько текстовых описаний — на выходе получится своего рода музыкальная история. В качестве вводных данных может быть не только текст, но и мелодии — их можно напеть, насвистеть или наиграть на музыкальном инструменте, а также картинка с текстовым описанием. Можно даже регулировать уровень профессионализма, а также создавать музыку, вдохновлённую разными местами и эпохами.

Издание отмечает, что её работы уступают творчеству человека цельностью и оригинальностью, есть странные шумы, а качество в целом и вокальные партии оставляют желать лучшего. Но с учётом того, что в процессе создания не участвует ни один живой музыкант или композитор, синтезированные фрагменты звучат впечатляюще. У MusicLM получается уловить нюансы — например, характерные риффы, мелодии и оттенки настроения.

Разработчики признают, что с использованием нейросети связаны разные этические и правовые вопросы — например, в синтезированные мелодии могут попадать фрагменты, защищённые авторским правом из обучающих баз. Исследователи говорят, что около 1% музыки, созданной системой, напрямую копирует песни из тренировочного датасета — и, судя по всему, выкладывать MusicLM в нынешнем состоянии пока рано.

Научная работа, в которой описана MusicLM, размещена на arXiv.org. Послушать образцы её творений можно здесь.