Meta представила ИИ-инструмент для создания видео со звуком

Movie Gen представляет собой семейство моделей, старшая из которых превосходит конкурентов по ряду показателей. Пользователю достаточно описать свой запрос словами, а потом при необходимости уточнить, какие изменения он хотел бы внести в полученное видео — например, в фон или цвета предметов, — и инструмент скорректирует нужную деталь.

На видеоряд инструмент накладывает звуковое сопровождение в соответствии с его содержанием. Например, звук работающего двигателя при движении авто в кадре, шум водопада или грозы, а также музыкальные фрагменты. Озвучивать человеческую речь он пока не умеет.

Помимо этого, инструмент способен создавать кастомные ролики на основе фотографий и картинок пользователя, а также редактировать вводные изображения и видео по его усмотрению.

Movie Gen выдаёт видео продолжительностью до 16 секунд и с частотой до 16 кадров в секунду и разрешением 1024×768 пикселей. На роликах длиной до 10 секунд частота может достигать 24 fps.

Открывать доступ к продукту для широкого круга пользователей разработчики пока не собираются, поскольку создание видео с помощью него обходится дорого и занимает много времени. Сейчас он находится на ранних стадиях чисто как исследовательский проект.