Meta представила нейросеть для перевода текста и речи на 100 языков

Модель способна переводить текст и речь в текст почти на 100 языках. Если на выходе нужна устная речь, выбор языков будет меньше: речь можно перевести в речь на 36 языках, а текст — в речь на 35 языках.

Также Seamless M4T понимает, когда говорящий внезапно переходит на другой язык — благодаря этому она способна переводить людей, которые в речи смешивают разные языки.

Отличие Seamless M4T в том, что обычно в системах устного перевода используются отдельные модели для распознавания речи, перевода текста и преобразования текста в речь. Seamless M4T — единая система, которая выполняет все задачи сразу. По словам разработчиков, это позволяет снизить количество ошибок, сократить время перевода и улучшить его качество.

Seamless M4T распространяется по лицензии Creative Commons и свободно доступна для ИИ-исследователей и переводчиков. Также Meta опубликовала датасет SeamlessAlign, который содержит 270 тысяч часов речи и расшифрованного текста.