Microsoft прокачала Copilot: теперь он разговаривает, думает и анализирует сайты

Компания представила Copilot Vision — новую функцию ассистента, которая возволяет помощнику просматривать содержимое сайтов, чтобы выдавать наиболее точные советы и подсказки. Пользователь может напрямую спрашивать Copilot Vision о тексте, изображениях и другом контенте. Используя функцию Copilot Voice, ассистент будет отвечать естественным образом.

Например, эту функцию можно использовать во время покупок в интернете, чтобы находить рекомендации по продуктам. Microsoft утверждает, что функция не нарушает конфиденциальность пользователя, поскольку весь контент веб-страниц, просмотренный ассистентом, не сохраняется и не используется впоследствии.

Существенно поменялся дизайн Copilot на всех платформах: мобильных устройствах, веб-версии и Windows-приложении. Новый интерфейс основан на карточках и напоминает решение, разработанное Inflection AI для своего ассистента Pi. Обновленный Copilot получил персонализированную страницу Discover, которая адаптируется под историю общения пользователя.

Copilot Voice — один из главных прорывов Microsoft. ИИ Microsoft обладает человеческим голосом, как и ChatGPT. Это стало возможным благодаря использованию модели GPT-4o. Теперь пользователи могут вести разговор с ИИ-ассистентом, задавать ему вопросы и прерывать его, как при общении с реальным человеком.

Copilot Daily собирает аудиообзор новостей и погоды, который Copilot зачитывает голосом, похожим на дикторский. Функция использует контент только от авторизованных новостных и погодных источников.

Think Deeper позволяет ассистенту тратить больше времени на ответ и предоставлять пошаговое объяснение сложных вопросов, что напоминает новую модель OpenAI o1. Сейчас Think Deeper находится на ранней стадии разработки и доступна в рамках новой функции Copilot Labs. Это экспериментальная плозадка, где пользователи тестируют возможности ассистента.

Обновленный Copilot доступен в мобильных приложениях для iOS и Android, на вебсайте copilot.microsoft.com и в Windows-приложении. Copilot Vision работает только в браузере Microsoft Edge у небольшого числа подписчиков Copilot Pro в США. Также компания ограничила список ресурсов, на которых может работать новый инструмент. Голосовые функции пока работают только на английском языке в ограниченном количестве стран: Новой Зеландии, Канаде, Австралии, Великобритании и США.