Microsoft показала малую ИИ-модель, которая может конкурировать с «большими» LLM
Компания представила передовую модель Phi-2, которая может конкурировать и даже превосходить другие ИИ-модели. Система насчитывает 2,7 миллиарда параметров и уже доступна через Microsoft Azure AI Studio для исследователей и разработчиков.
Гендиректор Microsoft Сатья Наделла представил модель Phi-2 на мероприятии Ignite. Phi-2 является продолжением серии малых языковых моделей (SLMs) компании Microsoft, которые направлены на повышение качества и эффективности обучения ИИ.
Особенность Phi-2 — обучение на данных, соответствующих качеству учебного уровня. Это значит, что данные для обучения были тщательно отобраны и структурированы. Такой подход позволяет модели более эффективно переносить знания, полученные из других моделей.
Разработчики утверждают, что Phi-2 превосходит Gemini Nano — самую эффективную модель серии Gemini компании Google, которая предназначена для использования на мобильных устройствах. Кроме того, Phi-2 сопоставима с большими ИИ-моделями, такими как 7B Mistral компании Mistral AI, 13B Llama 2 и 70B Llama 2 компании Meta.
Специалисты отмечают, что высокая производительность Phi-2 достигнута без применения метода обучения с подкреплением или методов инструкционной настройки. Таким образом уменьшаются проявления предвзятости модели и снижается риск токсичных выходных данных. Первая модель этой серии Phi-1 с 1,3 миллиарда параметров вышла ранее в этом году.
Хотите сообщить важную новость? Пишите в Telegram-бот
Главные события и полезные ссылки в нашем Telegram-канале
Обсуждение
Комментируйте без ограничений
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Zhan Chubukou
B2B Contractor (AI Solution Manager) в Worldwide Market
14 декабря 2023, 23:07
0
Зовите Станиславского. Не верю. Потому что, если бы было это правдой, то openAI пошёл бы лесом. Потому что инференс зашкаливающе дорогой. Да и файнтюн зашкаливающе дорогой. А на 2.7B было бы на порядок дешевле. Я считаю, что кто-то врот.
Пользователь отредактировал комментарий 14 декабря 2023, 23:07
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Зовите Станиславского. Не верю. Потому что, если бы было это правдой, то openAI пошёл бы лесом. Потому что инференс зашкаливающе дорогой. Да и файнтюн зашкаливающе дорогой. А на 2.7B было бы на порядок дешевле. Я считаю, что кто-то врот.
Пользователь отредактировал комментарий 14 декабря 2023, 23:07