Microsoft показала малую ИИ-модель, которая может конкурировать с «большими» LLM

Гендиректор Microsoft Сатья Наделла представил модель Phi-2 на мероприятии Ignite. Phi-2 является продолжением серии малых языковых моделей (SLMs) компании Microsoft, которые направлены на повышение качества и эффективности обучения ИИ.

Особенность Phi-2 — обучение на данных, соответствующих качеству учебного уровня. Это значит, что данные для обучения были тщательно отобраны и структурированы. Такой подход позволяет модели более эффективно переносить знания, полученные из других моделей.

Разработчики утверждают, что Phi-2 превосходит Gemini Nano — самую эффективную модель серии Gemini компании Google, которая предназначена для использования на мобильных устройствах. Кроме того, Phi-2 сопоставима с большими ИИ-моделями, такими как 7B Mistral компании Mistral AI, 13B Llama 2 и 70B Llama 2 компании Meta.

Специалисты отмечают, что высокая производительность Phi-2 достигнута без применения метода обучения с подкреплением или методов инструкционной настройки. Таким образом уменьшаются проявления предвзятости модели и снижается риск токсичных выходных данных. Первая модель этой серии Phi-1 с 1,3 миллиарда параметров вышла ранее в этом году.