Любой желающий теперь может обучить «рассуждающую» модель — всего за $450

Это сделает создание мыслящих ИИ-моделей проще и дешевле. По словам исследователей, на обучение Sky-T1 было потрачено меньше $450. Обычно тренировка модели с аналогичной производительностью стоит миллионы долларов. Снижению затрат способствовало использование для обучения синтетических данных — то есть сгенерированных другими моделями. Для сравнения, разработка модели Palmyra X 004, которая была недавно выпущена ИИ-компанией Writer и обучалась практически полностью на таких данных, обошлась в $700 тысяч.

Рассуждающие модели способны проверять сами себя в ходе подготовки ответа на запрос. Ответ получается качественнее, хотя и занимает немного — на несколько секунд или минут — дольше, чем у обычных моделей. А ещё они более надёжны в таких сферах, как математика, физика и других науках.

Обучающие данные генерировала другая рассуждающая модель QwQ-32B-Preview китайской Alibaba, после этого их обрабатывала GPT-4o-mini. Для обучения Sky-T1 с её 32 млн параметров потребовалось 19 часов и 8 графических процессоров Nvidia H100.

В NovaSky планируют создать другие опенсорсные модели с улучшенной способностью к рассуждению и более высокой эффективностью и точностью.