Реклама в Telegram-каналах DzikPic и dev.by теперь дешевле. Узнать подробности 👨🏻‍💻
Support us

Новая языковая модель DeepMind оказалась в 25 раз быстрее конкурентов

Компания выпустила свою языковую модель, которую называет самой эффективной, быстрой и прозрачной на рынке.

Оставить комментарий
Новая языковая модель DeepMind оказалась в 25 раз быстрее конкурентов

Компания выпустила свою языковую модель, которую называет самой эффективной, быстрой и прозрачной на рынке.

Ключевой особенностью модели является то, что она использует внешнюю память в форме обширной базе данных, которая содержит отрывки самых разных текстов. Авторы назвали модель RETRO (от Retrieval-Enhanced Transformer). По производительности модель не уступает нейросетям в 25 раз больше размера.

Языковые модели пишут тексты, предсказывая слово в предложении или фразе. Ранее ведущие ИИ-лаборатории Google, Facebook, Microsoft выпустили свои языковые модели после появления модели GPT-3 OpenAI. У GPT-3 свыше 175 миллиардов параметров, у модели Megatron (Microsoft) — 530 миллиардов.

Разработчики RETRO пошли по пути сокращения расходов на обучение языковой модели. У RETRO всего 7 миллиардов параметров, однако есть база на 2 триллиона фраз и предложений. Внешняя память позволяет добиться лучшего результата с меньшими затратами. Также RETRO способна справиться с проблемой предвзятости, дезинформации и «риторики ненависти».

Разработчик ИИ DeepMind впервые отчиталась о прибыли
Разработчик ИИ DeepMind впервые отчиталась о прибыли
По теме
Разработчик ИИ DeepMind впервые отчиталась о прибыли
DeepMind с помощью ИИ создаст коллекцию всех известных белков. Ученые получат доступ к архиву бесплатно
DeepMind с помощью ИИ создаст коллекцию всех известных белков. Ученые получат доступ к архиву бесплатно
По теме
DeepMind с помощью ИИ создаст коллекцию всех известных белков. Ученые получат доступ к архиву бесплатно
Новый рекламный формат в наших телеграм-каналах.

Купить 500 символов за $150

Читайте также
10+ сертификаций Coursera, которые могут изменить вашу карьеру
10+ сертификаций Coursera, которые могут изменить вашу карьеру
10+ сертификаций Coursera, которые могут изменить вашу карьеру
Бюджетный способ прокачать навыки и повысить зарплату — это профессиональный сертификат от Google, IBM или крупного зарубежного университета. На Coursera как раз можно найти десятки полезных обучающих программ по машинному обучению, проджект-менеджменту и не только. Собрали 10+ сертификаций, которые будут выигрышно смотреться в резюме как новичка, так и опытного специалиста.
Дизайн, VR и интернет вещей: 10 доступных онлайн-курсов от Google, Amazon и других гигантов
Дизайн, VR и интернет вещей: 10 доступных онлайн-курсов от Google, Amazon и других гигантов
Дизайн, VR и интернет вещей: 10 доступных онлайн-курсов от Google, Amazon и других гигантов
На платформе Coursera можно найти сотни курсов от крупных корпораций, включая Google, Amazon и HubSpot. Это отличная возможность начать новую карьеру, повысить квалификацию и просто получить плюс в профессиональную карму. Мы собрали 10 программ от ИТ-компаний, которые помогут освоить машинное обучение, UX-дизайн, продакт-менеджмент, кибербезопасность и многое другое.
Google урезает бюджеты, СЕО намекает на сокращения
Google урезает бюджеты, СЕО намекает на сокращения
Google урезает бюджеты, СЕО намекает на сокращения
1 комментарий
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Bubble
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.