FaceAR SDK — это инструментарий для простого создания необычных лицевых фильтров и эффектов в дополненной реальности, разработанный белорусской компанией Banuba.
-
Партнёрский материал «Мы против фейковой красоты». Как Banuba меняет отношение к видеочатам
Он включает несколько компонентов: Face Filters, Beautification, Avatar и Face analytics, которые можно использовать по отдельности для разработки самостоятельных AR-приложений или интегрировать в уже существующие. SDK получает регулярные обновления и даёт всё больший простор для полёта фантазии своих пользователей.
Вот как развивался Face AR в этом году.
Face AR 14.0
Большинство обновлений 14 версии Face AR SDK сосредоточены на его двух компонентах: для лицевых фильтров и бьютификации.
Face Filter SDK получил поддержку прикосновений: фильтры и эффекты стали реагировать на них, например, вибрацией или дрожанием. Это открывает дорогу для добавления различного геймплея, к примеру, ловить AR-объекты, нажав или смахнув на экране. Также улучшено качество обработки фото при наложении AR-фильтров, добавлена настройка громкости и оптимизирован рендеринг AR-эффектов с 25 до 30 fps, благодаря чему они работают более гладко на всех платформах.
В версии SDK для iOS появилась возможность сделать фильтры более иммерсивными, позволяя пользователю изменять свой голос на детский, более низкий по тональности, на голос робота или любой другой. Также iOS-разработчики AR теперь могут добавлять на видео водяные метки — логотипы или другие изображения, чтобы подчеркнуть свой бренд. Заметно ускорена скорость видеозаписи.
В инструментарий Beautification SDK добавлена технология очистки дефектов кожи лица в реальном времени. Также улучшено распознавание губ — помада ложится более точно и выглядит естественнее. Для Android добавлена превью-версия нейросети, распознающей волосы: на более мощных устройствах она позволяет мгновенно перекрашивать причёску. На iOS Beautification SDK получил возможность распознавания кожи и глаз для более точного наложения теней на веки или коррекции тона кожи в отличие от тех фильтров, которые накладывают виртуальный макияж полностью на всё лицо.
Кроме того, обновлены алгоритмы распознавания и трекинга лиц, исправлены шероховатости аудио, цветокоррекции, отображении эффектов и других, а также улучшена скорость и производительность SDK.
FaceAR 15.0: новые возможности и лучшая производительность
На платформе FaceAR появилась возможность протестировать работу фильтров на планшетах iPad в демо-приложении. В настольной версии стало можно накладывать лицевые фильтры и эффекты на заранее записанные видео, а iOS-версия платформы «похудела» на 10 процентов и стала более энергоэффективна без ущерба производительности. Кроме того, в ней улучшена съёмка в горизонтальном режиме.
В Face Filters SDK ускорена обработка AR-эффектов в процессе фотографирования, появилась поддержка распознавания экшн-юнитов и рендеринга блендшейпов, что предоставляет пользователям возможность создавать собственные анимоджи. Для Android улучшено разрешение фото с применением эффектов, а также при переключении камеры и видеозаписи.
Также взаимодействовать с фильтрами и эффектами стало можно при помощи действий, которые поддерживают нескольких одновременных касаний. Это даёт больше свободы для создания геймифицированных фильтров, так как пользователи могут касаться дисплея в двух или более точках и играть с эффектом.
В компоненте Beautifications SDK улучшено исправление недостатков лица на сделанных фото, а для iOS-версии разработчики обучили нейросеть точнее распознавать глаза.
FaceAR 16.0: «виртуальные примерочные» для губ, глаз, кожи и волос на Android
Следующий релиз платформы Face AR в основном посвящён Android. Он включил новый функционал для SDK Beautification и Face Filters, а также улучшил работу на менее мощных устройствах. Кроме того, готовы к продакшену некоторые функции в демо-версии.
В Face Beautification SDK для Android стала полностью доступна нейросеть для изменения цвета причёски в реальном времени — функцию можно реализовать как отдельно, так и в дополнение к другим фильтрам. Для продакшена готова функция наложения мейкапа на определённые области, например только помады или румян, также распознавание глаз и радужки, к которым далее можно применять небанальные разноцветные линзы.
Face Filters SDK для Android обновил технологию отделения фона — с помощью неё можно, к примеру, скрывать происходящее за спиной пользователя в видеочате. Также он стал быстрее определять лица при любой ориентации устройства, благодаря чему более плавно накладываются фильтры в реальном времени и работает виртуальная примерочная. На iOS стало можно создавать AR-фильтры с вырезанием контуров всего тела пользователя и применением эффектов фона.
Среди прочих апдейтов Android — уменьшено время загрузки при первом запуске, увеличено количество fps камеры для устройств Huawei и улучшен перенос цвета, что делает виртуальный макияж более реалистичным.
FaceAR 17.0: улучшена технология и добавлен новый функционал
В релиз FaceAR 17.0 наряду с общими улучшениями технологии вошёл ряд важных усовершенствований Face Filters SDK и Face Beautification SDK.
В Face Beautification SDK повышена точность нейросети для распознавания губ, а AR-мейкап стал доступен для сделанных ранее фото.
Face Filters SDK получил поддержку горизонтального режима фото и видео для лицевых фильтров и эффектов. На Android в 2 раза увеличено разрешение съёмки для более мощных устройств и добавлен API для проверки и производительности, а на iOS новая настройка экспозиции позволяет достичь более мягкого освещения и избежать бликов.
Общие улучшения коснулись документации, добавлена поддержка Swift 4.2 в демо-приложении, поддержка ввода RGB без конвертации.
FaceAR 18.0: очистка лица и обработка фото
В 18 релизе крупные нововведения получил Face Beautification SDK, а также добавлены новые функции постобработки фото в Face Filters SDK и несколько полезных улучшений для разработчиков.
Пользователи Face Beautification SDK на обеих мобильных платформах получили возможность загружать фото из «Галереи» и исправлять дефекты кожи лица, нажав на область, которую нужно исправить. Помимо этого, обновлена нейросеть, отвечающая за распознавание волос. Как результат, длинные волосы в AR перекрашиваются более точно.
Из нового в Face Filters SDK — обработка Bitmap и применение эффектов на Android, возможность делать фото при любой ориентации камеры без потери фокуса на лице и улучшения экшн-юнитов, что обеспечивает более точное движение губ аватаров, когда пользователь разговаривает.
В числе других общих улучшений SDK –корректно работает физика эффектов для нескольких лиц, обновления EffectPlayer, универсальный фреймворк для устройств и симулятора на iOS, а также поддержка Bitmap в конструкторе FullImageData и исправленный сбой ориентации лица при перезапуске на Android
Больше информации о платформе Face AR и примерах использования можно найти в блоге Banuba.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.