Новый метод распознавания эмоций улучшает точность на 15%

Ученые лаборатории ИИ Сбербанка разработали новый подход к распознаванию эмоций в реальных условиях и продемонстрировали результаты на международном воркшопе ABAW конференции CVPR. Исследование, названное «Использование легковесных моделей анализа лица и текстовых модальностей в аудиовизуальном понимании эмоций в естественных условиях», показывает, как комбинация визуальных, акустических и текстовых данных улучшает точность анализа эмоций.

Исследователи предложили применять эффективные нейронные сети для анализа мимики, что позволяет обрабатывать данные в реальном времени на обычных смартфонах. Также они внедрили фильтрацию кадров с эмоциями, надежно распознанными предобученными моделями, для снижения нагрузки на систему и комбинирование данных из разных источников для повышения адаптации моделей.

С помощью нового метода точность распознавания эмоций увеличилась на 1,5–15% по сравнению с базовыми методами, основанными на нейросетевых моделях лиц и акустических моделях. Будущие приложения данной технологии охватывают создание более точных виртуальных ассистентов и чат-ботов, адаптацию образовательных платформ под настроение учеников и инструменты анализа реакций клиентов в бизнесе, а также системы мониторинга психического здоровья.