Компания Nvidia представила новую интерактивную платформу Signs, призванную сделать изучение американского языка жестов (ASL) более доступным. Проект реализован в сотрудничестве с Американским обществом для глухих детей и креативным агентством Hello Monday.
Signs использует искусственный интеллект и 3D-аватар для обучения языку жестов. Платформа анализирует движения пользователя через веб-камеру и предоставляет мгновенную обратную связь о правильности выполнения жестов.
Несмотря на то, что ASL является третьим по распространенности языком в США, для него существует гораздо меньше ИИ-инструментов по сравнению с английским и испанским языками. Для решения этой проблемы Nvidia создает обширную базу данных, которая будет включать 400 000 видеофрагментов с 1000 различными жестами. Каждый жест проходит проверку носителями языка и профессиональными переводчиками.
"Большинство глухих детей рождаются у слышащих родителей. Предоставление семьям доступных инструментов вроде Signs позволяет наладить эффективное общение с детьми уже в возрасте 6-8 месяцев", - отмечает Чери Даулинг, исполнительный директор Американского общества для глухих детей.
На данный момент платформа фокусируется на движениях рук и положении пальцев, но команда разработчиков планирует добавить распознавание мимики и движений головы, которые также являются важной частью языка жестов. Кроме того, рассматривается возможность включения региональных вариаций и сленговых выражений.
Пользователи любого уровня владения ASL могут внести свой вклад в развитие платформы, записывая видео с демонстрацией определенных жестов. Собранная база данных станет общедоступной позднее в этом году и поможет в разработке новых технологий для улучшения коммуникации между слышащими и глухими людьми.