В ПГУ разработали приложение со звуковым ассистентом для людей с нарушением зрения
В Пензенском государственном университете создали специальное приложение для слабовидящих людей. Оно поможет им ориентироваться в пространстве с помощью звуковых сигналов. Мобильный софт повысит безопасность людям с ОВЗ и качество их жизни, а также сделает их более самостоятельными. Исследователи продолжают работать над ноу-хау. Планируется дальнейшее усовершенствование разработки, включая интеграцию технологий искусственного интеллекта. Кроме того, рассматриваются перспективы сотрудничества с пензенскими ИТ-компаниями. От этом сообщило информационное агентство ТАСС.
Согласно статистическим данным ВОЗ, около 2,2 миллиарда человек во всем мире живут с нарушениями зрения: болезни глаз поражают более 19 млн детей, 82% всех людей с нарушениями зрения — это люди в возрасте 50 лет и старше.
Люди со слабым зрением сталкиваются с проблемами в разных сферах: в медицине и образовании, в социальной адаптации. Особенности зрительного восприятия ставят перед ними препятствия: для них проблематично пойти на работу, в школу или вуз, перейти дорогу или отправиться в магазин за покупками. Для этих, казалось простых действий, нужно приложить максимум усилий или попросить помощи у близких, знакомых, прохожих.
Для пользователей, испытывающих значительные трудности при самостоятельном перемещении, может прийти на помощь приложение, разработанное группой исследователей Пензенского госуниверситета. По словам канд. техн. наук, доцента, заведующего кафедрой «Системы автоматизированного проектирования» Ирины Бурукиной и студента Глеба Фельдман, разработанный ими мобильный сервис значительно повысит качество ориентации в пространстве.
В основе приложения — модуль со встроенной системой звукового зрения. Система для распознавания объектов использует специальные алгоритмы обработки данных для создания трехмерной модели окружающей среды. Полученная информация преобразуется в звуковой сигнал, информирующий пользователя о структуре пространства и потенциально опасных объектах. Использование методов сегментации и оптимизация обработки графического материала обеспечивают формирование четких и легко интерпретируемых представлений окружающей среды для слабовидящих пользователей.
«Основной принцип функционирования заключается в преобразовании визуальных данных, полученных с камеры телефона, в звуковые сигналы с информацией о расстоянии до объекта и его цвете. Так люди с нарушением зрения смогут проще ориентироваться на местности, повысится их самостоятельность и мобильность», — поделилась Ирина Бурукина.
Разработчики создали интуитивно понятный интерфейс. Воспользоваться приложением можно в один клик, открыв его на своем смартфоне и наведя камеру на интересуемый объект. Через несколько секунд, после наведения камеры на объект, пользователь получает звуковой сигнал с описанием обстановки вокруг. Прослушать его можно с помощью наушников или через динамик телефона. При этом громкость звука различается: объекты, расположенные ближе к пользователю, озвучиваются высоким тоном, удаленные — низким.
«Входящие потоки видеоданных подвергаются предварительной обработке. Затем кадры отправляются для дальнейшего анализа. Полученные изображения обрабатываются с помощью специальных методик. Они выявляют важные признаки окружающей среды, необходимые для безопасного передвижения», — рассказал Глеб Фельдман.
В дальнейшем внедрение современных технологий машинного обучения и нейронных сетей откроет новые возможности для улучшения функциональности и точности решений.
В рамках «пилотного» проекта прошло успешное тестирование нового приложения. Несколько пожилых участников подтвердили удобство интерфейса и высокую точность идентификации цветов и препятствий на пути передвижения.
«Развитие в области обработки сигналов позволяет разрабатывать модели, способные извлекать ключевые особенности изображений и трансформировать их в акустические паттерны, понятные человеческому уху. Таким образом, исследование методов преобразования изображений в звуковые сигналы имеет высокую значимость как с точки зрения социальной инклюзии, так и с научной перспективы», — подчеркивает Ирина Бурукина.
Работа выполняется при поддержке конкурса «Ректорские гранты ПГУ». Программа зарегистрировали в реестре отечественного ПО. Команда активно развивает проект. Полученные научные результаты представляются на конференциях и публикуются в сборниках статей.
Готовый продукт планируется разместить в магазине приложений RuStore, доступном российскому пользователю. Ведутся переговоры о возможном сотрудничестве с пензенскими ИТ-компаниями.