Приложение Seeing AI от Microsoft научат распознавать личные вещи незрячих пользователей

Прослушать публикацию
Тифлокомментарий: цветная фотография. Флориан Бейджерс с собакой-поводырем в фойе со стеклянной дверью и светлыми стенами. Он сидит, облокотившись о спинку кресла, держит в руках смартфон, широко улыбается. Палевый лабрадор в фиолетовом ошейнике сидит у ног хозяина, смотрит на него. У Флориана взъерошенные короткие русые волосы, овальное лицо с мягкими чертами, щетина. На нем синие джинсы, черные джемпер и куртка.

В Microsoft намерены усовершенствовать приложение Seeing AI и «научить» его корректно распознавать различные специфические объекты, окружающие незрячих пользователей. В рамках нового проекта Object Recognition for Blind Image Training (ORBIT) компания планирует сформировать публичную базу данных, которая позволит алгоритмам машинного обучения работать эффективно. К участию в сборе информации приглашают добровольцев с нарушением зрения.

Пользователи Seeing AI уже сейчас могут получить информацию об окружающем пространстве — приложение умеет распознавать некоторые предметы через камеру смартфона. Однако технология пока не совершенна. Например, приложение может определить через камеру диван и сидящего на нем человека, но, скорее всего, не опознает ту или иную конкретную книгу, предмет одежды или косметический продукт. Кроме того, искусственный интеллект еще не знает, какие из окружающих предметов максимально важны для незрячего пользователя и на каких объектах нужно концентрироваться.

Чтобы усовершенствовать технологию, проект ORBIT собирает видеозаписи от добровольцев с нарушением зрения. Ролики помогут натренировать и протестировать новые алгоритмы машинного обучения. Предполагается, что в итоге Seeing AI научится через камеру смартфона распознавать самые разные личные вещи пользователей — от гаджетов до кухонных приборов.

«Без базы данных ни о каком машинном обучении речи идти не может. А базы данных, которую можно было бы использовать, чтобы изменить к лучшему эту относительно новую сферу искусственного интеллекта, пока нет», — цитирует сотрудника Университета Сити (Лондон) Симона Стампфа блог Microsoft.

Отметим, что приложение Seeing AI может, кроме прочего, распознавать текст, этикетки товаров, валюту, цвета и многое другое. Пока продукт работает только на устройствах под управлением iOS и не доступен на русском языке. Microsoft постоянно совершенствует приложение и работает над другими инклюзивными продуктами — например, компания ранее разработала гаджет, который поможет незрячим людям распознавать собеседников.

Cегодня существует также приложение Be My Eyes, в котором люди с нарушением зрения могут позвонить зрячим волонтерам и в режиме реального времени попросить совета или получить подсказку по видеосвязи.

Читайте о других самых полезных приложениях для незрячих людей в статье «Особого взгляда».