Несколько лет назад специалист по компьютерному зрению Илья Оводов и его супруга Ольга из поселка Менделеево Московской области взяли под опеку незрячую девочку Ангелину. На тот момент ей было девять лет, она уже умела читать и знала брайлевские буквы, хотя только собиралась идти в первый класс. Специально для нее Илья Оводов разработал программу Angelina Braille Reader, которая преобразовывает Брайль в обычный текст. Благодаря этому сервису Ангелина смогла учиться в обычной школе.
Сейчас изобретением Ильи пользуются учителя, родители и студенты. Проект победил в нескольких конкурсах, поддержать сервис пообещал и президент России Владимир Путин.
В интервью «Особому взгляду» Илья Оводов рассказал о создании программы, ее будущем и принципах работы.
— Давайте начнем с самого начала: как вы придумали этот проект и сколько времени ушло на разработку?
— Идея пришла очень просто: каждый писатель пишет ту книгу, которую хотел бы прочитать. У нас два с половиной года назад появилась в семье приемная дочка Ангелина. Мы ее взяли в Сергиево-Посадском интернате. Девочка с тяжелой судьбой. Когда вы берете ребенка из детского дома, слепота — наименьшая из проблем. Как у нас устроено обучение слепых детей? Это в первую очередь интернат. Мы живем в Подмосковье, у нас было несколько вариантов — Королев, тот же Сергиев Посад, откуда забрали — туда и вернуть, или школа-интернат № 1 в Москве. Все эти варианты предполагали или интернат, или полдня тратить на дорогу. А для ребенка главное — понять, что он живет в семье, что у него есть мама и папа, с которыми можно поговорить.
Но произошло чудо. Видимо, в таких экстремальных ситуациях Господь помогает слепым и сиротам. В нашем поселке всего одна школа. В нее как-то зашла Ольга вместе с Анжелой, а учительница младших классов спросила: «Ой, у вас новый ребенок? Она слепая? А я ведь по образованию тифлопедагог. Давайте я в этом году закончу вести четвертый класс, а в будущем возьму ее на индивидуальное обучение».
Тифлокомментарий: цветная фотография. Ангелина в сером трикотажном жакете сидит за письменным столом. Перед ней прибор для письма по Брайлю. Слева от нее — круглая подставка для письменных принадлежностей и кукла в розовом костюме, которую она придерживает рукой.
Мы стали учиться на домашнем обучении, столкнулись со всеми этими учебниками. Под конец первого класса Лариса Николаевна (учительница Ангелины, — прим. ред.) начала сдаваться. Она тратила много времени на подготовку уроков. Тогда моя жена, это была ее идея, сказала: «Слушай, Илья, компьютерное зрение — это твоя работа. Ты на работе пишешь программы, которые делают удивительные вещи. Неужели ты не сможешь сделать программу, которая распознает эти точки?». Мне ничего не оставалось, как взяться и написать эту программу.
Представьте, перед ребенком лежит учебник, рядом со мной — аналогичный учебник с плоским письмом. Понятное дело, что верстка совсем другая. Разобрать, что написано, даже зная Брайль, очень сложно, особенно если часть страницы закрыта руками ребенка. Программа через несколько месяцев после создания заработала на уровне, когда можно сделать фото учебника и понять, о чем там написано и в каком месте какой текст. Качество было хуже, чем сейчас. Но она уже была пригодна к использованию.
Во втором классе мы уже начали для обучения в школе делать фото учебников, распечатывать их. У нас по всем учебникам были расшифровки, где под каждой брайлевской буквой стоит буква плоского алфавита. После этого возникло понимание, что мы, наверное, не единственные люди, которые так мучатся, и не единственные, кому программа нужна.
Дальше встала задача — довести до ума качество, дать возможность людям пользоваться программой. Ее я делал в свободное от работы время. Для пользователей нужно было, чтобы программа работала через интернет. Для меня это была непривычная задача. Я специалист по компьютерному зрению, но я совсем не специалист по разработке сайтов и веб-приложений. Пришлось освоить. Сайт до сих пор сделан «на коленке», но он функционален. Я также добавил возможность отправить результат на электронную почту.
Сейчас идут отзывы пользователей, становится понятно, что нужно исправить. Одна из приоритетных задач — сделать так, чтобы то, что люди уже распознали, можно было открыть и загрузить. Я приложил определенные силы и для того, чтобы улучшить качество. В этом учебном году мы решили, что можно эту программу показывать посторонним людям. Разослали ее в специализированные школы. Надеюсь, что сейчас, особенно после того, как президент похвалил, люди начнут пользоваться. Обидно, когда есть такая замечательная штука, но нет способа донести информацию до тех, кому она нужна.
Тифлокомментарий: цветная групповая фотография. Рядом с камином и новогодней елкой расположилась семья Оводовых — шестеро взрослых, трое подростков и две девочки лет десяти. Все одеты в повседневную одежду. Часть членов семьи стоит, трое сидят на стульях в первом ряду. Среди них Илья. Он приобнимает свою супругу Ольгу, стоящую рядом. По другую сторону от него, на коленях у плотного пожилого мужчины с бородой, сидит Ангелина. Ее взгляд расфокусирован. У ног девочки спит большой золотистый ретривер.
— Могли бы вы подробнее рассказать о принципах работы программы?
— Только в последние несколько лет появились технологии, которые позволяют сделать то, что сделал сейчас я. Когда я полтора года назад брался за эту работу, то, как и положено техническому специалисту, занялся изучением статей, аналогов, библиографию составил. У меня на компьютере сложено около 50 статей по оптическому распознаванию Брайля. Я проанализировал, подумал, что можно взять готовое, я не люблю изобретать велосипед. Но подходы, которые использовались до сих пор, это то, что специалисты называют классическое компьютерное зрение. То есть без нейросетей, более простые, понятные и прямолинейные подходы. Все они упираются в особенности брайлевского шрифта. Нормально интерпретировать его можно только тогда, когда у вас точки брайлевских символов расположены по линеечкам. В большинстве работ об оптическом распознавании Брайля все упиралось в необходимость засунуть брайлевскую книжку в сканер, а засунуть ее это, мягко говоря, та еще задача. Кроме того, сканер нужен не из магазина компьютерных товаров, а специализированный. Нужно разровнять брайлевский текст так, чтобы неровности линеек были меньше, чем расстояние между линейками.
Я к тому моменту на своей работе уже активно применял нейросетевые подходы. Оказалось, что нейросети могут более гибко распознавать брайлевские символы. Используя контекст вокруг брайлевского символа, они могут понять, какая точка находится в ряду. Если их правильно уметь «готовить», они оказываются устойчивыми к тому, что лист не расправлен, искривлен, сфотографирован сбоку и так далее.
Алгоритм работает поэтапно. На первом этапе — распознавание брайлевских символов, при этом символы распознаются сразу целиком. Потом символы объединяются в строки, следующий вопрос — перевести брайлевский текст в обычное плоское письмо. Перевести текст на одном и том же языке — это не проблема. Как только начинаются нюансы — цифровые знаки, математические примеры, параграфы, дроби, вкрапления английского языка, римские цифры, — возникают сложности.
Грубо говоря, есть переход на английский язык, например, но далеко не всегда соответствующим образом обозначен переход обратно на русский. Если это римская цифра, то там стоит английская буква I, например. А дальше пойдет русский текст. Программа может символ маркировки пропустить и неправильно распознать, после этого «поедет» все остальное. В результате приходится некие лингвистические правила писать, которые позволяют справляться с такими ситуациями. Но здесь, конечно, программе пока далеко до совершенства. Например, в английском мне пока пришлось ограничиться тем, что переход на английский в русском тексте действует в пределах одного слова. Можно отдельно выбрать исходный текст на английском, тогда все переведется как английский — и все русские буквы.
Надо применять сложный подход на основе того, что мы будем анализировать, какой там текст и как его правильно понять, но руки пока не дошли. Может, в перспективе дойдут.
Тифлокомментарий: цветная фотография. Солнечный день. Илья с Ангелиной на борту яхты в открытом море. Вместе они наматывают трос на барабан лебедки. Илья в серой футболке и панаме с широкими полями, он крутит ручку лебедки. Ангелина в ярком розовом сарафане помогает ему, сидя на коленях. Позади них на борту судна закреплен российский флаг, на горизонте видны очертания гор.
— А ошибки в распознавании русского текста бывают?
— Проблемы бывают, но это зависит от качества текста. Если это простой литературный текст, то он распознается очень качественно. Если это текст со вставками или математическими примерами, то ошибок может быть больше.
Но на сайте есть раздел «Помощь», в котором написано, как правильно фотографировать текст. У программы есть свои ограничения. Если сделать все по инструкции, то все будет хорошо работать. Я сталкиваюсь с тем, что люди пишут, что программа не работает — пишет белиберду. Но я смотрю, какую они фотографию загрузили, и понимаю, что люди инструкцию не читали.
А требование простое: свет должен падать на лист не сверху, а наискосок и с противоположной от вас стороны. Второе требование: лист нужно фотографировать сверху.
Но я планирую программу доучить, чтобы нейросеть нормально справлялась со сложными ситуациями. По этой причине, когда вы пользуетесь программой, у вас появляется вопрос: «Вы согласны с тем, что текст, который вы будете загружать, будет использован для того, чтобы улучшить программу?». Кроме того, я планирую все тексты, на которые мне дали такое разрешение, выложить в интернет, чтобы кто-то мог это направление развивать и улучшать.
— Сколько людей сейчас пользуется сервисом?
— На сайте www.angelina-reader.ru зарегистрировались 340 человек. Из них примерно сто человек — люди, которые заинтересовались и подключились на этапе тестирования в первый год разработки, когда программа была еще сырой и слабенькой. Остальные пришли где-то в сентябре этого года, поскольку мы стали это дело активно продвигать, поделились со школами.
— Как понимаю, основная аудитория программы — это учителя и родители?
— Учителя, родители и студенты. В качестве примера могу привести замечательную девушку, которая окончила в этом году бакалавриат Высшей школы экономики. Она писала при этом на Брайле. Потрясающие преподаватели изучили Брайль для того, чтобы ее обучать. Когда программа появилась, они тоже начали ей активно пользоваться. Девушка меня еще просила добавить в нее французский язык, но с ним пока не заладилось — я его не знаю и не очень понимаю, как это реализовать. Особенно я не знаю французский Брайль.
Мой приоритет сейчас — сделать так, чтобы программу могли нормально использовать в русский школах.
— Как понимаю, у программы нет аналогов ни в России, ни в других странах?
— Полтора года назад я искал, но так и не смог ничего найти. Единственное: я смог отыскать в России фирму, которая предлагает программу распознавания Брайля и установку того самого сканера. Но я программу, честно говоря, толком запустить не смог.
Один из участников тестирования живет в Австралии, там мама ребенка показала программу в специализированной школе учителям, те сказали: «Ух ты! Мы ничего подобного не видели. Почему такой штуки нет у нас, а у русских есть».
В плане использованной методики, когда я уже реализовал алгоритмическую часть, узнал, что китайские разработчики прислали статью на конференцию по компьютерному зрению в США, в которой впервые описали подход по распознаванию Брайля, достаточно близкий к моему.
К сожалению, если полтора года назад это было революционной идеей, то сейчас, получается, уже не так. Но там все-таки пока алгоритм, а не готовое решение. С другой стороны, перед этими китайскими разработчиками я в большом долгу, так как им принадлежит единственный датасет (набор данных), где есть примерно сто страниц брайлевского текста и каждый символ там размечен. От этого датасета я отталкивался, если бы его не было, я бы не смог так быстро и успешно реализовать систему.
После того как я нейросетку обучил на китайском датасете, она смогла распознавать тексты на русском языке. А дальше уже было от чего оттолкнуться. Я уже мог в тех текстах, которые готовил на русском, отбирать то, что распознавалось приемлемо, и убирать ошибки. Была у меня крайне интересная и нестандартная идея — для обучения я использовал стишки. Они выгодно отличаются тем, что там известно, в какой строке и что написано. Можно построчно текст, который получается в результате работы программы, сравнивать с текстом стихотворения, видеть, что получилось, а что — нет, какие куски на каких фотографиях получилось успешно распознать.
— Вы говорили в интервью, что программа находится на вашем личном компьютере. Все пользователи, которые приходят на сайт, «заходят» на ваш компьютер. Вы планируете в будущем переносить программу?
— Я надеюсь в ближайшее время этим заняться. В мае я подал программу на конкурс, организованный Агентством стратегических инициатив. Он называется World AI&Data challenge, и проходит в три этапа, первый — конкурс задач. Тот, кто считает, что у него есть социально значимая задача и есть к ней данные, на основе которых можно ее решить, подает задачу на конкурс. Из них потом отбирают те, что действительно можно решить сообществу. Второй этап — решение. Среди прочих там оказалась задача по распознаванию Брайля. Видимо, идея витает в воздухе. Я принес туда свое решение, занял второе место. Первое место заняло решение задач по предсказанию паводков.
Благодаря конкурсу я несколько дней назад рассказывал о программе Путину. АСИ это организовало. Я также получил поддержку от компании «Яндекс». Они мне дали грант на то, чтобы разворачивать эту систему на их мощностях. Я надеюсь, что с моего компьютера эта программа скоро «уедет», тем более что количество пользователей растет.
— Какие у вас дальнейшие планы? Планируете ли вы добавить другие языки, сделать программу автономной или подготовить мобильную версию?
— Мобильная версия — открытый вопрос. Наверное, сейчас он не приоритетный. Думаю, программа в ближайшее время останется ориентированной на интернет.
Сейчас у меня уже есть две версии сайта — для компьютера и смартфона. Они отличаются. В версии сайта для мобильного телефона есть кнопка «Сделать фото». Ты просто нажимаешь на нее, делаешь через камеру смартфона фотографию и тут же ее отправляешь. Единственное неудобство — это работает как интернет-сайт. Не все знают, что от интернет-сайта можно сделать иконку на рабочий стол смартфона, после этого оно выглядит как приложение.
Я планирую улучшить функциональность, добавить возможность просматривать то, что ты уже распознал, и иметь возможность к этому вернуться. Сам сайт выглядит не очень, хочется, чтобы он все-таки выглядел получше. Мне коллеги-компьютерщики уже предложили помощь. Надеюсь, что скооперируемся.
Что касается других языков, такой план тоже есть. Но сроки мне озвучить сложно.
— Какие у проекта сейчас потребности?
— Люди уже могут пользоваться программой, поэтому хочется, чтобы информация о нем распространялась. Но самый большой ресурс, которого не хватает, — мое личное время. Я координирую проект, руковожу им, сейчас появились люди, которые готовы привнести в него что-то.
У программистов есть понятие OpenSource-проект. Это проект с открытым исходным кодом. Он выложен в интернете (исходный код программы можно взять здесь), любой желающий может скачать его себе, если он умеет программировать, то что-то улучшить, после чего направить на центральный сайт, где лежит программа, предложение по улучшению. Но для развития проекта нужен человек, который определяет стратегию и смотрит, в какую сторону нужны улучшения, в чем есть потребность. Пока эта работа требуется от меня.
Проект некоммерческий. Я рассматриваю возможность сделать кнопку Donate, чтобы кто-то добровольно мог что-то пожертвовать. Делать проект платным я не хочу из прагматичных и нравственных соображений. Я также рассчитываю на то, что люди, которые в это дело вложатся, сделают это из любви к искусству и человечеству.
Тифлокомментарий: цветная фотография. Супруги Оводовы стоят на фоне высоких дверей и зеленых портьер. Илья в белой рубашке обнимает Ольгу за плечи, смотрит на нее, прикрыв глаза и чуть улыбаясь. Ольга смотрит в камеру. У нее открытое круглое лицо без макияжа, русые волосы, легкая улыбка на губах. Женщина одета в синий джемпер с круглым вырезом.
— Ваше проект стал лауреатом премии губернатора Подмосковья «Мы рядом», конкурса АСИ. Информационную и грантовую поддержку вам пообещал президент. Свидетельствует ли это о том, что общество стало внимательнее относиться к проблемам людей с нарушением зрения?
— Да, у меня есть ощущение, что в мире и в России общество поворачивается к инвалидам, в том числе к слепым. На наших глазах появляются и надписи на Брайле в разных местах, и пандусы для колясок, и светофоры, которые пищат. Даже сам факт того, что из проектов, которые были представлены, АСИ выбрало именно этот, говорит о том, что они воспринимают проект как приоритетный.
Другой вопрос в том, что у меня есть некая боль. Я уже было хотел сказать об этом Владимиру Владимировичу, когда рассказывал о проекте, но растерялся.
У нас в семье два ребенка-инвалида — Анжела и Варя. Анжелу сейчас лечили в Питере у потрясающего хирурга Олега Витальевича Дискаленко. Ей из года в год при диспансеризации в детском доме ставили вердикт — лечение не показано, прогноз неблагоприятный. Олег Витальевич ее прооперировал, сейчас она читает шрифт кегля 80. Дочка Варя, которую мы взяли из детдома пять лет назад и которая могла только сидеть в позе лотоса, сейчас ходит по дому со специальными приспособлениями. Она уже задумывается на тему, куда она пойдет работать. Ей сейчас 12 лет. После детского дома же их с большой вероятностью ждал психоневрологический интернат.
Государство хорошо помогает нам как приемным родителям детей-инвалидов деньгами. Но проблема в том, что героями являются те родители, которые таких детей воспитывают сами, потому что такой поддержки они не получают. Пенсия по инвалидности — 10 тысяч. Это катастрофа для семьи. Поэтому у них соблазн отдать ребенка в интернат, где государство потом будет платить большие деньги — больше, чем платит нам. Кончится это тем, что ребенка все равно отправят в ПНИ. Или детям будут искать приемных родителей и предлагать деньги им. А с какой мотивацией приемные родители берутся за это дело? Кто-то от чистого сердца, а кто-то, может быть, на деньги позарится, такой риск всегда есть. И это проблема. Правильнее было бы этими деньгами помочь родным родителям, которые растят и лечат ребенка.
