Во время режима самоизоляции в 2020 году австралийский программист и папа ребенка с нарушением зрения Гонсало Эрнст разработал сайт по распознаванию Брайля. На нем можно загрузить фото брайлевского текста на одном из предложенных языков и через несколько минут прочитать его плоскопечатный аналог. «Особый взгляд» попросил Гонсало рассказать о проекте.
— Как возникла идея создания сайта и сколько времени потребовалось на его разработку?
— Сначала я узнал о создании русскоязычного сайта Angelina Reader, который делает перевод текстов, написанных шрифтом Брайля, на русский язык. Для перевода англоязычных брайлевских текстов этот сайт использовал только Брайль первого класса (Grade 1 Braille), при котором одна буква заменяется одним знаком.
В русском языке используется только Брайль первого класса (одна буква — один знак), а в англоязычных странах Брайль первого класса используется только на первом этапе обучения письму и чтению шрифтом Брайля. В большинстве книг, учебников и других изданий на английском языке используют Брайль второго класса (Grade 2 Braille), так называемый сокращенный Брайль (contracted Braille), в котором многие распространенные слова или буквосочетания целиком заменяются одним знаком. Это делает задачу перевода в текстовый формат значительно сложнее.
Так как мы (Гонсало Эрнст и его семья. — Прим. ред.) проживаем в англоязычной стране, нам нужен был именно Брайль второго класса. Автор Angelina Reader Илья Оводов выложил свой код в открытый доступ. Любой, кто знает Python, мог адаптировать его для перевода Брайля второго класса.
Я знаком с языком программирования Python, кроме того, хотел узнать больше об инструментах машинного обучения и компьютерного зрения, поэтому для меня это был отличный проект как для обучения, так и для перевода Брайля второго класса для нашей дочери. Я также хотел добавить другие инструменты поиска сокращений, чтобы помочь родителям быстро находить сокращенный шрифт Брайля.
После дальнейших исследований я решил использовать проект с открытым исходным кодом Liblouis для таблиц поиска Брайля, чтобы можно было легко добавлять другие языки. Хотя Liblouis не поддерживает обратный перевод для всех языков, для многих из них это возможно.
Кроме того, существует немало правил и исключений для сокращенного шрифта Брайля, так что было бы слишком сложно начать работу с нуля для перевода англоязычных текстов, не говоря уже о текстах на других языках.
Разрабатывать сайт я начал в июле 2020 года, и мне потребовалось шесть месяцев для того, чтобы заставить работать его базовую версию. Я многому научился в процессе.
— Расскажите о структуре сайта: как он работает и какие языки программирования в нем используются.
— Для основных функций в качестве языка программирования сайт использует Python. Для некоторых функций (к примеру, клавиатуры Брайля) понадобились языки CSS и Javascript. Компонент машинного обучения для распознавания Брайля основан на PyTorch.
— Почему на сайте нет русского языка?
— Сайт Ильи Angelina Reader отлично справляется с русским шрифтом Брайля, поэтому мне показалось лишним включать русский шрифт Брайля. Я бы порекомендовал российским пользователям посетить сайт Ильи.
На фото: фрагмент текста с сайта Angelina Reader.
Тифлокомментарий: две цветные фотографии на белом фоне. На фото слева — крупным планом белая страница с текстом, который напечатан шрифтом Брайля. На фото справа — фрагмента этого текста, который распознали на сайте Angelina Reader. Каждая буква, напечатанная шрифтом Брайля, обведена зеленым прямоугольником, под каждым — черная буква, напечатанная плоскопечатным шрифтом. Из них составляются слова: «Ну! Ну! Ну! Врешь! Врешь! Ну, тарелка. Ну, лепешка».
— Расскажите подробнее, какой код и для каких задач применяется?
— Код Ильи был использован для захвата изображения, он основан на работе, проделанной Renqiang Li, Hong Liu, Xiangdong Wan, Yueliang Qiang из Института вычислительных технологий Академии наук Китая. Оба этих источника упоминаются на моей странице «О нас» в разделе «Ресурсы».
После завершения захвата код Liblouis используется для выполнения перевода текста, написанного шрифтом Брайля в плоскопечатный текст (в зависимости от выбранной таблицы). Это позволяет мне добавлять любые языки, поддерживаемые проектом с открытым исходным кодом Liblouis.
— Кому адресован сайт? Кому он может быть полезен?
— Этот сайт предназначен для учителей и родителей учеников, изучающих шрифт Брайля. Он позволяет родителям помогать своим детям, а учителям — быстро и просто проверять работы учеников, выполненные на брайлевских машинках, таких как брайлер Perkins. Кроме того, мне приходили письма от людей, которые использовали сайт для перевода кулинарных рецептов и дневников близких, оставивших свои заметки шрифтом Брайля.
— Как пользователи узнают о проекте?
— Сайт можно найти в Google, по некоторым ссылкам или по рекомендациям других пользователей.
— Планируете ли вы создавать другие ресурсы, полезные в обучении незрячим людям?
— Я хочу добавить на сайт математический и музыкальный Брайль, но у из них есть свои нюансы и сложности. Это можно сделать, но для этого потребуется много времени, которого, к сожалению, у меня сейчас нет из-за нагрузки на основной работе. Я надеюсь, что в будущем смогу вернуться к более активной работе над сайтом.
В настоящее время его поддержка требует денег, и нет возможности монетизировать такие проекты, хотя я понимаю, что они полезны и важны. Я надеюсь, что в будущем смогу сделать еще больше подобных полезных проектов.
Читайте также:
