Категории

«Нейрокаст»: каким будет тифлокомментирование будущего

«Нейрокаст»: каким будет тифлокомментирование будущего

Кратко:

Поговорили с Денисом Смирновым из «Кириллицы» о том, как ИИ меняет индустрию озвучки и как приложение «Нейрокаст.Тифло» помогает делать кино доступнее для незрячих людей.

Тифлокомментарий: цветная иллюстрация. На темно-фиолетовом фоне изображение короткой аудиодорожки, подсвеченной изнутри голубым и розовым неоновым светом. Аудиодорожку обрамляют тонкие волнистые розовые линии с мерцающими розовыми огоньками.

Если вы часто смотрите кино, то, возможно, в титрах некоторых кинолент встречали фразу: «Озвучено студией "Кириллица"».

Студия дубляжа и локализации «Кириллица» на рынке кинопроизводства уже более пятнадцати лет. Она была основана в 2009 году продюсером и режиссером Валерием Довбней, создавшим множество документальных фильмов для ведущих российских каналов. За это время студия прошла путь от небольшой компании до лидера индустрии. Сейчас «Кириллица» активно развивает новейшие технологии, основанные в том числе на искусственном интеллекте.

О том, как ИИ меняет индустрию локализации, почему 70 процентов зрителей не отличают синтетические голоса от голосов живых актеров, как приложение «Нейрокаст.Тифло» помогает делать кино доступнее для незрячих людей, я поговорила с Денисом Смирновым, руководителем отдела интеграции высокотехнологичных решений студии «Кириллица».

Для начала я попросила своего собеседника представиться читателям «Особого взгляда».

— Меня зовут Денис Смирнов, мне 36 лет, живу в Москве. В «Кириллице» работаю около года. Это мой второй заход в компанию. Лет десять назад я уже занимался здесь видеомонтажом, потом наши пути разошлись, а с прошлого года я вернулся.

Сейчас моя должность звучит как руководитель отдела интеграции высокотехнологичных решений, но фактически я совмещаю несколько направлений. Во-первых, производство датасетов (наборов языковых и голосовых данных). Во-вторых, направление синтеза речи: мы делаем озвучку и локализацию с помощью нейросетей. В-третьих, разработка. Сейчас мы запускаем «Нейрокаст» – систему управления проектами и автоматической локализацией в виде веб-интерфейса, который подключается к серверам клиента.

Кроме того, наше подразделение, в частности, лидер разработки десктоп приложений Андрей Гуринов, в прошлом году создало приложение «Нейрокаст.Тифло» для упрощения работы тифлокомментаторов.

Тут мне захотелось побольше узнать о самой «Кириллице».

— «Кириллица» существует больше пятнадцати лет. Это одна из самых крупных студий локализации в России. Это дубляж, закадровая озвучка, перевод и адаптация текста. Если мы говорим про видео – наша работа заключается в том, чтобы, условно, надпись «кафе» на вывеске в фильме или эпизоде сериала перевести с английского на русский или наоборот с русского на английский, китайский или какой-то другой язык.

Студия занимается аудиовизуальной локализацией, в том числе игр, но подавляющий объем материалов составляют все-таки фильмы и сериалы.

Термин «аудиовизуальный перевод» мне, как постоянной участнице «Международной школы тифлокомментирования», а также студентке нескольких курсов лингвиста, аудиовизуального переводчика Ивана Борщевского, хорошо знаком. Но часто, когда слышишь данное понятие, первая мысль такая: «О, это же перевод на русский язык!»

Однако локализация (адаптация продукта под местный, локальный рынок), безусловно, относится к рынку любой страны, куда (или откуда) поступает тот или иной продукт, физический или цифровой.

— Конечно. Мы активно переводим российские фильмы, адаптируем их для зрителей в странах Азии, Африки, других регионов. Совсем недавно мы готовили фильм «Суворовец – 1944» к фестивальному показу в Нигере и Буркина-Фасо, там был перевод и дубляж на «африканский» французский, есть много других не менее экзотических работ. 

Тема перевода кинопродукции на разные языки мне крайне интересна. Однако не терпелось поговорить про нейросети. Захотелось узнать, насколько широко они сейчас используются в переводе и дубляже.

— Это как раз мое направление, этим занимается подразделение синтеза речи. Нейротехнологии широко используются на различных этапах производства и в «Кириллице», и в других киностудиях. Но о том, что в производстве кинопродукции использованы нейросети, зритель может даже не узнать. В аннотации или титрах это зачастую не указывается.

Классическая локализация включает в себя расшифровку видео, перевод, редактуру, чтобы адаптировать национальные особенности и сделать шутки понятными зрителю. Часто при переводе смысл шутки теряется. Затем идет укладка текста (адаптация перевода под речь актера, чтобы при дубляже движения губ совпадали с артикуляцией на экране). Например, если русскоязычную фразу перевести на английский, она теряет в объеме примерно 20–30 процентов, то есть становится заметно короче. Когда мы делаем дубляж, фразы на языке оригинала и в переводе должны быть одинаковые по длительности, должны обязательно совпадать по движениям губ, желательно буквально слог-в-слог.

Дальше записываются голоса актеров, выполняется сведение звука, технический контроль. Это сложный производственный процесс. Сейчас практически на всех его этапах в той или иной степени применяются нейросети.

Из своего опыта могу сказать, что технология «Текст в речь» (Text to speech) стала по эмоциональности приближаться к живым актерам. Многие компании, которые занимаются разработкой нейроголосов, поняли, что хорошо, когда голос не идеально чистый, а с придыханием, с неравномерными паузами, иногда сбивается, как живой голос.

Зная, насколько качественные нейроголоса от Yandex и Google, я не могла не полюбопытствовать, что именно используется в «Кириллице».

— Мы используем готовые инструменты с их донастройкой, и тут у нас начинается внутренняя секретная магия. Для разных задач мы используем синтетические голоса от разных разработчиков: как иностранных, так и российских.

У иностранных качество сейчас все-таки выше, но, если говорить о правильности произношения русскоязычных слов, расстановке ударений, о каких-то других нюансах, российские разработки выигрывают, хотя пока звучат более роботизированно. Некоторым из российских разработчиков мы помогаем развивать эти технологии.

Что касается нашей магии, когда провайдер предоставляет готовые инструменты, эти инструменты всякий раз уникальны и заточены под конкретную задачу. Чтобы сделать дубляж фильма, проще пригласить живых актеров и записать их. Мы научились совершенствовать и масштабировать производственные процессы. Если взять за эталон лучшего провайдера голосов, который выдает сто процентов из возможного для нейросетевых голосов, мы из этого инструмента можем выжать на 30 процентов больше.

Но быстрого, предсказуемого и, главное, всякий раз максимально хорошего результата нельзя добиться, если просто зайти на сайт провайдера голосов и начать синтезировать фразы. Без наших особых настроек пришлось бы осуществлять множество попыток с каждой репликой, что требует бюджета и времени.

Мы делаем свои разработки, куда через API встраиваем уже существующие инструменты, и эти инструменты превращаются в то, что можно адаптировать к производственным циклам.

Слушаю своего собеседника и понимаю: кое-что из описанного звучит очень знакомо. При создании песен с помощью нейросетей я некоторые особенно сложные для «электронных мозгов» слова порой делю на слоги, расставляю ударения даже там, где для меня все очевидно. Благодаря таким подсказкам нейроголос пропевает мои строки более корректно. Однако многие считают, что до естественного звучания поющим нейроголосам еще далеко. А способны ли мы отличить живую человеческую речь от нейроспикера?

Вот что на сей счет говорит Денис:

— Мы проводили AB-тесты. Показывали респондентам документальный фильм, озвученный живым актером, а потом фильм, озвученный искусственным интеллектом. Там была закадровая озвучка или как мы говорим «закадр». Это проще, там не обязательно попадать в губы. Примерно каждый пятый респондент выбрал вариант с искусственным интеллектом, сочтя его более подходящим по темпу, по эмоциям.

70 процентов зрителей не слышат разницы между искусственными и живыми голосами. Тут важно сказать, что мы говорим о качественной синтетической речи. Можно сделать очень плохо, и тогда будет очевидно, что голос искусственный.

Будучи человеком, имеющим некоторое отношение к переводческому ремеслу, задала Денису следующий вопрос: насколько нейросети стали лучше понимать живой язык, контекст?

— Я бы разделил тексты на художественные и нехудожественные. Для последних есть такая средняя цифра по всему миру: 90–95 процентов качество перевода, где за эталон мы берем высокопрофессионального живого переводчика. Нейросети пока немного уступают, но 90 процентов – это уже стандарт.

Для любой языковой пары столь высокий процент или только там, где присутствует английский, — не преминула уточнить я.

— Только в парах, где есть английский. С разными языками свои сложности. Самые лучшие результаты для английского языка, основных европейских языков. Чуть хуже для таких популярных языков, как хинди, китайский, некоторых языков африканских стран. С другими языками качество начинает падать. Отечественные модели – «Алиса» от «Яндекса» или «Гигачат» от Сбера – достаточно хорошо прокачались за последний год. 

От чего же тогда кажется, будто «Алиса» глупеет? 

— Это только, если мы говорим про колонки. Там алгоритмы, но не искусственный интеллект. Но также важен и продуктовый дизайн. «Алиса» появилась в «Яндекс. Браузере» где-то в середине прошлого года и достаточно круто работает. А Google, например, совсем недавно интегрировал Gemini в свой браузер. «Алиса» уступает Gemini по технологиям, но как полезный продукт для жизни достаточно хороша.

Нашими производителями моделей и продуктов на основе ИИ в целом можно гордиться. Россия не лидер, но в первую пятерку я бы ее включил.

Если же говорить о художественных текстах, здесь качество ниже. Процент опускается где-то до 70–80, но в целом тоже высокий. Проблемы возникают на культурном коде: шутки, идиомы, национальные особенности. Например, поговорка «Когда рак на горе свистнет». Если перевести ее дословно, получится непонятная белиберда. Но ее можно заменить аналогом.

В конце прошлого года мы проводили эксперимент с одним крупным производителем детского видеоконтента, локализовали серию мультсериала полностью автоматически. Человек был задействован только в перетаскивании мышкой файлов, нажатии кнопок. Он не носитель языка, не переводчик, не редактор, не звукорежиссер. Но оценивая то, что он сделал с помощью наших инструментов, коллеги поначалу говорили: «Это человек записал, просто перевод не настолько качественный». Пришлось объяснять, что это искусственный интеллект.

Перевод, укладка, озвучка синтетическими голосами, сведение звука – фактически весь производственный цикл выполнил робот.

Нейросеть «споткнулась» лишь на двух вещах. Во-первых, она перевела с русского на английский «футбол» как football, а стоило бы сказать soccer. Но и это по сути не ошибка, ведь все зависит от того, на какой английский мы переводим: британский или американский.

Во-вторых, в тексте был персонаж с фамилией, связанной с названием дерева, допустим, Березкин. Нейросеть перевела как Beryozkin, но для англоговорящих зрителей будет непонятно, в чем фишка, потому что на так называемых «говорящих» фамилиях завязано много шуток. Фамилию персонажа стоило перевести как Birch.

Да уж, сразу вспоминаются бесконечные споры, чей перевод книг о Гарри Поттере лучше: Марии Спивак или издательства «Росмэн». Но в сторону воспоминания, пора поговорить о том, как тифлокомментирование пришло в «Кириллицу».

— Примерно лет десять назад поступил запрос от Netflix. «Кириллица» стала изучать возможность производства аудиодескрипции, погружаться в тему, и сейчас активно оказывает услуги в том числе по созданию тифлокомментариев.

Мы стараемся быть социально ориентированной компанией, поэтому регулярно участвуем в различных инициативах или сами становимся инициаторами инклюзивных, образовательных, культурных и социальных проектов. 

Так, в прошлом году для Института русского языка РУДН (Российский университет дружбы народов им. Патриса Лумумбы) наши специалисты разработали и провели курс «Создание цифрового контента», там был комплекс дисциплин – перевод, редактура, актерское мастерство, я читал лекции по синтезу речи. 

Кроме этого мы выступили партнерами фестиваля «Незримое кино», а наша разработка «Нейрокаст. Тифло» получила поддержку программы «Особый взгляд» благотворительного фонда «Искусство наука и спорт». 

Люблю точные цифры, потому спросила Дениса, сколько фильмов и сериалов выходит с тифлокомментарием при поддержке «Кириллицы».

— Точную цифру не назову, но такие задачи регулярно прилетают. К сожалению, объем не такой большой, как хотелось бы. Это связано с тем, что общество еще не дозрело до понимания, что такое качественная инклюзия. Но спрос на тифлокомментирование увеличивается. Если раньше это была необходимость, спущенная сверху, и тифло делалось достаточно низкого качества, то сейчас появляется понимание того, что производство тифлокомментария, во-первых, не так дорого, в том числе благодаря приложению «Нейрокаст.Тифло». А во-вторых, тифлокомментарий является такой же художественной частью киноленты, как операторская работа, мизансцены, актерская игра, сценарий.

Иногда даже режиссеры подключаются на этапе создания тифлокомментариев, потому что понимают: это их продукт, их имидж. Тифлокомментарий – такой же киноязык, художественный язык, на котором можно общаться со зрителями.

Мой коллега, Стас Астахов, руководитель отдела технических сервисов, часто приводит интересный пример с Netflix. Когда они решили тифлокомментировать весь контент, оказалось, что у фильмов и сериалов с тифлокомментарием резко выросло количество просмотров. Компания стала выяснять, в чем причина роста просмотров, и обнаружилось, что тифлокомментарий полезен не только людям с нарушением зрения, но и домохозяйкам, которые слушают фильм, занимаясь бытовыми делами. Именно они сделали тифлокомментирование популярным на Netflix, что привело к увеличению выручки.

Мы пока отстаем от западного мира в плане инклюзивности, но очень быстрыми шагами наверстываем.

Ответ на следующий вопрос мне кажется очевидным, и все же не могу не спросить. Насколько заметно сузилось поле для тифлокомментирования на русском языке с уходом Netflix и Apple TV с российского рынка? Быть может, напротив, есть ощущение, будто зарубежные онлайн-кинотеатры возвращаются? На Apple TV, например, снова стали появляться фильмы с русским дубляжом и аудиодескрипцией, взять хотя бы киноновинку F1 с Брэдом Питтом.

—  Перспективы возвращения оценивать не возьмусь. Скажу только, что кинорынок России поменялся, выросло потребление российского видеоконтента. Мы стали активно развивать связи с такими странами, как Китай. Заключаются крупные соглашения по обмену, выходит много аниме, а также японских, китайских, корейских сериалов. Спрос на видеоконтент в целом растет.

Тифлокомментирования в России становится все больше. «Кириллица» старается влиять на спрос, вести работу с клиентами (онлайн-кинотеатрами), объяснять, зачем это нужно, что это не так сложно и дорого, что доступность контента важна.

Я думаю, через несколько лет у производителей и дистрибьюторов в какой-то момент сложится финансовая модель. Как только они поймут, что тифлокомментирование приносит дополнительный доход, оно сразу войдет в спектр их интересов, и контента с тифлокомментарием станет больше.

Я вижу, как российское кино становится лучше и качественнее. Было определенное проседание лет 15–20 назад: не с технологической точки зрения, а с культурно-художественной. Сейчас это меняется. Российского контента в моем плейлисте стало сильно больше.

Будучи большим любителем западного кино, уже собралась возразить Денису, но вспомнила, что и мой список отечественных сериалов, которые готова рекомендовать самым взыскательным друзьям, растет, как на дрожжах. «Плакса», «Черное облако», «Триггер», «Призрак…» А сколько еще русскоязычной кинопродукции добавлено в «Буду смотреть»!

Первый час нашей беседы на исходе, а мы еще не приступили к «десерту». На сладкое у нас, конечно, разговор о приложении «Нейрокаст.Тифло». Слово Денису.

— Идея «Нейрокаст. Тифло» в том, чтобы создать приложение, которое облегчало бы жизнь тифлокомментаторам и снижало барьер входа в профессию. Есть приложения, в которых можно делать тифлокомментарии, но они не заточены специально под это. Задача по разработке подобного приложения очень хорошо дружила с синтезом речи, потому что тифлокомментарий может быть озвучен искусственным интеллектом.

Какая главная проблема у тифлокомментаторов? Одно дело – написать тифлокомментарий, но что дальше? Нужно ехать на студию или иметь дома оборудование для записи, нужен дикторский голос. А вдруг человек не способен качественно начитывать? Значит, надо нанимать актера. Это тянет за собой финансовые и временные издержки.

Мы решили сделать приложение, в котором тифлокомментатор мог бы написать комментарии и достаточно просто там же их озвучить. Общаясь с тифлокомментаторами, мы поняли, где им можно облегчить жизнь. Например, было бы полезно, если бы они могли вначале видеть объем предстоящей работы, иметь разметку, куда надо вставлять тифлокомментарии, куда не надо.

В приложении есть функция, которая вычитывает из аудиодорожки реплики персонажей (актеров), понимает, где реплик нет. Это те места, куда надо вставлять комментарии.

В версии «Нейрокаста.Тифло», вышедшей в ноябре прошлого года, можно написать тифлокомментарии, автоматически расставить их по аудиодорожке и озвучить синтетическими голосами. Если где-то был пропуск, приложение показывает, что есть реплика, которую забыли озвучить. 

Сейчас мы работаем над новой версией, где будет еще более широкий функционал. 

От таких перспектив у меня глаза загорелись. Получается, я смогу, если приложение окажется доступным с точки зрения невизуального использования, загрузить в «Нейрокаст.Тифло» любой фильм, а нейросеть напишет, озвучит и сведет к нему тифлокомментарий?

— Возможности обойтись без зрячего автора тифлокомментариия пока нет. Хотя не исключено, что такие опции появятся в будущем, но о них еще рано говорить.  Пока же это инструмент скорее для авторов. 

Я поглощена, захвачена рассказом моего гостя, но вынуждена спросить о материальной стороне производства тифлокомментария, в частности, с помощью приложения «Нейрокаст.Тифло».

— Расход не такой большой, как может показаться. Ведь для тифлокомментирования нужно генерировать не видео, а текст и речь, описывать изображения. Чтобы описать картинку или сгенерировать звук, нужно меньше мощностей, чем для генерации видео. Понадобится расшифровка аудиодорожки, ее анализ, потом оценка изображения. Нейросети сейчас могут анализировать видео, понимать, где сцена началась, где закончилась. 

Что касается окупаемости – наша цель в другом. Даже если каждый тифлокомментатор в России будет работать в «Нейрокаст.Тифло», приложение едва ли окупится. Наш приоритет – это социальная составляющая, та общественная польза, которую создает этот инструмент. 

Помимо прочего, наша разработка может обеспечить незрячих людей новой профессией – контролер качества тифлокомментариев. Незрячий человек является конечным потребителем данного продукта, поэтому может дать максимально грамотную оценку. Мы можем предложить незрячему пользователю возможность отсматривать тифлокомментарии и оставлять голосовые или текстовые примечания: «Здесь не очень понятно, здесь лучше переформулировать». Над этой возможностью мы сейчас работаем. 

От последних реплик Дениса сердце наполняется предвкушением. Если все описанное удастся реализовать, у меня была бы работа мечты. Почти шесть лет в одной компании, занимающейся аудиовизуальным переводом, я осуществляла оценку качества аудиодескрипции как незрячий эксперт-консультант.

Денис упомянул, что стал смотреть больше отечественных фильмов. Захотелось узнать топ-пять любимых фильмов моего собеседника. Всегда интересно, что нравится человеку, погруженному в индустрию.

— Из старых советских фильмов я бы предложил «Андрей Рублев». Очень крутое кино. Я долгое время боялся его смотреть, думал, будет занудно, длинно. К тому же он черно-белый. Но когда посмотрел, получил большое удовольствие.

На втором месте два фильма, которые я бы не рекомендовал смотреть. Они очень крутые, но их автор создал отрицательного национального героя. Это «Брат» и «Брат 2». Мое поколение выросло на этих фильмах, но они несут не те ценности, на которых нужно воспитываться. Главный герой – человек, не ценящий жизнь, преступник. Но он героизирован, и Алексей Балабанов, мастер, очень крутой режиссер, умел закладывать в головы зрителей семена, которые прорастали, но, к сожалению, в основном негативные.

Чтобы не показалось, будто я против Балабанова, назову еще один его фильм – «Я тоже хочу», где одну из главных ролей играет Олег Гаркуша из группы «АукцЫон». Это классное кино, которое заставляет задуматься.

Еще я бы назвал фильм «Сестренка». Он меня очень тронул. Добрый фильм, который можно посмотреть всей семьей.

Ну и, пожалуй, «Повелитель ветра», про путешественника Федора Конюхова.

В завершении каждой беседы люблю давать своим гостям возможность сказать что-то, о чем не спросила. Обычно мои респонденты просто желают читателям удачи, или слов не остается вовсе; на их место приходит умиротворение: все сказано.

Но с Денисом вышло иначе. Ему микрофон.

— Я бы предложил всем подумать о своей социальной ответственности, о том, что мы даем этому миру. Не только берем от него, но и даем взамен. Насколько мы вообще полезны для мира, для общества.

Зачастую, когда мы что-то даем, мы становимся гораздо счастливее. Я на себе это почувствовал, когда мы работали над приложением «Нейрокаст.Тифло». Сначала нам пришлось погрузиться в мир незрячих людей. Стало больно от того, что мы увидели много проблем, сложностей. Мир совершенно не адаптирован. Когда мы начали разрабатывать приложение, стали понимать, какую пользу можем приносить. Да, грубо говоря, это просто потребление видеоконтента. Но благодаря возможности сделать мир для кого-то чуть-чуть приятнее, счастливее, наша команда буквально насытилась этим. Приятно приносить пользу другим людям.

Думайте о возможностях сделать мир лучше. Потому что в этом счастье.


Рекомендуем

Об авторах

Маргарита Мельникова

Маргарита Мельникова

Автор портала, транскрибатор, блогер, руководитель волонтерских проектов

Таиса Марченко

Таиса Марченко

Тифлокомментатор

Хотите получать рассылку «Особый взгляд»?

Нажимая на кнопку подписаться, Вы подтверждаете. что прочитали и соглашаетесь с нашими условиями использования в отношении хранения данных, отправленных через эту форму.

Произошла ошибка при оформлении подписки.

Спасибо за подписку!

Подписка уже оформлена.