За кадром: кто и как работает над казахскоязычным контентом

В 2023 году в Казахстане утвердили концепцию развития государственного языка до 2029 года. Согласно плану правительства, к 2029 году ожидается, что 84 процента казахстанцев будут владеть казахским языком. Популярность обретает и контент на казахском языке. Поэтапно в стране также будет увеличиваться доля теле- и радиовещания на казахском языке с 50 до 70 процентов. Многие крупные компании поддерживают эту тенденцию. Одним из ярких примеров стал Яндекс Казахстан, который последнее время активно инвестирует в развитие сервисов на государственном языке. Сотрудники компании рассказали об особенностях создания сервисов и цифровых решений, которые поддерживают казахстанцев в их стремлении к изучению и развитию родного языка.

Как Яндекс Казахстан запустил быстрые ответы на казахском

Работа продуктового менеджера Яндекс Поиска Салтанат Болатбековой заключается в том, чтобы казахстанцам было удобно пользоваться поиском — находить ответы на свои запросы быстро и на родном языке. Важную роль в этом играют быстрые ответы, которые появляются в поисковых результатах в виде нескольких слов, предоставляя пользователям конкретные факты на их запросы. Например, если спросить у Яндекса "ең ұзын сөз", получим "Қанағаттандырылмағандықтарыңыздан".

Чтобы запустить эту функцию, Яндекс Казахстан обработал петабайты казахскоязычного контента. В процессе разработки не обошлось без нейросетевых технологий и методов машинного обучения. Это уникальный опыт, во-первых, потому что ни в одном другом поисковике в мире нет быстрых ответов на казахском языке, так как он не подпадает под критерии большинства компаний, создающих продукты на иностранных языках. Во-вторых, большинство продуктов и технологий, ориентированных на аудио и текст, направлены на популярные языки.

Созданный алгоритм сначала оценивает возможность предоставления краткого ответа, затем ищет информацию в различных проверенных источниках. Решение о показе ответа также может зависеть от типа информации — например, в случае поиска рецепта настоящего беша поисковая система показывает обычную выдачу из 10 строк, чтобы не навязывать пользователю только один рецепт из множества.

"Когда речь идет о вопросах, связанных с медициной, законами и финансами, подход к источникам становится более строгим. Модели обучены так, чтобы в специализированных категориях отображались только надежные источники. Например, в медицинских вопросах предпочтение отдается сайтам клиник, а не блогам или записям в социальных сетях", — добавила Салтанат Болатбекова.

Любое видео в интернете доступно на казахском языке

Помимо удобного поиска, Яндекс Казахстан представил технологии и для перевода видео на казахский язык. Теперь видео с различных платформ, включая YouTube, VK и Coursera, могут автоматически переводиться на казахский. Эта функция, также основанная на нейросетевых технологиях, доступна в Яндекс Браузере для устройств на Android и iOS и в приложении Яндекс с Алисой. Теперь лекции, документальные ролики, кулинарные и другие видео доступны на казахском.

Процесс перевода видео основан на сложном алгоритме. Нейросети анализируют звуковую дорожку видео, выделяют голоса, звучащие в ролике, распознают произнесенные слова и переводят их в текст. Затем этот текст озвучивается, а чтобы обеспечить естественное звучание, нейросети учитывают грамматические особенности и пол человека, выбирая соответствующий голос для озвучки.

Алгоритм учитывает особенности казахского языка — например, отличия в длине слов. Нейросети тоже выполняют сжатие пауз между словами или ускоряют темп речи при необходимости, чтобы точно синхронизировать текст и видеоряд.

Как научить Алису казахскому языку?

Компания Яндекс Казахстан сделала первый шаг в развитии своего виртуального ассистента на казахском языке. Теперь любой пользователь на территории Казахстана может пообщаться с Алисой на национальном языке в мобильном Яндекс Браузере или приложении Яндекс. Чтобы виртуальный помощник заговорил на казахском, нужно обновить приложения, нажать на иконку Алисы и воспользоваться кнопкой "Изменить язык".

"Виртуальный ассистент получил способность не только общаться с пользователем печатными сообщениями, но и распознавать речь и генерировать устные ответы. Для того чтобы Алиса научилась говорить и понимать казахский язык, ее обучали на большом количестве качественных данных, которые подготовили носители языка. Для этого использовали тысячи ручных переводов диалогов и сотни часов аудиозаписей", — рассказал Диас Мынжасар, разработчик Алисы.

Алиса поможет найти ответ на интересующий вопрос, подскажет погоду или поддержит простую беседу. В дальнейшем в компании планируют увеличить количество сценариев использования виртуального ассистента.

Яндекс Казахстан понимает значимость наличия казахского контента и его доступность для удобного поиска во многих сферах и областях знаний — в интернете, в образовательной сфере, в фудтехе, финтехе, медтехе и другие областях. Если у вас есть сайт или блог, разработчики рекомендуют дублировать контент на национальном языке. Так вы не только поддержите Казнет, но и в качестве бонуса сможете выгодно выделиться в поисковой выдаче на фоне сайтов без перевода.