Авторы проекта подчеркнули, что сегодня на рынке представлено много распознавателей речи, но все они плохо справляются с русским языком. Самые частые ошибки возникают с регистрами и знаками препинания. Чтобы решить эту проблему, ученые доработали уже существующую нейросеть — Whisper от OpenAI.
Научные сотрудники дообучили эту языковую модель на основе общих языковых принципов с использованием разных текстов, после чего ИИ стал лучше понимать общее семантическое пространство между языками и более устойчиво распознавать русскую речь. Особенностью подхода стало использование синтетических источников в процессе обучения. Если в открытом доступе не хватало данных для моделирования различных ситуаций, то эти данные авторы проекта генерировали при помощи других языковых моделей. Таким образом одна нейросеть участвовала в обучении другой.
Основные функции новой ИИ-системы — это грамотное воспроизведение русской речи и ее точный перевод на английский язык. После проведенных тестовых испытаний ученые отметили, что наибольшие трудности у модели возникают при анализе лекций по математике. С другими темами она справляется гораздо лучше. В ближайшее время авторы проекта намерены сократить время обработки голосового запроса до 5 секунд.