Именно дообученная версия этой языковой модели отвечает за быстрые ответы в Поиске Яндекса: они появляются прямо под поисковой строкой и помогают оперативно разобраться в теме. Эта разработка считается самым масштабным генеративным проектом Яндекса. Согласно статистике компании, ежемесячная аудитория быстрых ответов превышает 49 млн человек, что делает сервис ключевой площадкой взаимодействия интернет-пользователей с искусственным интеллектом.
Общий объем Alice AI Search Pretrain составляет 35 млрд параметров. Однако благодаря технологии Mixture of Experts, которая подключает только нужные для конкретной задачи участки ИИ-модели, при обработке одного фрагмента текста активируется около 600 млн параметров. Такой подход сокращает время ответа и экономит вычислительные мощности.
В то же время используется и другая технология — Encoder-Decoder. Она отвечает за емкость и лаконичность текста: одна часть нейросети анализирует и отбирает информацию, а вторая — формулирует итоговый ответ.
Гибридная архитектура, сочетающая выборочную активацию нужных зон и четкое разделение задач, позволяет достичь идеального баланса между скоростью генерации и глубиной анализа данных. Благодаря этому модель способна справляться с колоссальными поисковыми нагрузками в режиме реального времени. Ранее подобная архитектура существовала преимущественно в виде научных работ. Яндекс стал одной из первых компаний в мире, которая успешно внедрила такую схему в масштабный коммерческий продукт под миллионные нагрузки.
При этом Alice AI Search Pretrain остается компактной языковой моделью и не требует значительных вычислительных мощностей. Поскольку нейросеть уже прошла первый этап обучения, ее можно сразу использовать для создания чат-ботов и умных ассистентов, а также адаптировать под специфические задачи любого бизнеса без огромных затрат на серверное оборудование.