Технология Discovery основана на мультимодальной языковой модели, которая прошла обучение с использованием 3 млн материалов на русском языке. Она способна точно определять тематику музыкального произведения или видеофайла, а также интерпретировать сюжет.
Работа нейросети построена по следующему принципу: сначала алгоритмы по отдельности изучают обложку, аудиодорожку и видеоряд, потом объединяют результаты анализа в одно целое и ищут смысловые связи. Такой подход позволяет сопоставлять разные типы контента и находить общее содержание.
Кроме того, новая технология может распознавать известных личностей на видео. По словам разработчиков, для этого используются две модели машинного обучения. Первая анализирует видеоряд, а вторая идентифицирует лица и собирает единый образ человека, чтобы в дальнейшем рекомендовать контент, связанный с ним.
В компании отметили, что после внедрения Discovery точность рекомендаций видеороликов уже выросла на 60 %, а положительные реакции пользователей на персональные подборки увеличились на 7 %.