Что такое апскейлинг
Любой апскейлинг — это увеличение разрешения картинки. Например, изображение расширяют с формата HD до Full HD или с Full HD до 4K.
Просто «растянуть» кадр механически нельзя: он состоит из отдельных пикселей-точек, и в этом случае каждая из них увеличится. Качество изображения сильно упадет, оно будет напоминать конструктор из отдельных кубиков. Это особенно бросается в глаза, если разница между форматами большая: например, между HD и наиболее современным 8K. Поэтому специальные программы дорисовывают необходимые фрагменты картинки, чтобы все переходы были более плавными. Обычно такие программы стоят на устройстве, которое воспроизводит файл.
Раньше алгоритмы были простыми: они достраивали изображение, последовательно сравнивая несколько соседних пикселей. Позже программы научились «держать в памяти» больше информации: если нужно улучшить видео, они не только анализируют отдельный кадр, но и сопоставляют несколько последовательных фрагментов, чтобы построить более корректное изображение.
Технологии апскейлинга используют для реставрации старых фильмов и фотографий, трансляции материалов на больших экранах, адаптации игр под различные устройства.
Как работает умный апскейлинг
Разработчики все чаще используют нейросети для масштабирования разрешения. Известная технология в этой области — Deep Learning Super Sampling (DLSS). Искусственному интеллекту показывают кадры из видео или игры в низком разрешении, и он самостоятельно пытается его повысить. Затем тренеры программы загружают тот же контент в большом разрешении. Нейросеть сверяется с образцом и корректирует свою работу, чтобы результат приблизился к идеальному.
Первые версии ИИ лишь немного улучшали качество картинки. Сейчас ПО не только хорошо корректирует исходное изображение, но и дополняет его — так кадр получается более детализированным, а движения плавными.
Зачем апскейлинг нужен в играх
Технологию применяют в нескольких случаях.
- Иногда в игре столько визуальных эффектов, что их невозможно реализовать на обычной видеокарте. Понимая, что дорогие и продвинутые компьютеры есть не у всех, разработчики заранее закладывают в игру возможность апскейлинга. Тогда на каждом конкретном устройстве геймеров вместо настоящего высокого разрешения создается его правдоподобная иллюзия.
- Бывает, что игра значительно опережает возможности «железа», и даже наиболее современные карты работают с ней на пределе. Апскейлинг немного снимает нагрузку с процессоров и повышает производительность устройства.
- Нередки ситуации, когда контент с приставки нужно растянуть на телевизоре в 4K и выше. Последние поколения консолей научились выдавать материалы с достаточно высоким разрешением, но «железо» более старых версий этого делать не позволяло. Апскейлинг улучшает качество настолько, что видео можно транслировать на большой экран.
- Периодически возникает потребность в ремастеринге старой, но популярной игры. Нейросети позволяют достаточно дешево и быстро улучшить графику: достроить недостающие детали изображения, повысить четкость, избавиться от пикселей.
Можно ли отличить реальный большой формат от апскейлинга
Время от времени компании из индустрии развлечений проводят эксперименты. Они берут видео крупного формата, вроде 4K, уменьшают его разрешение и пропускают через специальные алгоритмы апскейлинга. Тестовой группе зрителей демонстрируют две версии файла: оригинальную и обработанную. Опыт показывает, что различия способны уловить только те люди, которые профессионально занимаются монтажом видео или моушен-дизайном. Остальным зрителям кажется, что оба варианта имеют хорошее качество.