Вычислительной фотографией называют любые цифровые способы захвата и обработки изображения. Это компьютерные вычисления, нейросети и машинное обучение. Все, что делается программно, а не с помощью оптики. Этот метод фотосъемки появился в конце прошлого века, но широкое применение нашел в смартфонах. В маленький корпус телефона физически невозможно встроить полноценный объектив с большой матрицей, поэтому пришлось искать альтернативы.
Такой подход к созданию изображений позволяет смартфонам за доли секунды устранять шумы, изменять фокус, настраивать баланс белого, корректировать цветопередачу и регулировать яркость на снимках. Цифровые процессы происходят незаметно для нашего глаза, мы видим готовый результат.
Как работает вычислительная фотография
Обычные фотоаппараты работают по простому принципу. Световые лучи проходят через объектив и попадают на матрицу. Матрица их регистрирует и преобразовывает в электрический сигнал. Количество попавшего через объектив света называется экспозицией. Диафрагма — отверстие перед матрицей, которое можно вручную расширять или уменьшать для управления поступающим светом.
Выдержка — отрезок времени, за которое фотоаппарат делает снимок. Чем он длиннее, тем больше света попадет на матрицу. Изменяя размер диафрагмы и длину выдержки, можно получать совершенно разные варианты итогового изображения.
Маленькие матрицы смартфонов не успевают сразу зарегистрировать нужное количество света. Увеличение выдержки сделает снимок смазанным из-за невозможности держать устройство идеально ровно. Поэтому смартфоны создают серию из нескольких фотографий с разными уровнями экспозиции, во время обработки склеивая их в одну. В итоге получается изображение с широким динамическим диапазоном (HDR).
Еще до этого этапа в дело вступают интеллектуальные алгоритмы. Сразу после запуска приложения камеры смартфон начинает обрабатывать входящее изображение. Система автоматически определяет, какие объекты и где конкретно находятся в кадре, день сейчас или ночь, на чем нужно сфокусироваться.
Какие инструменты применяются в вычислительной фотографии
Наложение фокуса. Смартфон после спуска затвора делает несколько фото с фокусировкой на разных объектах. На итоговом снимке можно самостоятельно выбрать объект, который будет в фокусе.
Настройка баланса белого. Смартфоны научились практически безошибочно отличать в кадре естественный дневной свет от электрического освещения. При создании уличных снимков система уменьшает экспозицию и убирает лишнюю желтизну. Во время съемки в помещении с искусственным светом экспозиция увеличивается, а на кадр накладывается фильтр для коррекции баланса белого.
Настройка цветопередачи. Алгоритмы распознают в кадре небо, траву, людей, животных и другие объекты. Это нужно для того, чтобы «раскрасить» все составляющие фотографии в нужные цвета. Смартфон понимает, что небо должно быть голубым, а трава — зеленой.
Автоматическое шумоподавление. Несколько кадров склеиваются в одно изображение, которое выравнивается для устранения эффекта смазывания. Система автоматически распознает шумы, сортируя «шумные» пиксели по критериям контрастности и насыщенности, и разглаживает их, ориентируясь на соседние части изображения.
Управление глубиной резкости. Алгоритмы определяют главный объект сцены и добавляют эффект размытия фону. Или, наоборот, если пользователь выбрал фокус на заднем плане. Часто для более точного определения фона смартфон использует сенсор глубины. Он замеряет расстояние до объектов в кадре и помогает устройству понять, что нужно оставить в фокусе, а куда наложить размытие.
Цифровой зум с высоким разрешением. Если во время съемки начать приближать изображение, смартфон будет задействовать алгоритмы для улучшения качества фото. Система оптической стабилизации вызовет небольшое дрожание картинки, чтобы собрать больше информации с разных ракурсов. Смартфон наложит дополнительную резкость и подавит шумы для увеличения детализации. Нейросеть дорисует размытые детали, чтобы компенсировать недостаточное количество света на матрице.
Сейчас для приближения фото без потерь качества стали активно применять технологию объединения пикселей. Фотография создается в максимальном разрешении, затем нужная область приближается и вырезается из общего изображения. Из-за большого размера фото кроп не ухудшает детализацию.
Ночной режим. Ночью света не хватает для создания качественного снимка с высокой четкостью. Фотоаппараты для повышения экспозиции увеличивают значение выдержки. Смартфоны действуют похожим образом. В ночном режиме устройство делает фото в течение нескольких секунд, чтобы на матрицу попало больше света. Серия из ярких и темных фотографий объединяется для создания сбалансированного по всем параметрам снимка. Если какой-то объект в кадре движется, для этого фото в серии уменьшается экспозиция, чтобы избежать размытия.
Длительная выдержка. Инструмент помогает создать красивый эффект движения транспорта или человека на неподвижном фоне. Смартфон делает несколько снимков для определения заднего плана, затем алгоритмы распознают движущийся элемент и увеличивают ему экспозицию. На итоговом фото виден световой шлейф, оставшийся за движущимся объектом.
Вычислительная фотография сократила влияние размера матрицы на качество итогового изображения. Развитие технологий позволяет выпускать смартфоны с небольшими объективами, способными посоревноваться в детализации фотографий с профессиональными камерами.