Как вычисления и нейросети заменяют навыки фотографа. Рассказываем в 6 карточках

Возможности камеры, установленной в смартфоне, сегодня измеряются не столько характеристиками оптики, сколько качеством программного обеспечения. Этим мы обязаны успехам в области вычислительной фотографии: алгоритмы помогают сделать качественный снимок в сложных условиях, исправляют ошибки, выдающие непрофессионализм, и превращают неудачные фотографии в хорошие.

Homo Science

Что такое вычислительная фотография?

Это методы захвата и обработки цифровых изображений, в которых основная роль отводится не традиционным оптическим процессам, а цифровым вычислениям и алгоритмам. По мнению Марка Левоя, профессора электротехники и информатики в Стэнфордского университета, «вычислительная фотография улучшает и расширяет возможности цифровой фотографии. Мы получаем обыкновенную фотографию — которую, однако, невозможно сделать с помощью традиционной камеры».

Какие преимущества она дает?

Получить хороший снимок с помощью традиционной фотокамеры непросто. Например, чтобы фотография не получилась слишком темной, следует сделать шире диафрагму — отверстие, сквозь которое свет попадает на матрицу. При этом некоторые объекты в кадре могут потерять резкость. Исправить это можно, увеличив выдержку. Главное, чтобы объект в кадре был неподвижным — в противном случае изображение получится смазанным.

Сегодня в качестве основной камеры все чаще выступает смартфон, и на кропотливую настройку параметров у людей, которые не занимаются фотографией профессионально, нет ни времени, ни желания. Вычислительная фотография берет все самое сложное на себя и позволяет получить более чем достойный снимок, не зная ничего о том, как работает фотоаппарат.

Когда эти методы появились в смартфонах?

Можно сказать, что все началось с социальной сети Instagram, которая добавила возможность редактировать фотографии перед публикацией: настраивать цветовые параметры и диапазон яркости, а также накладывать разнообразные эффекты, в том числе свойственные традиционной фотографии. Впоследствии производители смартфонов позволили исправлять огрехи картинки нажатием одной кнопки, а затем вычисления (связанные с настройкой параметров сцены: экспозиции, значения диафрагмы и так далее), уже куда более сложные, по умолчанию стали частью процесса съемки.

Как снимки со смартфона становятся лучше?

Основной недостаток смартфонов по сравнению с профессиональными камерами — это уменьшенная в размерах и возможностях оптика. Она улавливает меньше света, лишена оптического зума и возможности настраивать диафрагму. Однако в этом же заключается и главное преимущество смартфонов — благодаря отсутствию подвижных механических частей они делают фотографии очень быстро. 

На скорость опирается главный метод современной вычислительной фотографии: совмещение изображений. Устройство начинает снимать, как только пользователь открывает приложение камеры. К моменту, когда он наконец нажимает на кнопку, фотография уже готова. За это время смартфон успевает проанализировать снимки и объединить их таким образом, чтобы получить хороший результат. 

Например, когда мы используем функцию HDR (high dynamic range), камера делает снимки с разным уровнем яркости и совмещает их, чтобы итоговая фотография получилась не слишком темной и не пересвеченной. Более продвинутая версия этой технологии, HDR+, использует другой подход: делает множество одинаковых изображений, чтобы получить максимум информации о проблемных участках фотографии, сымитировать долгую выдержку (как будто объектив улавливает больше света) и добиться нужной экспозиции.

В этом процессе задействованы нейросети?

Конечно. Нейросети помогают собрать множество снимков в финальный результат. Они обучены на гигантских датасетах из снимков, сделанных на смартфон, и поэтому знают, какая фотография будет считаться хорошей. 

Но это не единственное их применение — именно нейросети двигают мобильную фотографию вперед, помогая смартфонам сократить технологический разрыв с профессиональными фотоаппаратами. Алгоритмы имитируют глубину резкости и создают эффект боке (выделение объекта за счет размытия фона) на устройствах, где физически нельзя выставить значение диафрагмы. 

Благодаря технологиям искусственного интеллекта камеры смартфонов научились работать в дополненной реальности — в реальном времени добавлять на изображение несуществующие объекты.

Когда речь заходит о качестве фотографий, смартфоны, даже несмотря на успехи нейросетей, едва ли составят конкуренцию фотоаппаратам. Однако спектр их возможностей намного больше, чем у обыкновенной камеры.

Методы вычислительной фотографии связаны только с мобильной фотографией?

Отнюдь. Исследования в этой области ведутся давно, а применение не ограничивается смартфонами. Так, например, методы вычислительной фотографии помогают создавать фотореалистичных CGI-персонажей (персонажей, выполненных с применением компьютерной графики) для развлекательной индустрии. Первый снимок тени черной дыры также удалось получить в том числе благодаря методам вычислительной фотографии, которые помогли объединить данные наблюдений восьми телескопов со всех уголков земного шара.


Комментарии
Авторизуйтесь, чтобы оставить комментарий
Комментарии 0

Стань частью сообщества Homo Science!

Хочешь оставаться в центре событий?
Зарегистрируйся прямо сейчас