Что такое вычислительная фотография?
Это методы захвата и обработки цифровых изображений, в которых основная роль отводится не традиционным оптическим процессам, а цифровым вычислениям и алгоритмам. По мнению Марка Левоя, профессора электротехники и информатики в Стэнфордского университета, «вычислительная фотография улучшает и расширяет возможности цифровой фотографии. Мы получаем обыкновенную фотографию — которую, однако, невозможно сделать с помощью традиционной камеры».
Какие преимущества она дает?
Получить хороший снимок с помощью традиционной фотокамеры непросто. Например, чтобы фотография не получилась слишком темной, следует сделать шире диафрагму — отверстие, сквозь которое свет попадает на матрицу. При этом некоторые объекты в кадре могут потерять резкость. Исправить это можно, увеличив выдержку. Главное, чтобы объект в кадре был неподвижным — в противном случае изображение получится смазанным.
Сегодня в качестве основной камеры все чаще выступает смартфон, и на кропотливую настройку параметров у людей, которые не занимаются фотографией профессионально, нет ни времени, ни желания. Вычислительная фотография берет все самое сложное на себя и позволяет получить более чем достойный снимок, не зная ничего о том, как работает фотоаппарат.
Когда эти методы появились в смартфонах?
Можно сказать, что все началось с социальной сети Instagram, которая добавила возможность редактировать фотографии перед публикацией: настраивать цветовые параметры и диапазон яркости, а также накладывать разнообразные эффекты, в том числе свойственные традиционной фотографии. Впоследствии производители смартфонов позволили исправлять огрехи картинки нажатием одной кнопки, а затем вычисления (связанные с настройкой параметров сцены: экспозиции, значения диафрагмы и так далее), уже куда более сложные, по умолчанию стали частью процесса съемки.
Как снимки со смартфона становятся лучше?
Основной недостаток смартфонов по сравнению с профессиональными камерами — это уменьшенная в размерах и возможностях оптика. Она улавливает меньше света, лишена оптического зума и возможности настраивать диафрагму. Однако в этом же заключается и главное преимущество смартфонов — благодаря отсутствию подвижных механических частей они делают фотографии очень быстро.
На скорость опирается главный метод современной вычислительной фотографии: совмещение изображений. Устройство начинает снимать, как только пользователь открывает приложение камеры. К моменту, когда он наконец нажимает на кнопку, фотография уже готова. За это время смартфон успевает проанализировать снимки и объединить их таким образом, чтобы получить хороший результат.
Например, когда мы используем функцию HDR (high dynamic range), камера делает снимки с разным уровнем яркости и совмещает их, чтобы итоговая фотография получилась не слишком темной и не пересвеченной. Более продвинутая версия этой технологии, HDR+, использует другой подход: делает множество одинаковых изображений, чтобы получить максимум информации о проблемных участках фотографии, сымитировать долгую выдержку (как будто объектив улавливает больше света) и добиться нужной экспозиции.
В этом процессе задействованы нейросети?
Конечно. Нейросети помогают собрать множество снимков в финальный результат. Они обучены на гигантских датасетах из снимков, сделанных на смартфон, и поэтому знают, какая фотография будет считаться хорошей.
Но это не единственное их применение — именно нейросети двигают мобильную фотографию вперед, помогая смартфонам сократить технологический разрыв с профессиональными фотоаппаратами. Алгоритмы имитируют глубину резкости и создают эффект боке (выделение объекта за счет размытия фона) на устройствах, где физически нельзя выставить значение диафрагмы.
Благодаря технологиям искусственного интеллекта камеры смартфонов научились работать в дополненной реальности — в реальном времени добавлять на изображение несуществующие объекты.
Когда речь заходит о качестве фотографий, смартфоны, даже несмотря на успехи нейросетей, едва ли составят конкуренцию фотоаппаратам. Однако спектр их возможностей намного больше, чем у обыкновенной камеры.
Методы вычислительной фотографии связаны только с мобильной фотографией?
Отнюдь. Исследования в этой области ведутся давно, а применение не ограничивается смартфонами. Так, например, методы вычислительной фотографии помогают создавать фотореалистичных CGI-персонажей (персонажей, выполненных с применением компьютерной графики) для развлекательной индустрии. Первый снимок тени черной дыры также удалось получить в том числе благодаря методам вычислительной фотографии, которые помогли объединить данные наблюдений восьми телескопов со всех уголков земного шара.
