Профессор Стенфорда Марк Левой, тот самый, который разработал легендарную Google Camera для смартфонов Pixel, дает более понятное определение термина вычислительная фотография. Он говорит, что это – набор методов компьютерной визуализации, позволяющих получить фотографию, которую технически невозможно сделать на данную камеру традиционным способом.
Причины появления вычислительной фотографии
Во всем виноваты смартфоны. Их крохотные матрицы в паре с небольшими объективами по всем законам физики должны были приносить только боль и страдания. На самом деле так и было года до 2016, пока на свет не появился первый Google Pixel. Именно в пиксельфоне IT-корпорация смогла оживить вычислительную фотографию, использовав все сильные стороны смартфонов: мощные процессоры, продвинутый софт, электронные затворы и мобильность. Тот факт, что смартфон всегда при нас, серьезно повлиял на развитие камер. Куда легче вынуть из кармана мобильник и сделать неплохое фото здесь и сейчас, нежели носить с собой мощную зеркалку, а потом еще ретушировать RAW в Photoshop/Lightroom.
Кстати говоря, вычислительное фото — это не только классные HDR-снимки или селфи с нейро-боке. Помните фото черной дыры 2019 года? Так вот, без современного софта получить снимок черной дыры, расстояние до которой 50 млн световых лет, невозможно. Для этого понадобился бы телескоп размером с Землю, а удалось обойтись объединением данных, полученных с восьми радиотелескопов в разных точках нашей планеты.
Главные технологии ВФ
Говоря о вычислительном фото, мы подразумеваем софт. Но что такое программное обеспечение, из чего оно состоит и как это работает? Обо всем по порядку.
Стекинг, он же Эпсилон-фотография
Простыми словами — это наложение нескольких изображений друг на друга. В смартфонах с этим вообще нет проблем, так как они обладают действительно скорострельной съемкой за счет электронного затвора и фиксированной диафрагмы. Суть эпсилон-фотографии заключается в изменении одного или нескольких параметров камеры (экспозиции, фокуса, положения и т.п.) на разных снимках с последующим их склеиванием. Полученный итоговый кадр дает то, чего невозможно добиться аппаратным путем, даже имея более совершенные параметры камеры. Именно на стекинг приходится до 90% инноваций в области вычислительного фото.
Для понимания, любой современный камерофон захватывает кадры еще до нажатия спуска затвора. Как только открывается приложение «Камера», оно тут же делает снимки и хранит их в собственной памяти несколько секунд. Таким образом достигается нулевая задержка Zero Shutting Lag (ZSL) и телефону остается лишь достать лучшее фото из буфера, сравнить его с изображением после съемки и выдать блестящий результат (по мнению автоматики). Виды эпсилон-фотографии:
-
Стекинг по экспозиции (HDR) — технология, расширяющая динамический диапазон камеры. Собирает несколько кадров от самого темного до самого светлого и преобразует их в нормальное изображение. Позволяет вытянуть тени и не пересветить яркие участки;
-
Стекинг по времени — обычная имитация длинной выдержки (функция «Ночной режим»). Смартфон делает серию коротких по выдержке фото, склеивает их и получается тайм-лапс. Преимущество над полноценной длинной выдержкой очевидно — отсутствие пересветов и смазанности кадра. Все равно рутинную работу по сбору изображения делает ISP-процессор;
-
HDR+ и расширенный HDR+ — это все тот же стекинг по времени, но более короткий во всех отношениях. Работает так: с десяток RAW-файлов из буфера суммируются с кадрами после нажатия спуска затвора, они накладываются друг на друга с извлечением лучших участков из каждого снимка. В итоге минимизируются шумы, «вытягиваются» тени, улучшается детализация;
-
Стекинг по движению — это обычная панорама или фотосфера. Из серии снимков сделанных в движении собирается фото с большим углом обзора и разрешением;
-
Стекинг по фокусу — метод, позволяющий менять глубину резкости на готовом снимке. Кадры с разной фокусировкой объединяются в один, после чего пользователь сам выбирает объект, который должен быть резким.
Вычислительные матрицы
Большинство современных матриц — это улучшенные разработки далеких-далеких времен. Благо постепенно внедряются их вычислительные аналоги, которые уже применяются в Google Pixel — думаете, как гаджеты Google умеют делать портретные фото с одним объективом?
Основное оружие вычислительной матрицы — пленоптика. Пленоптическая матрица отличается от классической тем, что часть ее пикселей покрыта сеткой из линз. В паре с главной линзой в объективе это позволяет делать несколько похожих кадров со сдвигом пикселей, что в итоге дарит нам:
- Честный рефокус — аналог стекинга по фокусу, но более продвинутый с возможностью перемещения резкости кадра буквально по пикселям.
- Портретный режим и 3D с одной камерой — то, чем славятся все аппараты Google Pixel. Если конкуренты для портретов используют две камеры или камеру + ToF-сенсор, то Google делает ставку на пленоптику. За счет склеиваиня стереоизображений со смещенными пикселями получается качественная карта глубины фото.
- Удаление деталей. Вот вы видите свой нос? Нет, пока об этом не задумались. Наш мозг сшивает две картинки и «удаляет» нос, а пленоптика позволяет аналогичным образом выделить объект и переместить его на другое фото.
- Оптическая стабилизация, не требующая подвижной оптики. Аналог электронного стаба (EIS) с потерей разрешения (картинка обрезается), но сама стабилизация получается качественнее.
Многокамерность и ToF/Lidar датчики
Наличие нескольких камер в смартфоне — это не только возможность съемки с разным углом обзора, глубиной кадра или оптическим зумом. Вы, наверное, слышали о гибридном зуме, а суть его в скрещивании кадров с телекамеры и основного фотомодуля, обладающего 48/64 или 108 МП. Также соединение снимков с разных камер позволяет обойти некоторые ограничения оптики в смартфонах, выдавая на итоговом изображении лучшую детализацию/резкость и шумоподавление.
Лидар — это лазерный датчик, определяющий расстояние до объекта и используемый для создания карты глубины изображения. ToF-датчик — это его младший брат, анализирующий время, за которое свет достигает объекта для составления все той же карты глубины. Оба обладают точностью около 1 см и позволяют делать фото с реалистичным боке и минимумом ошибок.
Еще пару слов о технологиях ВФ
Вычислительное освещение, кодированный затвор, фазовое кодирование, использование не круглых диафрагм, световые поля и многое другое — тема вычислительной фотографии крайне обширна. Углубляться в детали нет особого смысла, поскольку не все из ВФ применяется в смартфонах, равно как и многое достаточно тяжело объяснить простыми словами — не судите строго.
Будущее вычислительного фото
Нейросети и искусственный интеллект — это то, на что будут делать упор производители смартфонов в ближайшем будущем. AI уже активно используется для улучшения обработки фото, определения сцен, удаления артефактов и так далее. Однако в будущем камерофоны будут в прямом смысле дорисовывать фотографии.
Банальным примером является небольшой скандал с Huawei и их режимом Moon Mode. В компании хвалились тем, что на суперзуме их Huawei P30 Pro может снять Луну не хуже зеркалки с телеобъективом. На деле оказалось, что девайс попросту определял сцену съемки Луны и подгружал из интернета похожее изображение. Немного магии и вуаля — держите потрясающее фото.
Это и есть будущее — телефоны станут попросту дорисовывать изображение, делая снимок максимально привлекательным. Добавляем сюда еще и дополненную реальность (AR) и пользователи потеряют вообще какой-либо интерес к классическим фотографиям (маски в Instagram тому подтверждение). Если вы полагаете, что это все несерьезно, что это не «взлетит», то вспомните смартфоны 5-летней давности и сравните их с нынешними фотомонстрами.
Это тоже интересно:
