Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиПоискОблакоComboВсе проекты

Современные смартфоны снимают лучше фотоаппаратов прошлого. Как это получилось?

Что такое эта ваша вычислительная фотография (ВФ)? В «Википедии» пишут, что это методы захвата и обработки изображения, где упор делается на цифровые вычисления, а не оптические преобразования. Честно говоря, очень размытое определение, которое вообще ничего не объясняет. Разбираемся сами.

Профессор Стенфорда Марк Левой, тот самый, который разработал легендарную Google Camera для смартфонов Pixel, дает более понятное определение термина вычислительная фотография. Он говорит, что это – набор методов компьютерной визуализации, позволяющих получить фотографию, которую технически невозможно сделать на данную камеру традиционным способом.

Причины появления вычислительной фотографии

Во всем виноваты смартфоны. Их крохотные матрицы в паре с небольшими объективами по всем законам физики должны были приносить только боль и страдания. На самом деле так и было года до 2016, пока на свет не появился первый Google Pixel. Именно в пиксельфоне IT-корпорация смогла оживить вычислительную фотографию, использовав все сильные стороны смартфонов: мощные процессоры, продвинутый софт, электронные затворы и мобильность. Тот факт, что смартфон всегда при нас, серьезно повлиял на развитие камер. Куда легче вынуть из кармана мобильник и сделать неплохое фото здесь и сейчас, нежели носить с собой мощную зеркалку, а потом еще ретушировать RAW в Photoshop/Lightroom.

Кстати говоря, вычислительное фото — это не только классные HDR-снимки или селфи с нейро-боке. Помните фото черной дыры 2019 года? Так вот, без современного софта получить снимок черной дыры, расстояние до которой 50 млн световых лет, невозможно. Для этого понадобился бы телескоп размером с Землю, а удалось обойтись объединением данных, полученных с восьми радиотелескопов в разных точках нашей планеты.

Фото: Wikimedia / eso.org / CC BY 4.0

Главные технологии ВФ

Говоря о вычислительном фото, мы подразумеваем софт. Но что такое программное обеспечение, из чего оно состоит и как это работает? Обо всем по порядку.

Стекинг, он же Эпсилон-фотография

Простыми словами — это наложение нескольких изображений друг на друга. В смартфонах с этим вообще нет проблем, так как они обладают действительно скорострельной съемкой за счет электронного затвора и фиксированной диафрагмы. Суть эпсилон-фотографии заключается в изменении одного или нескольких параметров камеры (экспозиции, фокуса, положения и т.п.) на разных снимках с последующим их склеиванием. Полученный итоговый кадр дает то, чего невозможно добиться аппаратным путем, даже имея более совершенные параметры камеры. Именно на стекинг приходится до 90% инноваций в области вычислительного фото.

Для понимания, любой современный камерофон захватывает кадры еще до нажатия спуска затвора. Как только открывается приложение «Камера», оно тут же делает снимки и хранит их в собственной памяти несколько секунд. Таким образом достигается нулевая задержка Zero Shutting Lag (ZSL) и телефону остается лишь достать лучшее фото из буфера, сравнить его с изображением после съемки и выдать блестящий результат (по мнению автоматики). Виды эпсилон-фотографии:

  • Стекинг по экспозиции (HDR) — технология, расширяющая динамический диапазон камеры. Собирает несколько кадров от самого темного до самого светлого и преобразует их в нормальное изображение. Позволяет вытянуть тени и не пересветить яркие участки;

  • Стекинг по времени — обычная имитация длинной выдержки (функция «Ночной режим»). Смартфон делает серию коротких по выдержке фото, склеивает их и получается тайм-лапс. Преимущество над полноценной длинной выдержкой очевидно — отсутствие пересветов и смазанности кадра. Все равно рутинную работу по сбору изображения делает ISP-процессор;

  • HDR+ и расширенный HDR+ — это все тот же стекинг по времени, но более короткий во всех отношениях. Работает так: с десяток RAW-файлов из буфера суммируются с кадрами после нажатия спуска затвора, они накладываются друг на друга с извлечением лучших участков из каждого снимка. В итоге минимизируются шумы, «вытягиваются» тени, улучшается детализация;

  • Стекинг по движению — это обычная панорама или фотосфера. Из серии снимков сделанных в движении собирается фото с большим углом обзора и разрешением;

  • Стекинг по фокусу — метод, позволяющий менять глубину резкости на готовом снимке. Кадры с разной фокусировкой объединяются в один, после чего пользователь сам выбирает объект, который должен быть резким.

Фото: Apple

Вычислительные матрицы

Большинство современных матриц — это улучшенные разработки далеких-далеких времен. Благо постепенно внедряются их вычислительные аналоги, которые уже применяются в Google Pixel — думаете, как гаджеты Google умеют делать портретные фото с одним объективом?

Основное оружие вычислительной матрицы — пленоптика. Пленоптическая матрица отличается от классической тем, что часть ее пикселей покрыта сеткой из линз. В паре с главной линзой в объективе это позволяет делать несколько похожих кадров со сдвигом пикселей, что в итоге дарит нам:

  • Честный рефокус — аналог стекинга по фокусу, но более продвинутый с возможностью перемещения резкости кадра буквально по пикселям.
  • Портретный режим и 3D с одной камерой — то, чем славятся все аппараты Google Pixel. Если конкуренты для портретов используют две камеры или камеру + ToF-сенсор, то Google делает ставку на пленоптику. За счет склеиваиня стереоизображений со смещенными пикселями получается качественная карта глубины фото.
  • Удаление деталей. Вот вы видите свой нос? Нет, пока об этом не задумались. Наш мозг сшивает две картинки и «удаляет» нос, а пленоптика позволяет аналогичным образом выделить объект и переместить его на другое фото.
  • Оптическая стабилизация, не требующая подвижной оптики. Аналог электронного стаба (EIS) с потерей разрешения (картинка обрезается), но сама стабилизация получается качественнее.
Фото: hal-polytechnique.archives-ouvertes.fr

Многокамерность и ToF/Lidar датчики

Наличие нескольких камер в смартфоне — это не только возможность съемки с разным углом обзора, глубиной кадра или оптическим зумом. Вы, наверное, слышали о гибридном зуме, а суть его в скрещивании кадров с телекамеры и основного фотомодуля, обладающего 48/64 или 108 МП. Также соединение снимков с разных камер позволяет обойти некоторые ограничения оптики в смартфонах, выдавая на итоговом изображении лучшую детализацию/резкость и шумоподавление.

Лидар — это лазерный датчик, определяющий расстояние до объекта и используемый для создания карты глубины изображения. ToF-датчик — это его младший брат, анализирующий время, за которое свет достигает объекта для составления все той же карты глубины. Оба обладают точностью около 1 см и позволяют делать фото с реалистичным боке и минимумом ошибок. 

Фото: vas3k.com
Фото: macstories.net

Еще пару слов о технологиях ВФ

Вычислительное освещение, кодированный затвор, фазовое кодирование, использование не круглых диафрагм, световые поля и многое другое — тема вычислительной фотографии крайне обширна. Углубляться в детали нет особого смысла, поскольку не все из ВФ применяется в смартфонах, равно как и многое достаточно тяжело объяснить простыми словами — не судите строго.

Будущее вычислительного фото

Нейросети и искусственный интеллект — это то, на что будут делать упор производители смартфонов в ближайшем будущем. AI уже активно используется для улучшения обработки фото, определения сцен, удаления артефактов и так далее. Однако в будущем камерофоны будут в прямом смысле дорисовывать фотографии.

Банальным примером является небольшой скандал с Huawei и их режимом Moon Mode. В компании хвалились тем, что на суперзуме их Huawei P30 Pro может снять Луну не хуже зеркалки с телеобъективом. На деле оказалось, что девайс попросту определял сцену съемки Луны и подгружал из интернета похожее изображение. Немного магии и вуаля — держите потрясающее фото.

Это и есть будущее — телефоны станут попросту дорисовывать изображение, делая снимок максимально привлекательным. Добавляем сюда еще и дополненную реальность (AR) и пользователи потеряют вообще какой-либо интерес к классическим фотографиям (маски в Instagram тому подтверждение).  Если вы полагаете, что это все несерьезно, что это не «взлетит», то вспомните смартфоны 5-летней давности и сравните их с нынешними фотомонстрами.

Фото: vas3k.com

Это тоже интересно:

Во время загрузки произошла ошибка.
Хиты продаж и новинки
Самые лучшие цены на смартфоны
Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.
Подпишитесь на нас