Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиПоискОблакоComboВсе проекты

Современные смартфоны снимают лучше фотоаппаратов прошлого. Как это получилось?

Что такое эта ваша вычислительная фотография (ВФ)? В «Википедии» пишут, что это методы захвата и обработки изображения, где упор делается на цифровые вычисления, а не оптические преобразования. Честно говоря, очень размытое определение, которое вообще ничего не объясняет. Разбираемся сами.

Профессор Стенфорда Марк Левой, тот самый, который разработал легендарную Google Camera для смартфонов Pixel, дает более понятное определение термина вычислительная фотография. Он говорит, что это – набор методов компьютерной визуализации, позволяющих получить фотографию, которую технически невозможно сделать на данную камеру традиционным способом.

Причины появления вычислительной фотографии

Во всем виноваты смартфоны. Их крохотные матрицы в паре с небольшими объективами по всем законам физики должны были приносить только боль и страдания. На самом деле так и было года до 2016, пока на свет не появился первый Google Pixel. Именно в пиксельфоне IT-корпорация смогла оживить вычислительную фотографию, использовав все сильные стороны смартфонов: мощные процессоры, продвинутый софт, электронные затворы и мобильность. Тот факт, что смартфон всегда при нас, серьезно повлиял на развитие камер. Куда легче вынуть из кармана мобильник и сделать неплохое фото здесь и сейчас, нежели носить с собой мощную зеркалку, а потом еще ретушировать RAW в Photoshop/Lightroom.

Кстати говоря, вычислительное фото — это не только классные HDR-снимки или селфи с нейро-боке. Помните фото черной дыры 2019 года? Так вот, без современного софта получить снимок черной дыры, расстояние до которой 50 млн световых лет, невозможно. Для этого понадобился бы телескоп размером с Землю, а удалось обойтись объединением данных, полученных с восьми радиотелескопов в разных точках нашей планеты.

Фото: Wikimedia / eso.org / CC BY 4.0

Главные технологии ВФ

Говоря о вычислительном фото, мы подразумеваем софт. Но что такое программное обеспечение, из чего оно состоит и как это работает? Обо всем по порядку.

Стекинг, он же Эпсилон-фотография

Простыми словами — это наложение нескольких изображений друг на друга. В смартфонах с этим вообще нет проблем, так как они обладают действительно скорострельной съемкой за счет электронного затвора и фиксированной диафрагмы. Суть эпсилон-фотографии заключается в изменении одного или нескольких параметров камеры (экспозиции, фокуса, положения и т.п.) на разных снимках с последующим их склеиванием. Полученный итоговый кадр дает то, чего невозможно добиться аппаратным путем, даже имея более совершенные параметры камеры. Именно на стекинг приходится до 90% инноваций в области вычислительного фото.

Для понимания, любой современный камерофон захватывает кадры еще до нажатия спуска затвора. Как только открывается приложение «Камера», оно тут же делает снимки и хранит их в собственной памяти несколько секунд. Таким образом достигается нулевая задержка Zero Shutting Lag (ZSL) и телефону остается лишь достать лучшее фото из буфера, сравнить его с изображением после съемки и выдать блестящий результат (по мнению автоматики). Виды эпсилон-фотографии:

  • Стекинг по экспозиции (HDR) — технология, расширяющая динамический диапазон камеры. Собирает несколько кадров от самого темного до самого светлого и преобразует их в нормальное изображение. Позволяет вытянуть тени и не пересветить яркие участки;

  • Стекинг по времени — обычная имитация длинной выдержки (функция «Ночной режим»). Смартфон делает серию коротких по выдержке фото, склеивает их и получается тайм-лапс. Преимущество над полноценной длинной выдержкой очевидно — отсутствие пересветов и смазанности кадра. Все равно рутинную работу по сбору изображения делает ISP-процессор;

  • HDR+ и расширенный HDR+ — это все тот же стекинг по времени, но более короткий во всех отношениях. Работает так: с десяток RAW-файлов из буфера суммируются с кадрами после нажатия спуска затвора, они накладываются друг на друга с извлечением лучших участков из каждого снимка. В итоге минимизируются шумы, «вытягиваются» тени, улучшается детализация;

  • Стекинг по движению — это обычная панорама или фотосфера. Из серии снимков сделанных в движении собирается фото с большим углом обзора и разрешением;

  • Стекинг по фокусу — метод, позволяющий менять глубину резкости на готовом снимке. Кадры с разной фокусировкой объединяются в один, после чего пользователь сам выбирает объект, который должен быть резким.

Фото: Apple

Вычислительные матрицы

Большинство современных матриц — это улучшенные разработки далеких-далеких времен. Благо постепенно внедряются их вычислительные аналоги, которые уже применяются в Google Pixel — думаете, как гаджеты Google умеют делать портретные фото с одним объективом?

Основное оружие вычислительной матрицы — пленоптика. Пленоптическая матрица отличается от классической тем, что часть ее пикселей покрыта сеткой из линз. В паре с главной линзой в объективе это позволяет делать несколько похожих кадров со сдвигом пикселей, что в итоге дарит нам:

  • Честный рефокус — аналог стекинга по фокусу, но более продвинутый с возможностью перемещения резкости кадра буквально по пикселям.
  • Портретный режим и 3D с одной камерой — то, чем славятся все аппараты Google Pixel. Если конкуренты для портретов используют две камеры или камеру + ToF-сенсор, то Google делает ставку на пленоптику. За счет склеиваиня стереоизображений со смещенными пикселями получается качественная карта глубины фото.
  • Удаление деталей. Вот вы видите свой нос? Нет, пока об этом не задумались. Наш мозг сшивает две картинки и «удаляет» нос, а пленоптика позволяет аналогичным образом выделить объект и переместить его на другое фото.
  • Оптическая стабилизация, не требующая подвижной оптики. Аналог электронного стаба (EIS) с потерей разрешения (картинка обрезается), но сама стабилизация получается качественнее.
Фото: hal-polytechnique.archives-ouvertes.fr

Многокамерность и ToF/Lidar датчики

Наличие нескольких камер в смартфоне — это не только возможность съемки с разным углом обзора, глубиной кадра или оптическим зумом. Вы, наверное, слышали о гибридном зуме, а суть его в скрещивании кадров с телекамеры и основного фотомодуля, обладающего 48/64 или 108 МП. Также соединение снимков с разных камер позволяет обойти некоторые ограничения оптики в смартфонах, выдавая на итоговом изображении лучшую детализацию/резкость и шумоподавление.

Лидар — это лазерный датчик, определяющий расстояние до объекта и используемый для создания карты глубины изображения. ToF-датчик — это его младший брат, анализирующий время, за которое свет достигает объекта для составления все той же карты глубины. Оба обладают точностью около 1 см и позволяют делать фото с реалистичным боке и минимумом ошибок. 

Фото: vas3k.com
Фото: macstories.net

Еще пару слов о технологиях ВФ

Вычислительное освещение, кодированный затвор, фазовое кодирование, использование не круглых диафрагм, световые поля и многое другое — тема вычислительной фотографии крайне обширна. Углубляться в детали нет особого смысла, поскольку не все из ВФ применяется в смартфонах, равно как и многое достаточно тяжело объяснить простыми словами — не судите строго.

Будущее вычислительного фото

Нейросети и искусственный интеллект — это то, на что будут делать упор производители смартфонов в ближайшем будущем. AI уже активно используется для улучшения обработки фото, определения сцен, удаления артефактов и так далее. Однако в будущем камерофоны будут в прямом смысле дорисовывать фотографии.

Банальным примером является небольшой скандал с Huawei и их режимом Moon Mode. В компании хвалились тем, что на суперзуме их Huawei P30 Pro может снять Луну не хуже зеркалки с телеобъективом. На деле оказалось, что девайс попросту определял сцену съемки Луны и подгружал из интернета похожее изображение. Немного магии и вуаля — держите потрясающее фото.

Это и есть будущее — телефоны станут попросту дорисовывать изображение, делая снимок максимально привлекательным. Добавляем сюда еще и дополненную реальность (AR) и пользователи потеряют вообще какой-либо интерес к классическим фотографиям (маски в Instagram тому подтверждение).  Если вы полагаете, что это все несерьезно, что это не «взлетит», то вспомните смартфоны 5-летней давности и сравните их с нынешними фотомонстрами.

Фото: vas3k.com

Это тоже интересно:

Во время загрузки произошла ошибка.
Поделись с друзьями — нажми на одну из кнопок ниже!
Смартфон iPhone 12 Pro 128GB
2 отзыва
Процессор: Apple A14 Bionic • Встроенная память: 128 ГБ
Хиты продаж и новинки
Самые лучшие цены на смартфоны
Комментарии
14
Невозмутимый
Я далек от фотографии...в свое время отговорили...как от горных лыж...дорого...так и жизнь прошла...
Все намного проще, это как с винилом, мода навязывает новые разработки что б разработчики улучшали свои возможности, но все циклично.
Вспените фото и видео старых гаджетов...а сегодня кино снимают на зеркалки и смартфоны.
Тут все в психологии, кому что нравится, как часы, ручки, аудио и прочее что массово производят.
Но конечно вкусы меняются, мне например нравятся картины, чистый звук, дорогие перьевые ручки, фото я делаю на смартфон, с камерой не набегаешься, здесь надо специально именно с камерой заниматься фото-охотой и помнить что затвор делает один выстрел и хоть их десятки тысяч. они не бесконечны...поэтому снимать все подряд глупо...надо на этом зарабатывать и делать это качественно.
Так что отнесемся к современным технологиям "с пониманием" всегда найдется тот кто сделает дешевле...
СсылкаПожаловаться
Николаев Михаил
Автор прав. Синица в руках лучше, чем утка под кроватью.
СсылкаПожаловаться
Андрей Порохин
В ответ на комментарий от Dima
Dima
Да ерунда все это. Фото смартфонов годятся только чтобы смотреть их на экране, при большем размере там все разваливается. Мелкая растительность, текстуры - все превращается в мыльный пластелин. Нельзя восстановить того, что не зарегистрировала оптика
СсылкаПожаловаться
Да ладно, пусть пиарят ВФ, для хомяков-инфантилов самое оно. Думать не надо вообще, нажал кнопочку и можно переться в кругу себе подобных. А мы продолжим фотографировать старым добрым зеркалом.
СсылкаПожаловаться
Артем Демидович
обычная подмена понятий. Ведь снимают смартфоны хуже - и физику тут не обманешь. Но вот обработка вышла на новый уровень, по сути обработка подменяет фотографию. Конечно смартфоны снимают лучше- поэтому от блоггеров до профи снимают на проф технику)
СсылкаПожаловаться
S
Какое наглое и беспардонное враньё! Смартфоны снимают как огрызки, до хороших камер даже 2007-2014 года, им как до Луны пешком. Ведь для тех, кто умеет думать, есть же сайты, где все выложено в полном разрешении - и всегда можно попробовать самому. И даже отбросив матрицу, шум и замыленность, есть понятие объема, рисунка света и тени, натурального боке, ламповой картинки, красивого скинтона, текстуры лиц и тканей, что смартфонам, увы, - неподвластно. Технологии матриц близки, только в камере стоит огромная матрица, и оптика собирает много света, в смартфоне - крохотная матрица. А уж про аналоговую технику среднего формата я просто молчу. Как играет джаз на виниле и усилителе Denon с хорошими деревянными колонками Hi-end и как на смартфоне с пластиковой колонкой... надеюсь понятно. То же и с фото.
СсылкаПожаловаться
1223
В ответ на комментарий от Dima
Dima
Да ерунда все это. Фото смартфонов годятся только чтобы смотреть их на экране, при большем размере там все разваливается. Мелкая растительность, текстуры - все превращается в мыльный пластелин. Нельзя восстановить того, что не зарегистрировала оптика
СсылкаПожаловаться
а то смотрю по сторонам, а все такие разглядывают фото даже с крутых фотоаппаратов на баннерах 10х15 метров) В среднем предел 27 дюймов QuadHD и там 12-16 Мп фотография, созданная с помощью технологии Quad Bayer из 48-64 МП не разваливается.
СсылкаПожаловаться
300 китайцев
телефон за 30-40 тыщ обязан снимать лучше компакта за 20 тыщ! Но до зеркалок никакой телефон не дотянет!
СсылкаПожаловаться
1223
В ответ на комментарий от Игорь Кудрявцев
Игорь Кудрявцев
А что мешает применить все это в настоящих камерах? И они еще будут с полнокадровыми матрицами и серьезными объективами...
СсылкаПожаловаться
на самом деле ничего не мешает. Наверное пока не выгодно, ибо чем удивлять покупателей профессиональой техники в будущем? Глупо сразу "выкладывать все карты"
СсылкаПожаловаться
Игорь Кудрявцев
А что мешает применить все это в настоящих камерах? И они еще будут с полнокадровыми матрицами и серьезными объективами...
СсылкаПожаловаться
Александр
Фотоаппарат фотоаппарату рознь, да и фокусное расстояние физическое и программное и другие параметры это разное. Кодакам 90-х конечно не тягаться с современными смартфонами хорошими, но какой ни будь 40 летний хассель 500 серии просто раздавит своим качеством любой смартфон, да и даже современные зеркалки и беззеркалки может в определенных условиях уделать. Но в целом тут уже мастерство фотографа играет роль.
Ну и еще как оценивать фото, если смотреть на экране это одно, а если распечатанные там на крупный формат это тоже другое.
СсылкаПожаловаться
АРТУР ВАРТАНЯН
Может и смартфоны обогнали по качеству обычные мыльницы но полу профисиональные фотоаппараты как до Китая раком
СсылкаПожаловаться
Алексей С
В ответ на комментарий от Dima
Dima
Да ерунда все это. Фото смартфонов годятся только чтобы смотреть их на экране, при большем размере там все разваливается. Мелкая растительность, текстуры - все превращается в мыльный пластелин. Нельзя восстановить того, что не зарегистрировала оптика
СсылкаПожаловаться
Ни один смартфон не снимет за 10с далекую галактику лучше, чем телескоп Хаббл за неделю.
СсылкаПожаловаться
Dima
Да ерунда все это. Фото смартфонов годятся только чтобы смотреть их на экране, при большем размере там все разваливается. Мелкая растительность, текстуры - все превращается в мыльный пластелин. Нельзя восстановить того, что не зарегистрировала оптика
СсылкаПожаловаться
vitya kuftik
никогда ни один супер-пупер смартфон не снимет лучше Linhof Präzisionskamera 18x24см
СсылкаПожаловаться
Чтобы оставить комментарий, вам нужно авторизоваться.
Вы не ввели текст комментария
Вы не ввели текст комментария
Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.
Подпишитесь на нас