Каков принцип работы портретного режима Google Pixel 2?

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Так работает портретный режим 12-Мп камеры Pixel 2:

Такой результат удалось получить с помощью трех этапов:

  • HDR+
  • Маска сегментации
  • Карта глубины

HDR+

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Теги
Лонгриды для вас
Какие смартфоны и планшеты Samsung будут получать обновления дольше всех

Когда выходит новая версия Android, владельцы смартфонов разделяются на две группы. Одни ждут, когда уже можно будет скачать ее, а вторые с горечью понимают, что их время прошло и обновлений они уже не получат. Выходит, надо покупать новый телефон или надеяться на милость производителя, которому не выгодно поддерживать старые устройства? Обычно, считается, что, если Android-смартфон обновляется в течение пары лет, это уже хорошо. Но на днях Samsung заявила, что теперь ее смартфоны получат три обновления Android. Это серьезная заявка и соответствовать этому будет не так просто. Когда так поступает Google, все понятно, но для других - это действительно круто. Теперь пришло время, и компания рассказала, какие именно смартфоны будут так долго получать обновления. Есть ли среди них ваш?

Читать далее
TikTok на iPhone
Почему для TikTok лучше выбрать iPhone, чем Android

Наверное, все уже знают, что такое TikTok. А те, кто не знает самого термина, поймут, о чём речь, если предложить им коротенькое описание. Понять популярность этого сервиса немудрено. Короткие видео, сдобренные качающими треками, просто не могли не привлечь подростков, а за ними и людей постарше, которые готовы ко всему новому и увлекающему. Особенно здорово, что TikTok доступен и на iOS, и на Android, позволяя пользоваться им с любого смартфона. Правда, если вы всерьёз заинтересовались этим сервисом, лучше всё-таки выбрать iPhone.

Читать далее
Chrome для Android
Google выпустила обновление, которое повышает скорость загрузки Chrome

Chrome может по праву считаться одним из самых приоритетных проектов Google. С самого начала компания задала очень высокую планку, недостижимую для конкурентов, и это дало свои плоды. Сегодня фирменным браузером поискового гиганта пользуются сотни миллионов человек по всему миру, и ещё никому не удалось побить этот рекорд. Сказывается неугасающий интерес самой Google к развитию Chrome, который на постоянной основе получает крупные обновления, расширяющие его функциональность и повышающие быстродействие.

Читать далее
2 комментария Оставить свой
  1. alcion

    Мда, первый в мире… я тихо плАчу в уголочке со своим s7 edge и его функции камеры выборочный фокус…

    • salazar

      Сравнивал камеры s7edge и honor 8 разница есть в пользу s7edge но не существенная

Новый комментарий