Каков принцип работы портретного режима Google Pixel 2?

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Так работает портретный режим 12-Мп камеры Pixel 2:

Такой результат удалось получить с помощью трех этапов:

  • HDR+
  • Маска сегментации
  • Карта глубины

HDR+

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Теги
Лонгриды для вас
Почему YouTube отказался от дизлайков и правильно сделал

Пользователи по-разному относятся к лайкам. Одни считают своим долгом оценить автора и качество его контента, другие напрочь их игнорируют и обращают внимание только на количество просмотров. А дизлайки почти не ставит никто. Скорее всего так происходит потому, что дизлайк выражает гнев и негодование. Негативные эмоции априори сильнее и любому кто смотрит ролик кажется гораздо привлекательнее написать соответствующий комментарий с тысячей слов унизительного характера. Не так давно YouTube заявил, что скоро отменит дизлайки под видео, чем вызвал у многих настоящий хейт. Сегодня обсудим почему YouTube поступил абсолютно верно и поговорим о деталях.

Читать далее
ProRAW
Смартфоны Samsung будут снимать так же круто, как новые iPhone

Несмотря на то что смартфоны Galaxy никогда не возглавляли рейтинг DxOMark, снимают они действительно на очень достойном уровне, вне зависимости от режима. Хоть портреты, хоть макро, хоть ночные фото, хоть снимки с приближением флагманским аппаратам Samsung даются очень хорошо. Иначе и быть не могло, учитывая, какими фото-модулями они оснащаются. Но корейцам показалось, что этого недостаточно, чтобы называться производителем камерофонов. Поэтому они решили скопировать одну из ключевых фишек новых iPhone и адаптировать её для себя.

Читать далее
Pixel
Samsung может помочь Google сделать складной Pixel

Несколько раз в нашем Telegram-чате мы спрашивали, что вы считаете самой современной технологией в мире смартфонов. Предсказуемо большинство из вас ответили, что ей являются складные экраны. Это действительно так. Пусть они пока и стоят дорого, а складка портит все впечатление, зато теперь их можно купить почти в любом магазине электроники, а когда-то можно было только представить в качестве гаджета из будущего в фантастическом фильме. Так получилось, что лидером отрасли стала компания Samsung, которая долго и мучительно разрабатывала эту технологию. И вот теперь она может стать поставщиком для Google, занимающейся созданием своего складного телефона.

Читать далее
2 комментария
  1. alcion

    Мда, первый в мире… я тихо плАчу в уголочке со своим s7 edge и его функции камеры выборочный фокус…

    • salazar

      Сравнивал камеры s7edge и honor 8 разница есть в пользу s7edge но не существенная

Новый комментарий