Каков принцип работы портретного режима Google Pixel 2?

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Так работает портретный режим 12-Мп камеры Pixel 2:

Такой результат удалось получить с помощью трех этапов:

  • HDR+
  • Маска сегментации
  • Карта глубины

HDR+

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Теги
Лонгриды для вас
Чем разблокировка на Android лучше, чем Face ID на Айфоне

В последнее время мы уже привыкли считать, что Face ID на iPhone - самая лучшая и безопасная система защиты смартфона. В принципе, так оно и есть - за долгие годы производители Android-устройств так и не научились делать хоть сколько-нибудь похожую технологию распознавания лиц. Однако здесь не все так однозначно. Если напрямую выбирать между Face ID на Айфоне и отпечатком пальцев вкупе со сканированием лица на Android, лично я выбрал бы второе. Человеку, который никогда не пользовался техникой Apple это может показаться детским лепетом, но, на самом деле, причины более чем существенные.

Читать далее
Тут все, что известно об Android 13 на сегодняшний день

Google усердно работает над Android 13, и мы уже можем ознакомиться с некоторыми новыми функциями, предлагаемыми этой операционной системой, благодаря бета-версиям. Google запустила первую бету еще в феврале, но она была предназначена исключительно для разработчиков — публичная бета-версия дебютировала в апреле, а сразу после Google I/O компания выпустила вторую бета-версию. Их будет еще как минимум две, и каждая из них привнесет новые функции и/или повышение стабильности. В этой статье собрано все, что мы уже знаем о новой операционной системе.

Читать далее
Крутая фишка камер смартфонов, о которой мы забыли

Сейчас уже всем стало понятно, что будущее камеры в смартфонах стоит не за внедрением супер крутых линз и кучи разных сенсоров, а за алгоритмами постобработки. Во-первых, так дешевле, ибо не надо тратить много денег на оптику, а во-вторых, производительности даже бюджетных телефонов вполне хватит, чтобы по итогу выдать годную картинку. Google эту фишку уже давно просекла и создала отдельное приложение Google Camera. Кадры снятые через эту программу по своему качеству на порядок опережают снимки, сделанные с помощью стандартного софта от производителя. Однако даже Google Камера имеет свои недостатки. Сегодня хотелось бы поговорить об одной фишке камеры, которая просто обязана перекочевать во все современные устройства.

Читать далее
2 комментария
  1. alcion

    Мда, первый в мире… я тихо плАчу в уголочке со своим s7 edge и его функции камеры выборочный фокус…

    • salazar

      Сравнивал камеры s7edge и honor 8 разница есть в пользу s7edge но не существенная

Новый комментарий