Каков принцип работы портретного режима Google Pixel 2?

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Каков принцип работы портретного режима Google Pixel 2? Фото.

Так работает портретный режим 12-Мп камеры Pixel 2:

Каков принцип работы портретного режима Google Pixel 2? Фото.

Такой результат удалось получить с помощью трех этапов:

  • HDR+
  • Маска сегментации
  • Карта глубины

HDR+

Каков принцип работы портретного режима Google Pixel 2? HDR+. Фото.

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Каков принцип работы портретного режима Google Pixel 2? Искусственный интеллект. Фото.

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Каков принцип работы портретного режима Google Pixel 2? Карта глубины. Фото.

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Каков принцип работы портретного режима Google Pixel 2? Карта глубины. Фото.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Теги
Лонгриды для вас
Google официально выпустила Android 16. Обновление уже можно поставить на телефон

Вечером 10 июня компания Google выпустила Android 16 — новую операционную систему, которая вышла из стадии бета-тестирования и теперь доступна всем желающим. В отличие от предыдущих версий, 16-е поколение, как и ожидалось, вышло раньше (ранее апдейт появлялся осенью). Уже сейчас можно установить Android 16 и попробовать все нововведения операционной системы.

Читать далее
Чем отличается камера в дорогом и дешевом смартфоне

Одно из основных отличий дорогого смартфона от дешевого — камера. Она есть на обоих устройствах, однако качество съемки на две разные модели отличается. Главный вопрос, который нас интересует в этой связи: насколько? Действительно ли дорогой смартфон обеспечивает принципиально более высокий уровень съемки, и в чем проявляется разница? Чтобы ответить на вопрос, мы провели сравнение камеры дешевого и дорогого смартфона и готовы продемонстрировать их основные отличия в режимах фото и видео.

Читать далее
Зачем смартфону много камер. Объясняем раз и навсегда

Когда Android-смартфоны только появились в нашей жизни, они имели максимум 2 камеры: основную, чтобы снимать все вокруг, а также фронталку для видеозвонков и селфи. Со временем количество «глазков» значительно увеличилось, но, как и раньше, сейчас мы фотографируем либо себя, либо окружающих. Тогда зачем телефону много камер: 3, 4, а то и 5? Для ответа на этот вопрос посмотрим, какие функции выполняют вспомогательные объективы.

Читать далее
Новости партнеров