Каков принцип работы портретного режима Google Pixel 2?

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Так работает портретный режим 12-Мп камеры Pixel 2:

Такой результат удалось получить с помощью трех этапов:

  • HDR+
  • Маска сегментации
  • Карта глубины

HDR+

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Теги
Лонгриды для вас
Google Play
Google вслед за Apple снизила комиссию в Google Play до 15%

Несмотря на то что App Store и Google Play принадлежат разным компаниям, которые являются идеологическими врагами друг другу, по факту они практически не отличаются. Большую часть обоих магазинов приложений занимают одни и те же приложения от одних и тех же разработчиков с одними и теми же ценами и одними и теми же правилами размещения. Даже комиссионные сборы в App Store и Google Play до недавнего времени были одинаковыми и составляли 30%. Правда, потом в Купертино решили снизить их размер для начинающих разработчиков до 15%, но и Google тут же подтянулась.

Читать далее
Android 12
Material Next, игровой режим и другое: что ещё нового будет в Android 12

На прошлой неделе Google дала первый намёк на то, что готова запустить бета-тестирование Android 12. Компания не сделала ничего такого – просто обновила приложение Beta Feedback, посредством которого участники предварительных испытаний отправляют разработчикам отзывы о работе обновлённой операционки. Однако этого было достаточно, чтобы понять – поисковый гигант вот-вот представит нам первую сборку Developer Preview Android 12. Разберёмся, чем будет удивлять предстоящее обновление.

Читать далее
Молоток судьи
Xiaomi подает в суд на США, а Huawei готовит новый супер-смартфон: итоги недели

На этой неделе было много поводов поговорить о китайских компаниях. Например, о том, что Xiaomi представила интересный концепт смартфона, а заодно спросила, стоит ли ей делать дорогие устройства. Huawei тоже отметилась на поприще дорогих смартфонов, рассказав, когда выпустит свое новейшее складное устройство. А еще об этих компаниях можно было поговорить в контексте санкций. Например, Xiaomi подала в суд на США из-за введенных ограничений, а представитель администрации Джо Байдена рассказал, чего стоит ждать Huawei и будут ли с нее сняты запреты. Все это и многое другое вы найдете в нашей традиционной новостной подборке. Садитесь поудобнее и давайте начинать.

Читать далее
2 комментария
  1. alcion

    Мда, первый в мире… я тихо плАчу в уголочке со своим s7 edge и его функции камеры выборочный фокус…

    • salazar

      Сравнивал камеры s7edge и honor 8 разница есть в пользу s7edge но не существенная

Новый комментарий