Каков принцип работы портретного режима Google Pixel 2?

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Так работает портретный режим 12-Мп камеры Pixel 2:

Такой результат удалось получить с помощью трех этапов:

  • HDR+
  • Маска сегментации
  • Карта глубины

HDR+

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Теги
Лонгриды для вас
Chrome загружает процессор и жрёт зарядку? Google всё исправит

Про непомерный жор ресурсов браузером Chrome, наверное, знают все. То ли движок Chromium оказался так устроен, то ли функциональные возможности, которые Google на него взвалила, дали такой неприятный эффект, но спорить с тем, что Chrome просто дико жрёт память и ресурс процессора, бессмысленно. Однако практика показала, что большинство пользователей относятся к этой особенности браузера снисходительно и даже философски, просто приняв её, вместо того чтобы искать что-нибудь на замену. Но Google насмешки, посвящённые прожорливости Chrome, явно уже достали и она решила наконец предпринять какие-то меры.

Читать далее
Google занервничала: Pixel 3A тоже продают с хорошей скидкой

Не надо спорить с тем, что Google Pixel 3a является очень крутым смартфоном. Это действительно так. А с учетом того, сколько он стоит, я считаю его появление и вовсе лучшим из того, что случилось с Android в прошлом году. Он стоил недорого, но по характеристикам почти заменял флагманский немного переоцененный Google Pixel 3. Лично мне он еще нравился тем, как он лежал в руке. Компактный, увесистый, но не тяжелый, приятный на ощупь. В итоге, я с удовольствием пользоваться им в течение примерно месяца, пока тестировал его. Потом на смену ему пришел другой аппарат, но Pixel 3a я всегда вспоминаю добрым словом. Сейчас я очередной раз вспомнил про него из-за того, что Google решила сделать на него хорошую скидку. Все это должно нам о чем-то сказать. Вопрос, о чем…

Читать далее
Как хакеры обманывают владельцев Android через «Google Фото»

Способов обмана населения придумано уже столько, что можно создавать отдельный сайт и писать там только об этом. Наверное, такие даже есть - я не проверял - но мы пишем только о самых необычных и новых способах ”относительно честного отъема денег у населения”. На этот раз хакеры отличились, пытаясь украсть у пользователей деньги при помощи Google Фото. Что-то подобное было, но именно такой способ сейчас снова набирает популярность. Интересно, что подобная схема может сработать и с другими популярными сервисами, но именно Google фото актуален почти для любого пользователя Android, а значит потенциально они все в опасности, если не смогут быть бдительными.

Читать далее

2 комментария Оставить свой

  1. alcion

    Мда, первый в мире… я тихо плАчу в уголочке со своим s7 edge и его функции камеры выборочный фокус…

    • salazar

      Сравнивал камеры s7edge и honor 8 разница есть в пользу s7edge но не существенная

Новый комментарий