Как Huawei P30 Pro удаётся делать такие яркие фотографии

Huawei P30 Pro стал первым смартфоном, в котором используется новый сенсор Sony IMX650. Помимо разрешения в 40 мегапикселей, особенность этого сенсора еще и в том, что он имеет цветной фильтр RYYB. Huawei утверждает, что благодаря этому новый сенсор способен собирать до 40% всего света. Но что такое цветной фильтр RYYB и чем он отличается от тех, что установлены в других смартфонах?

Чтобы понять работу фильтра RYYB, мы должны сначала понять, как работает фильтр Байера. Фильтр Байера представляет собой массив цветных фильтров, наложенный поверх датчика изображения, и назван в честь Брайса Байера, который его изобрел.

Причина, по которой нам нужен массив цветных фильтров, заключается в том, что датчик изображения по своей конструкции чувствителен только к свету и не чувствителен к цвету. Поскольку он может обнаруживать и захватывать только свет, необработанный снимок с цифрового датчика изображения всегда черно-белый.

Чтобы иметь возможность фиксировать цвет, нам нужен массив цветовых фильтров, такой как фильтр Байера. Во-первых, ультрафиолетовое и инфракрасное излучение отфильтровывается другими фильтрами. Как только приходящий свет сужается до видимого спектра, фильтр Байера приступает к работе.

Фильтр Байера накладывает один цветной краситель поверх каждого пикселя. Таким образом, в сетке размером 2×2 пикселя будет один красный пиксель, один синий пиксель и два зеленых пикселя.

Для использования фильтра RGB есть свои причины. Человеческое зрение трихроматично, что означает, что оно чувствительно в первую очередь к трем группам световых волн, которые близки по соответствию к красному, зеленому и синему цветам. Используя перекрытие между этими длинами волн, наш мозг способен интерпретировать «цвета» (которых на самом деле не существует) и наряду со световой информацией, собранной сетчаткой наших глаз, мы можем видеть. Наши камеры спроектированы так, чтобы имитировать нашу систему трихроматического зрения.

Фильтр Байера размещает одну красную, одну синюю и две зеленые линзы на пиксельной сетке 2×2 на датчике изображения. Это означает, что видимый свет, проходящий через массив, фильтруется соответствующим цветом. Пиксель под красной линзой все равно получит черно-белое изображение, но с отфильтрованным красным цветом. Это приведет к тому, что все красные объекты в кадре будут казаться ярче для этого пикселя по мере удаления этой информации. То же самое касается синего и зеленого пикселей.

Теперь у нас есть изображение, которое из-за фильтров имеет различные уровни яркости для каждого пикселя. Чтобы получить настоящие цвета, нам нужен процесс, который называется демозайкингом или пост-Байеровской линеаризацией. Сложный алгоритм, обычно принадлежащий производителю камеры, помогает интерпретировать различные значения цвета. Он просматривает информацию, захваченную пикселем, а также окружающие пиксели и определяет, какое значение цвета назначить этому пикселю. Качество работы этого алгоритма определяет, насколько точны будут цвета на конечном изображении.

Кроме того, необработанное цифровое изображение с сенсора всегда черно-белое. Мы видим цвета только потому, что изображение прошло обработку алгоритмом пост-Байеровской линеаризации. Когда мы открываем необработанный файл формата RAW в фоторедакторе, таком как Adobe Photoshop, приложение использует собственный алгоритм демозайкинга для генерации цветов, поэтому разные приложения будут создавать немного разные цвета для RAW-файлов.

Как только процесс демозайкинга завершен, изображение готово к дальнейшей обработке, где уже такие вещи, как экспозиция, контраст, тени, баланс белого, шум и резкость настраиваются для получения окончательного изображения.

Возвращаясь к фильтрам, фильтр Байера использует массив RGGB. Как упоминалось ранее, он наиболее близко соответствует тому, как работают наши глаза. Что касается того, почему именно зеленых пикселя две штуки, это потому, что зеленый цвет находится в центре видимой цветовой гаммы, и наши глаза наиболее чувствительны к нему. Зеленый канал также действует как яркость, и вы могли заметить, что регулировка уровня зеленого цвета в изображении влияет не только на цвет, но и на общую яркость изображения.

Однако у фильтра Байера уже давно существуют альтернативы. CYM или CYYM является одной из них, и фильтр здесь состоит из голубого, желтого и пурпурного цветов. Преимущество фильтра CYYM состоит в том, что он позволяет большему количеству света проходить к сенсору. Как видно из названия, фильтр Байера — это фильтр, поэтому он фильтрует или удаляет часть света. Кроме того, поскольку только половина пикселей на датчике получает зеленый свет, а четверть — красный и синий, вы также никогда не сможете получить обещанное этим сенсором разрешение. Датчик CYYM с его более высокой степенью светопропускания был разработан для обхода этой сложной закономерности и теоретически способен обеспечить гораздо большее разрешение при том же количестве пикселей.

Однако, как выясняется, получить естественное изображение из датчика CYYM нелегко, и для него требуется гораздо более сложный алгоритм демозайкинга, чем для RGGB. Из-за этого он так и не завоевал популярность, а камеры с фильтром CYYM остаются редкостью, и в недавнем прошлом их и вовсе не было на рынке.

Именно здесь на помощь приходит сенсор RYYB из Huawei P30 Pro. Инженеры использовали знакомые красный и синий каналы, но заменили два зеленых на два желтых канала. Это позволяет сенсору захватывать даже больше света, чем с зелеными фильтрами, по крайней мере, в теории.

Конечно, все еще существует проблема демозайкинга, но с прогрессом в этой области, а также с использованием искусственного интеллекта, который анализирует содержимое изображения, теперь можно правильно определять цвета даже без выделенного зеленого канала.

Конечно, эффективность этого метода по сравнению со стандартным RGGB не может быть легко протестирована или проверена, поэтому пока нам остается только поверить Huawei на слово. Но это, безусловно, интересное решение для улучшения качества изображения в условиях плохого освещения и, возможно, причина, по которой китайский смартфон способен выдавать такие впечатляющие фотографии при слабом освещении.

Делитесь своим мнением в комментариях под этим материалом и в нашем Telegram-чате.

Теги
Читайте также
Логотип Huawei
У Huawei закончилась лицензия на обновление всех своих смартфонов

Холодная война, которая началась прошлой весной между Huawei и США, целью которой была изоляция китайской компании от мирового технологического сообщества, не увенчалась особенным успехом для американской стороны. Несмотря на то что Дональд Трамп запретил местным предприятиям сотрудничать с Huawei, лишив фирменные смартфоны бренда доступа к сервисам Google, компании удалось удержаться на ногах. Мало того, что она запустила собственный магазин приложений на замену Google Play, так ещё и отстояла право обновления всех аппаратов, которые вышли на рынок до введения санкций. Правда, срок его действия уже исчерпался.

Читать далее
WeChat
Как запрет в США популярного мессенджера WeChat повлияет на все смартфоны

Наверное, не осталось в мире владельца смартфона, который не пользовался бы мессенджерами. Это удобно для ежедневного общения, поддержания контакта в течение дня и передачи файлов. Самым популярным в мире мессенджером по разным оценкам является WhatsApp, но есть и другие. Например, WeChat, который очень популярен в Китае, и отстает от WhatsApp не очень сильно, но занимает все более сильные позиции. Сейчас встал вопрос о блокировке этого мессенджера (как всего китайского). Казалось бы, что в этом такого, но это может повлиять на всю индустрию смартфонов и очень сильно изменить не только соотношение устройств, но и даже бизнес-связи, которые есть между компаниями. Этот тот случай, когда лучше не трогать, но кого это волнует?

Читать далее
Стенд Huawei
Huawei готовит лидар для беспилотных автомобилей. Нужен запасной вариант

Когда компания упирается в какой-то потолок своего развития или когда у нее начинаются явные проблемы с бизнесом, она часто ищет какие-то альтернативные пути развития. Примерно в таком положении сейчас находится Huawei, которая должна преодолевать трудность за трудностью. Похоже, сейчас компания понимает, рынок меняется и выжить только за счет ее крутых смартфонов у нее не получится. Да и что делать, если она в какой-то момент вообще не сможет их производить. Конечно, она много зарабатывает на телекоммуникационном оборудовании, но альтернативные пути все равно нужны и, похоже, китайская компания нашла их в беспилотных автомобилях. Звучит немного странно, учитывая ее профиль, но определенный смысл в этом есть.

Читать далее

2 комментария Оставить свой

  1. SkyEagle

    Высокие рабочие ИСО подтвердили успешность разработки.

    • Limurian

      Это хорошо, а по сути просто взяли из 2х технологий лучшее и скрестили, но самое главное дело за демозайкингом)

Новый комментарий