Как Huawei P30 Pro удаётся делать такие яркие фотографии

Huawei P30 Pro стал первым смартфоном, в котором используется новый сенсор Sony IMX650. Помимо разрешения в 40 мегапикселей, особенность этого сенсора еще и в том, что он имеет цветной фильтр RYYB. Huawei утверждает, что благодаря этому новый сенсор способен собирать до 40% всего света. Но что такое цветной фильтр RYYB и чем он отличается от тех, что установлены в других смартфонах?

Чтобы понять работу фильтра RYYB, мы должны сначала понять, как работает фильтр Байера. Фильтр Байера представляет собой массив цветных фильтров, наложенный поверх датчика изображения, и назван в честь Брайса Байера, который его изобрел.

Причина, по которой нам нужен массив цветных фильтров, заключается в том, что датчик изображения по своей конструкции чувствителен только к свету и не чувствителен к цвету. Поскольку он может обнаруживать и захватывать только свет, необработанный снимок с цифрового датчика изображения всегда черно-белый.

Чтобы иметь возможность фиксировать цвет, нам нужен массив цветовых фильтров, такой как фильтр Байера. Во-первых, ультрафиолетовое и инфракрасное излучение отфильтровывается другими фильтрами. Как только приходящий свет сужается до видимого спектра, фильтр Байера приступает к работе.

Фильтр Байера накладывает один цветной краситель поверх каждого пикселя. Таким образом, в сетке размером 2×2 пикселя будет один красный пиксель, один синий пиксель и два зеленых пикселя.

Для использования фильтра RGB есть свои причины. Человеческое зрение трихроматично, что означает, что оно чувствительно в первую очередь к трем группам световых волн, которые близки по соответствию к красному, зеленому и синему цветам. Используя перекрытие между этими длинами волн, наш мозг способен интерпретировать «цвета» (которых на самом деле не существует) и наряду со световой информацией, собранной сетчаткой наших глаз, мы можем видеть. Наши камеры спроектированы так, чтобы имитировать нашу систему трихроматического зрения.

Фильтр Байера размещает одну красную, одну синюю и две зеленые линзы на пиксельной сетке 2×2 на датчике изображения. Это означает, что видимый свет, проходящий через массив, фильтруется соответствующим цветом. Пиксель под красной линзой все равно получит черно-белое изображение, но с отфильтрованным красным цветом. Это приведет к тому, что все красные объекты в кадре будут казаться ярче для этого пикселя по мере удаления этой информации. То же самое касается синего и зеленого пикселей.

Теперь у нас есть изображение, которое из-за фильтров имеет различные уровни яркости для каждого пикселя. Чтобы получить настоящие цвета, нам нужен процесс, который называется демозайкингом или пост-Байеровской линеаризацией. Сложный алгоритм, обычно принадлежащий производителю камеры, помогает интерпретировать различные значения цвета. Он просматривает информацию, захваченную пикселем, а также окружающие пиксели и определяет, какое значение цвета назначить этому пикселю. Качество работы этого алгоритма определяет, насколько точны будут цвета на конечном изображении.

Кроме того, необработанное цифровое изображение с сенсора всегда черно-белое. Мы видим цвета только потому, что изображение прошло обработку алгоритмом пост-Байеровской линеаризации. Когда мы открываем необработанный файл формата RAW в фоторедакторе, таком как Adobe Photoshop, приложение использует собственный алгоритм демозайкинга для генерации цветов, поэтому разные приложения будут создавать немного разные цвета для RAW-файлов.

Как только процесс демозайкинга завершен, изображение готово к дальнейшей обработке, где уже такие вещи, как экспозиция, контраст, тени, баланс белого, шум и резкость настраиваются для получения окончательного изображения.

Возвращаясь к фильтрам, фильтр Байера использует массив RGGB. Как упоминалось ранее, он наиболее близко соответствует тому, как работают наши глаза. Что касается того, почему именно зеленых пикселя две штуки, это потому, что зеленый цвет находится в центре видимой цветовой гаммы, и наши глаза наиболее чувствительны к нему. Зеленый канал также действует как яркость, и вы могли заметить, что регулировка уровня зеленого цвета в изображении влияет не только на цвет, но и на общую яркость изображения.

Однако у фильтра Байера уже давно существуют альтернативы. CYM или CYYM является одной из них, и фильтр здесь состоит из голубого, желтого и пурпурного цветов. Преимущество фильтра CYYM состоит в том, что он позволяет большему количеству света проходить к сенсору. Как видно из названия, фильтр Байера — это фильтр, поэтому он фильтрует или удаляет часть света. Кроме того, поскольку только половина пикселей на датчике получает зеленый свет, а четверть — красный и синий, вы также никогда не сможете получить обещанное этим сенсором разрешение. Датчик CYYM с его более высокой степенью светопропускания был разработан для обхода этой сложной закономерности и теоретически способен обеспечить гораздо большее разрешение при том же количестве пикселей.

Однако, как выясняется, получить естественное изображение из датчика CYYM нелегко, и для него требуется гораздо более сложный алгоритм демозайкинга, чем для RGGB. Из-за этого он так и не завоевал популярность, а камеры с фильтром CYYM остаются редкостью, и в недавнем прошлом их и вовсе не было на рынке.

Именно здесь на помощь приходит сенсор RYYB из Huawei P30 Pro. Инженеры использовали знакомые красный и синий каналы, но заменили два зеленых на два желтых канала. Это позволяет сенсору захватывать даже больше света, чем с зелеными фильтрами, по крайней мере, в теории.

Конечно, все еще существует проблема демозайкинга, но с прогрессом в этой области, а также с использованием искусственного интеллекта, который анализирует содержимое изображения, теперь можно правильно определять цвета даже без выделенного зеленого канала.

Конечно, эффективность этого метода по сравнению со стандартным RGGB не может быть легко протестирована или проверена, поэтому пока нам остается только поверить Huawei на слово. Но это, безусловно, интересное решение для улучшения качества изображения в условиях плохого освещения и, возможно, причина, по которой китайский смартфон способен выдавать такие впечатляющие фотографии при слабом освещении.

Делитесь своим мнением в комментариях под этим материалом и в нашем Telegram-чате.