Как Huawei P30 Pro удаётся делать такие яркие фотографии

Huawei P30 Pro стал первым смартфоном, в котором используется новый сенсор Sony IMX650. Помимо разрешения в 40 мегапикселей, особенность этого сенсора еще и в том, что он имеет цветной фильтр RYYB. Huawei утверждает, что благодаря этому новый сенсор способен собирать до 40% всего света. Но что такое цветной фильтр RYYB и чем он отличается от тех, что установлены в других смартфонах?

Чтобы понять работу фильтра RYYB, мы должны сначала понять, как работает фильтр Байера. Фильтр Байера представляет собой массив цветных фильтров, наложенный поверх датчика изображения, и назван в честь Брайса Байера, который его изобрел.

Причина, по которой нам нужен массив цветных фильтров, заключается в том, что датчик изображения по своей конструкции чувствителен только к свету и не чувствителен к цвету. Поскольку он может обнаруживать и захватывать только свет, необработанный снимок с цифрового датчика изображения всегда черно-белый.

Чтобы иметь возможность фиксировать цвет, нам нужен массив цветовых фильтров, такой как фильтр Байера. Во-первых, ультрафиолетовое и инфракрасное излучение отфильтровывается другими фильтрами. Как только приходящий свет сужается до видимого спектра, фильтр Байера приступает к работе.

Фильтр Байера накладывает один цветной краситель поверх каждого пикселя. Таким образом, в сетке размером 2×2 пикселя будет один красный пиксель, один синий пиксель и два зеленых пикселя.

Для использования фильтра RGB есть свои причины. Человеческое зрение трихроматично, что означает, что оно чувствительно в первую очередь к трем группам световых волн, которые близки по соответствию к красному, зеленому и синему цветам. Используя перекрытие между этими длинами волн, наш мозг способен интерпретировать «цвета» (которых на самом деле не существует) и наряду со световой информацией, собранной сетчаткой наших глаз, мы можем видеть. Наши камеры спроектированы так, чтобы имитировать нашу систему трихроматического зрения.

Фильтр Байера размещает одну красную, одну синюю и две зеленые линзы на пиксельной сетке 2×2 на датчике изображения. Это означает, что видимый свет, проходящий через массив, фильтруется соответствующим цветом. Пиксель под красной линзой все равно получит черно-белое изображение, но с отфильтрованным красным цветом. Это приведет к тому, что все красные объекты в кадре будут казаться ярче для этого пикселя по мере удаления этой информации. То же самое касается синего и зеленого пикселей.

Теперь у нас есть изображение, которое из-за фильтров имеет различные уровни яркости для каждого пикселя. Чтобы получить настоящие цвета, нам нужен процесс, который называется демозайкингом или пост-Байеровской линеаризацией. Сложный алгоритм, обычно принадлежащий производителю камеры, помогает интерпретировать различные значения цвета. Он просматривает информацию, захваченную пикселем, а также окружающие пиксели и определяет, какое значение цвета назначить этому пикселю. Качество работы этого алгоритма определяет, насколько точны будут цвета на конечном изображении.

Кроме того, необработанное цифровое изображение с сенсора всегда черно-белое. Мы видим цвета только потому, что изображение прошло обработку алгоритмом пост-Байеровской линеаризации. Когда мы открываем необработанный файл формата RAW в фоторедакторе, таком как Adobe Photoshop, приложение использует собственный алгоритм демозайкинга для генерации цветов, поэтому разные приложения будут создавать немного разные цвета для RAW-файлов.

Как только процесс демозайкинга завершен, изображение готово к дальнейшей обработке, где уже такие вещи, как экспозиция, контраст, тени, баланс белого, шум и резкость настраиваются для получения окончательного изображения.

Возвращаясь к фильтрам, фильтр Байера использует массив RGGB. Как упоминалось ранее, он наиболее близко соответствует тому, как работают наши глаза. Что касается того, почему именно зеленых пикселя две штуки, это потому, что зеленый цвет находится в центре видимой цветовой гаммы, и наши глаза наиболее чувствительны к нему. Зеленый канал также действует как яркость, и вы могли заметить, что регулировка уровня зеленого цвета в изображении влияет не только на цвет, но и на общую яркость изображения.

Однако у фильтра Байера уже давно существуют альтернативы. CYM или CYYM является одной из них, и фильтр здесь состоит из голубого, желтого и пурпурного цветов. Преимущество фильтра CYYM состоит в том, что он позволяет большему количеству света проходить к сенсору. Как видно из названия, фильтр Байера — это фильтр, поэтому он фильтрует или удаляет часть света. Кроме того, поскольку только половина пикселей на датчике получает зеленый свет, а четверть — красный и синий, вы также никогда не сможете получить обещанное этим сенсором разрешение. Датчик CYYM с его более высокой степенью светопропускания был разработан для обхода этой сложной закономерности и теоретически способен обеспечить гораздо большее разрешение при том же количестве пикселей.

Однако, как выясняется, получить естественное изображение из датчика CYYM нелегко, и для него требуется гораздо более сложный алгоритм демозайкинга, чем для RGGB. Из-за этого он так и не завоевал популярность, а камеры с фильтром CYYM остаются редкостью, и в недавнем прошлом их и вовсе не было на рынке.

Именно здесь на помощь приходит сенсор RYYB из Huawei P30 Pro. Инженеры использовали знакомые красный и синий каналы, но заменили два зеленых на два желтых канала. Это позволяет сенсору захватывать даже больше света, чем с зелеными фильтрами, по крайней мере, в теории.

Конечно, все еще существует проблема демозайкинга, но с прогрессом в этой области, а также с использованием искусственного интеллекта, который анализирует содержимое изображения, теперь можно правильно определять цвета даже без выделенного зеленого канала.

Конечно, эффективность этого метода по сравнению со стандартным RGGB не может быть легко протестирована или проверена, поэтому пока нам остается только поверить Huawei на слово. Но это, безусловно, интересное решение для улучшения качества изображения в условиях плохого освещения и, возможно, причина, по которой китайский смартфон способен выдавать такие впечатляющие фотографии при слабом освещении.

Делитесь своим мнением в комментариях под этим материалом и в нашем Telegram-чате.

Теги
Лонгриды для вас
Как правильно выбрать новый смартфон на Android

Тем, кто собирается покупать себе айфон гораздо удобнее. У них нет большой необходимости подолгу выбирать бренд, копаться в разных характеристиках и тому подобное. С другой стороны, такой пользователь получается сильно ограничен. По сути, у него нет выбора вообще. Все, что он может сделать - выбрать одну модель из пяти и выбрать объем встроенной памяти. На Android же все иначе: процессор, экран, камера, материалы корпуса, биометрическая защита и многое другое. Причем даже если получится найти телефон, полностью соответствующий вашему запросу, не факт, что он вам понравится.

Читать далее
Телефон
Прощайте, «дырки» и вырезы! В течение года камеры под экраном станут массовыми

Развитие индустрии смартфонов за последние несколько лет показало просто взрывной рост. Это касается буквально всех компонентов - от материалов корпуса до процессора. Особенно заметными изменения были в сегменте дисплеев. За несколько лет мы прошли путь от прямоугольников с огромными рамками до изящных экранов, которые занимают почти всю переднюю панель. Фронтальная камера и некоторые другие датчики являются основными проблемами на пути достижения настоящего полноэкранного изображения. Тем не менее, мы видели такие конструкции, как ”челка”, каплевидный вырез, отверстие и даже выезжающая камера. Судя по последним новостям, все это становится тупиковыми ветками развития и мы на пороге нового шага в создании экранов.

Читать далее
Как бороться с зависимостью от смартфона

Смартфоны заняли важнейшее место в нашей жизни и нам сложно не пользоваться ими. Не так давно мы выпускали статью о том, что будет, если отключить push-уведомления в WhatsApp. В нашем новом разборе раскроем проблему фаббинга гораздо шире - чем опасна зависимость от смартфона, в чем это проявляется и как избавляться от этой привычки? Здесь не будет рекламы специальных приложений, которые насильно будут ограничивать время пользования смартфонов - мы собрали только те советы, которые не требуют вмешательства извне и каких-либо трат. Если вы давно заметили, что не выпускаете смартфон из рук и это пагубно влияет на ваше состояние, устраивайтесь поудобнее - мы начинаем разбираться в этой проблеме.

Читать далее
2 комментария
  1. SkyEagle

    Высокие рабочие ИСО подтвердили успешность разработки.

    • Limurian

      Это хорошо, а по сути просто взяли из 2х технологий лучшее и скрестили, но самое главное дело за демозайкингом)

Новый комментарий