Как искусственный интеллект изменил мобильную фотографию

Можно смотреть на развитие технологий как со стороны «железок», так и со стороны софта. Думаем, что «железо» важнее ПО? Но это заблуждение. Без качественного софта аппаратное обеспечение становится бесполезным. Это касается не только процессоров, но и камер. Хороший модуль — это не залог качественных фотографий. Технически смартфоны ограничены в размерах, поэтому сегодня важен именно софт, отвечающий за обработку фотографий, а под софтом стоит понимать в том числе искусственный интеллект.

Идеально, когда софт улучшают совместно железом. Примером такого взаимодействия является технология компании Light. С помощью софта и множества камер, которые расположены под разным углом и имеют различное фокусное расстояние и другие характеристики, происходит магия. За этим определенно будущее, но пока мы остановимся лишь на софте.

Google Фото — это хороший пример работы AI. Google в 2013 году купила компанию DNNresearch, совместно с которой ей удалось натренировать нейросеть на основе изображении, вручную проанализированных обычными людьми. Например, перед нами фото озера, человек отмечает, что на фото озеро. В дальнейшем это фото пропускают через нейросеть, которая понимает, что перед ней озеро с помощью маркера и запоминает, как выглядит фотография.

Таким образом ребята обучили нейросеть, которая в облаке анализирует фотографии Google Фото и разбивает их на категории. Кроме того, за счёт постоянного распознавания нейросеть становится умнее, увеличивается точность, поэтому со временем стало возможной разбивка не по конкретным животным, например, а по типам объектов: «животные», «обед» и так далее.

Спустя год Apple выпустила аналогичное решение, но так как компания беспокоится о приватности, все фотографии анализирует не облачный сервис, а сам смартфон пользователя,  который в течение дня производит разбивку на категории. И это лишь часть применения нейросети. Например, её применяют при создании эффекта размытия. Сначала нейросеть определяет объект в кадре, затем вторая камера создаёт карту глубины. Интересно это потому, что процесс распознавания человека в кадре происходит в реальном времени.

Но главным примером работы нейросети можно назвать различные режимы HDR. В случае с Google речь идёт об HDR+. Например, вот так фотографирует уже старый Google Pixel 2 XL благодаря нейросети (исходники):

Но еще более показательным является режим Night Sight на основе ИИ. Он анализирует фото и изменяет баланс белого и цвета, чтобы на выходе получился отличный результат. В последнее время компании стали использовать специальные процессоры, адаптированные под ИИ. В Apple A12 Bionic ИИ чип на 8 ядер! Неплохой рывок в этой области получился у Snapdragon 855, процессор в синтетических ИИ тестах сумел значительно обойти Snapdragon 845 и Kirin 980.

Вывод

Роль софта и ИИ растёт, а качество модуля камеры больше не так важно. Благодаря постоянному улучшению алгоритмов режимы на основе ИИ фотографируют всё лучше и лучше, поэтому в дальнейшем влияние софта в области камер будет лишь увеличиваться.

Мы в Telegram

Источник

Теги
Лонгриды для вас
Galaxy
Каким будет дешёвый смартфон Samsung с поддержкой 5G и Android 11

Удивительно, как со временем менялась ценность смартфонов. Если раньше я сам рекомендовал всем своим знакомым покупать только флагманы на Android, то теперь не вижу в этом практически никакого смысла. Просто технологии достигли такого уровня развития, при котором производители начали делать нестыдные аппараты за вполне вменяемые для большинства пользователей деньги. Дошло до того, что многие вообще переключились на борьбу за потребителя в бюджетном или околобюджетном сегменте, где, очевидно, ходят самые большие деньги. И, кажется, Samsung знает, что делать.

Читать далее
Дисплей
Почему смартфонами не нужны экраны с разрешением больше Full HD

Каким должно быть разрешение экрана современного смартфона? Ну, ещё лет 10 назад этому никто особенно не уделял внимания. Поэтому все воспринимали контент со своих устройств на низкого качества дисплеях с низким разрешением и ужасающей зернистостью. Потом Apple сделала Retina-экраны с плотностью пикселей 326 на дюйм, и среди производителей началась гонка разрешений, которая сначала привела нас к Full HD, потом к Quad HD, а затем и к Ultra HD. Правда, довольно быстро все поняли, что с 4K на смартфонах ловить нечего. А с Quad HD?

Читать далее
Vooc
Скоро смартфоны OPPO будут заряжаться по воздуху

Беспроводная зарядка не так давно была экзотикой, а теперь становится не просто нормой, но даже и необходимостью. Она постепенно появляется во все большем количестве смартфонов, но пользователи так и не получают существенного преимущества от ее внедрения. Люди жалуются, что подключить провод и положить смартфон в одно конкретное место - это одно и то же. Доля истины в этом есть, но существуют технологии, которые позволят изменить это мнение. Не так давно о чем-то подобном отчиталась Xiaomi, а теперь и другая китайская компания пробует свои силы в этом деле. OPPO рассказала о том, как будет работать ее зарядка по воздуху, и намекнула на возможные сценарии использования. Если все так и сложится, то будет круто.

Читать далее
Новый комментарий