Как искусственный интеллект изменил мобильную фотографию

Можно смотреть на развитие технологий как со стороны «железок», так и со стороны софта. Думаем, что «железо» важнее ПО? Но это заблуждение. Без качественного софта аппаратное обеспечение становится бесполезным. Это касается не только процессоров, но и камер. Хороший модуль — это не залог качественных фотографий. Технически смартфоны ограничены в размерах, поэтому сегодня важен именно софт, отвечающий за обработку фотографий, а под софтом стоит понимать в том числе искусственный интеллект.

Идеально, когда софт улучшают совместно железом. Примером такого взаимодействия является технология компании Light. С помощью софта и множества камер, которые расположены под разным углом и имеют различное фокусное расстояние и другие характеристики, происходит магия. За этим определенно будущее, но пока мы остановимся лишь на софте.

Google Фото — это хороший пример работы AI. Google в 2013 году купила компанию DNNresearch, совместно с которой ей удалось натренировать нейросеть на основе изображении, вручную проанализированных обычными людьми. Например, перед нами фото озера, человек отмечает, что на фото озеро. В дальнейшем это фото пропускают через нейросеть, которая понимает, что перед ней озеро с помощью маркера и запоминает, как выглядит фотография.

Таким образом ребята обучили нейросеть, которая в облаке анализирует фотографии Google Фото и разбивает их на категории. Кроме того, за счёт постоянного распознавания нейросеть становится умнее, увеличивается точность, поэтому со временем стало возможной разбивка не по конкретным животным, например, а по типам объектов: «животные», «обед» и так далее.

Спустя год Apple выпустила аналогичное решение, но так как компания беспокоится о приватности, все фотографии анализирует не облачный сервис, а сам смартфон пользователя,  который в течение дня производит разбивку на категории. И это лишь часть применения нейросети. Например, её применяют при создании эффекта размытия. Сначала нейросеть определяет объект в кадре, затем вторая камера создаёт карту глубины. Интересно это потому, что процесс распознавания человека в кадре происходит в реальном времени.

Но главным примером работы нейросети можно назвать различные режимы HDR. В случае с Google речь идёт об HDR+. Например, вот так фотографирует уже старый Google Pixel 2 XL благодаря нейросети (исходники):

Но еще более показательным является режим Night Sight на основе ИИ. Он анализирует фото и изменяет баланс белого и цвета, чтобы на выходе получился отличный результат. В последнее время компании стали использовать специальные процессоры, адаптированные под ИИ. В Apple A12 Bionic ИИ чип на 8 ядер! Неплохой рывок в этой области получился у Snapdragon 855, процессор в синтетических ИИ тестах сумел значительно обойти Snapdragon 845 и Kirin 980.

Вывод

Роль софта и ИИ растёт, а качество модуля камеры больше не так важно. Благодаря постоянному улучшению алгоритмов режимы на основе ИИ фотографируют всё лучше и лучше, поэтому в дальнейшем влияние софта в области камер будет лишь увеличиваться.

Мы в Telegram

Источник

Теги
Лонгриды для вас
Какие привычные вещи мне заменил смартфон

Мобильные технологии развиваются очень стремительно. Сейчас каждому из нас трудно представить жизнь без смартфона, планшета или ноутбука. Если раньше мы обращались к смартфону по особым случаям, то сейчас сложно представить без телефона даже один день. Смартфон заменил нам многие гаджеты, вроде плееров, фотоаппаратов или игровых приставок. Однако можно ли полностью отказаться от бумажных носителей в пользу новых технологий в 2021 году?

Читать далее
Чем лучше не делиться в социальных сетях

Социальные сети приучили нас к открытости: можно публиковать фотографии, репостить цитаты, видео или мемы, не бояться указывать город и место работы. Возможно, лет 10-15 назад, когда жизнь была лучше, а трава зеленее, делиться всем этим с другими пользователями было вполне безопасно. Недаром ведь раздел VK называется "друзья". К сожалению, жить стало тяжелее, а данные, порой, улетают безвозвратно в руки мошенников: пора привыкать к тому, что открытость уходит в прошлое. Какой же информацией лучше не делиться в соцсетях?

Читать далее
Здесь все, что известно об Android 13 на данный момент

Прошло уже больше полугода с того момента, как Google официально представила нам Android 12 на конференции для разработчиков Google I/O. Пользователи потихоньку начинают осваивать систему, разработчики выкатывать новые приложения и оптимизировать старые. В это время Google уже вовсю работают над новым проектом - Android 13. Неравнодушные пользователи уже вовсю пытаются раскопать его фишки и разобраться во всех новшествах. Мы собрали для вас все: начиная от прокаченного Material You, заканчивая новыми функциями, которые многим придутся по душе.

Читать далее
Новый комментарий