Прошло более восьми лет с тех пор, как индустрия впервые заговорила о нейронных процессорах (NPU) в смартфонах и ранних перспективах встроенного ИИ. Процессор Kirin 970 в HUAWEI Mate 10 стал первопроходцем, хотя похожие идеи витали в воздухе и раньше, особенно в области обработки изображений. За эти годы многое изменилось — Apple наконец приняла ИИ, хотя и с неоднозначными результатами, а Google явно сделала ставку на свой Tensor Processor Unit для всего: от обработки изображений до локального языкового перевода. Спросите любую крупную технологическую компанию, от Arm и Qualcomm до Apple и Samsung, и все они скажут, что ИИ — это будущее смартфонного железа и программного обеспечения.
AI-чипы в смартфонах существуют уже давно, но до сих пор не раскрыли свой потенциал. Изображение: Colobridge
И все же ландшафт мобильного ИИ остается ограниченным. Доступен лишь небольшой, хотя и растущий набор локальных AI-функций, в основном курируемых Google, с крайне скудной творческой средой разработчиков. NPU частично виноваты в этом — не потому что они неэффективны, а потому что никогда не были представлены как полноценная платформа. Возникает вопрос: для чего на самом деле нужен весь этот кремний в наших телефонах?
Что такое NPU и как он работает
Прежде чем решить, действительно ли телефонам нужен NPU, стоит разобраться, что он собой представляет. Как и универсальный CPU для запуска приложений, GPU для рендеринга игр или ISP для обработки изображений и видео, NPU — это специализированный процессор для максимально быстрого и эффективного выполнения AI-задач.
Конкретно NPU разработан для обработки меньших размеров данных (например, крошечных 4-битных и даже 2-битных моделей), специфических паттернов памяти и высокопараллельных математических операций, таких как fused multiply-add и fused multiply-accumulate.
Не забывайте о нашем Дзен, где очень много всего интересного и познавательного!
Строго говоря, NPU не обязателен для выполнения задач машинного обучения — множество небольших алгоритмов могут работать даже на скромном CPU, а дата-центры, обеспечивающие работу больших языковых моделей, используют оборудование, ближе к видеокартам NVIDIA, чем к NPU в телефоне.
Однако выделенный NPU помогает запускать модели, с которыми CPU или GPU не справятся с нужной скоростью, и часто выполняет задачи эффективнее. Сложность и площадь кристалла компенсируется производительностью и энергоэффективностью — ключевыми факторами для смартфонов. Никто не хочет, чтобы AI-инструменты телефона высасывали батарею.
HUAWEI чуть ли не раньше всех начала использовать AI-чипы, но это все равно пока затычка.
Почему ИИ работает на видеокартах
Следя за текущим кризисом цен на RAM, можно заметить, что AI-дата-центры и спрос на мощные AI и GPU-ускорители, особенно от NVIDIA, усугубляют дефицит. Архитектура CUDA от NVIDIA очень эффективная для AI-задач благодаря массовой параллелизации с тензорными ядрами, обрабатывающими много операций одновременно.
Хотя современные мобильные GPU, такие как Arm Mali и Qualcomm Adreno, поддерживают 16-битные и все чаще 8-битные типы данных с высокопараллельной математикой, они не выполняют очень маленькие модели с той же эффективностью. Несмотря на поддержку этих форматов на бумаге, они не оптимизированы для ИИ как основной нагрузки.
В отличие от мощных настольных графических чипов, мобильные GPU-архитектуры разработаны прежде всего для энергоэффективности, используя концепции тайловых конвейеров рендеринга и фрагментированных исполнительных блоков, не вполне подходящих для продолжительных вычислительно интенсивных нагрузок. Мобильные GPU определенно могут выполнять AI-вычисления и хороши в некоторых ситуациях, но для слжоный специализированных операций существуют более энергоэффективные варианты.
Что означает название процессора Snapdragon в смартфоне.
Разработка программного обеспечения — не менее важная часть уравнения. CUDA от NVIDIA открывает разработчикам ключевые архитектурные атрибуты, позволяя глубокие оптимизации на уровне ядра при выполнении AI-задач. Мобильные платформы лишены сопоставимого низкоуровневого доступа для разработчиков, вместо этого полагаясь на абстракции более высокого уровня, часто зависящие от производителя.
NVIDIA лучше всех умеет в AI, но не на отдельных чипах, а на своих обычных CUDA-ядрах из видеокарт.
Чипсеты смартфонов с возможностями NPU (по сути, все современные) созданы для решения одной проблемы — поддержки меньших значений данных, сложной математики и непростых паттернов памяти эффективным способом без переделки GPU-архитектур. Однако дискретные NPU создают новые проблемы, особенно для сторонних разработчиков.
Хотя API и SDK доступны для чипов Apple, Snapdragon и MediaTek, разработчикам традиционно приходилось создавать и оптимизировать приложения отдельно для каждой платформы. Даже Google пока не предоставляет простой общий доступ разработчикам для своих Pixel с ИИ: Tensor ML SDK остается в экспериментальном доступе без гарантии общего релиза. Разработчики могут экспериментировать с функциями Gemini Nano через Google ML Kit, но это далеко от истинного доступа к базовому оборудованию.
Смартфоны каких производителей самые популярные в России и мире.
Хуже того, Samsung вообще отозвала поддержку своего Neural SDK, а более универсальный Android NNAPI от Google с тех пор устарел. В результате имеем целый ворох спецификаций и заброшенных API, делающих эффективную стороннюю мобильную AI-разработку чрезвычайно сложной. Оптимизации для конкретных производителей никогда не могли масштабироваться, оставив нас с облачными и внутренними компактными моделями, контролируемыми несколькими крупными вендорами вроде Google.
Можно сказать, что выделенные мобильные NPU вряд ли исчезнут в ближайшее время, но NPU-центричный подход с привязкой к вендору, определявший первую волну локального ИИ, явно не конечная точка. Для большинства сторонних приложений CPU и GPU продолжат нести значительную часть практической нагрузки, особенно по мере получения более эффективной поддержки современных операций машинного обучения. Важнее любого отдельного блока кремния программный слой, который решает, как используется это оборудование и используется ли.
Присоединяйтесь к нам в Telegram!
Если появится удобный инструмент, NPU станут ускорителями, а не сложным придатком, и локальный мобильный ИИ наконец станет чем-то, на что разработчики смогут ориентироваться без ставки на дорожную карту конкретного производителя чипов. Вероятно, путь до выхода чего-то подобного еще долгий, но мы наконец немного приближаемся к этому.
