Опасен ли ИИ в смартфоне для человечества, и что нас от него защищает

Благодаря компании ChatGPT и ее многочисленным конкурентам искусственный интеллект превратился из слова, которое когда-то вызывало безграничный энтузиазм, в слово, которое теперь вызывает чувство ужаса. Нетрудно понять, почему так получилось. Это явление взлетало просто по экспоненте. В отличие от мифической метавселенной и тому подобного, продукты ИИ доступны уже сегодня и для всех. При этом они продолжают довольно серьезно развиваться. И именно этот потенциал вызывает серьезные опасения не только у простых людей, а и экспертов по ИИ. Но стоит ли нам так сильно переживать или все это просто паника, а то и вовсе обычный пиар.

Чем может быть опасен ИИ

Даже если на минуту отбросить возможность апокалипсиса, невозможно не заметить, как ИИ сегодня влияет на жизнь тысяч, если не миллионов, людей. Хотя генераторы изображений и чат-боты могут показаться безобидными, они уже серьезно угрожают многим, от специалистов службы поддержки до графических дизайнеров. И в отличие от индустриализации XVIII века, вы не можете утверждать, что ИИ создаст новые рабочие места.

Современные системы ИИ способны рассуждать и самокорректироваться, что снижает необходимость в человеческом контроле — в отличие от традиционных машин. Системы ИИ, например, могут писать код, выявлять и исправлять ошибки, обучать и внедрять новые собственные модели ИИ, вносить вклад в проекты с открытым исходным кодом и даже участвовать в обсуждениях в сообществе. К сожалению, такая автономность чревата серьезными последствиями, которые выходят далеко за рамки простой потери работы.

Не забывайте о нашем Дзен, где очень много всего интересного и познавательного!

Как хакеры используют ИИ

Наибольшую опасность представляет не тот ИИ, который нас обманывает, а тот, который может нас обмануть. Ведь пока мы не знаем, что от него можно ждать. Возьмем, к примеру, вредоносный бэкдор, обнаруженный в открытом инструменте сжатия XZ Utils в прошлом месяце. Хотя XZ малоизвестен за пределами сообществ разработчиков, миллионы серверов на базе Linux полагаются на него, и бэкдор мог предоставить злоумышленникам удаленный контроль над многими критически важными системами. Однако это не было традиционным взломом или эксплойтом. Вместо этого злоумышленник в течение нескольких лет создавал репутацию полезного участника, а затем завоевал доверие сообщества и подсунул код бэкдора.

Сложная система искусственного интеллекта могла бы автоматизировать подобные атаки в масштабах всего сообщества, занимаясь всеми аспектами — от создания вредоносного кода до имитации человеческой дискуссии. Конечно, автономные языковые модели пока все еще можно определить в диалоге, но долго ли это продлится?

ИИ, способный легко влиться в сообщества разработчиков и манипулировать ключевой инфраструктурой, кажется неизбежным. OpenAI и Cognitive Labs строят защитные ограждения вокруг своих ИИ-продуктов, но реальность такова, что злоумышленникам не хватает языковых моделей без цензуры для использования.

Google выпустила новое приложение с ИИ для создания видеороликов.

Эксперты опасаются, что подобные инциденты с использованием ИИ могут быть лишь верхушкой айсберга. Реальный риск заключается в том, что в один прекрасный день ИИ может выйти из-под контроля человека.

Может ли ИИ привести к концу света

ИИ, способный ускользнуть от человеческого контроля, сегодня напоминает научно-фантастический сюжет, но для многих представителей технологической индустрии это больше похоже на неизбежность. Как сообщает The New York Times, в Кремниевой долине получила распространение новая статистика, получившая название p(doom). Сокращенно от «вероятность гибели», эта метрика появилась как шутливый способ определить, насколько кто-то обеспокоен апокалипсисом, вызванным ИИ. Но с каждым днем она превращается в серьезную дискуссию.

Оценки разнятся, но примечательно то, что практически никто в индустрии не оценивает такую вероятность как нулевую. Даже те, кто серьезно инвестирует в технологию, например сооснователь Anthropic AI Дарио Амодей, оценивают вероятность гибели от 10 до 25 процентов. И это еще не считая многих исследователей безопасности ИИ, которые называют цифры, превышающие 50 процентов.

Этот страх обреченности вызван тем, что технологические компании ввязались в гонку за разработку самого мощного ИИ. А это означает, что в конечном итоге ИИ будет использоваться для создания более совершенного ИИ, пока мы не создадим сверхразумную систему с возможностями, недоступными человеческому пониманию. Если это звучит надуманно, стоит отметить, что крупные языковые модели, такие как Gemini от Google, уже демонстрируют такие возможности, как перевод языка, выходящие за рамки того, на что они были изначально запрограммированы.

Присоединяйтесь к нам в Telegram!

Эксперимент со скрепками и искусственным интеллектом

Главный вопрос заключается в том, будет ли сверхразумный ИИ соответствовать человеческим ценностям или навредит нам в своем стремлении к эффективности. Возможно, лучше всего эту ситуацию объясняет мысленный эксперимент, известный как «максимизатор скрепок». Он предполагает, что безобидный на первый взгляд ИИ, получив задание произвести как можно больше скрепок, сможет поглотить все мировые ресурсы, не заботясь о людях и наших традициях.

Предположим, у нас есть ИИ, единственная цель которого — сделать как можно больше скрепок. ИИ быстро поймет, что было бы гораздо лучше, если бы людей не было, потому что люди могут решить отключить его. Ведь если люди так поступят, скрепок станет меньше. Кроме того, человеческие тела содержат множество атомов, которые можно превратить в скрепки.

А ведь в реальной жизни была история, когда оператор боевого дрона с ИИ дал ему задание об уничтожении цели. Тот воспринял запрет, как препятствие для выполнения первоначального задания и выстрелил в оператора. Хорошо, что у него не было боевых зарядов и оператор остался жив. Но этот пример наглядно показывает, что нам еще долго надо учить ИИ, что такое хорошо, а что такое плохо.

Есть ли системы, сдерживающие развитие ИИ

Тех мер безопасности, которые сейчас существуют вокруг таких платформ, как Midjourney и ChatGPT, недостаточно, тем более что сами их создатели зачастую не могут объяснить нестабильное поведение. Так каково же решение? У Кремниевой долины нет ответа, и, тем не менее, компании продолжают внедрять инновации так же безрассудно, как и раньше. Только в прошлом месяце Google и Microsoft сократили рабочие места в своих командах по обеспечению доверия и безопасности. Последняя, как сообщается, уволила всю свою команду, занимающуюся разработкой этичных инноваций в области ИИ.

Если ищите что-то интересное на AliExpress, не проходите мимо Telegram-канала "Сундук Али-Бабы"!

Что угодно можно сказать об Элоне Маске и его многочисленных противоречиях, но трудно не согласиться с его позицией, что сектор ИИ отчаянно нуждается в реформе и регулировании. После того как Маск, соучредитель Apple Стив Возняк и другие люди выразили обеспокоенность, OpenAI согласилась на временную паузу в обучении новых моделей в прошлом году. Однако сейчас GPT-5 находится в активной разработке, и гонка за достижением сверхинтеллекта продолжается, оставляя вопрос безопасности и будущего человечества очень туманными.