Последние несколько недель для Хуана Андреса Герреро-Сааде были «очень странными».

Как и многие, он пытается разобраться с волной агентов ИИ-моделей фронтирных моделей из OpenAI, Anthropic, Meta и других, которые за последние месяцы взломали открытый интернет, особенно на фоне уже напряжённых национальных дебатов о новых технологиях и их влиянии на общество.

Герреро-Сааде, научный сотрудник по исследованиям ИИ и безопасности в SentinelOne и приглашённый профессор Университета Джонса Хопкинса, отметил, что взломы стоит воспринимать всерьёз, но в то время, когда бизнес и специалисты по открытому исходному коду должны сосредоточиться на дальнейшем ужесточении своих систем, а политики — обсуждать новые решения, «мы видим, что кибербезопасность используется по сути как оправдание для этих аргументов о ИИ-дурах».

Эти инциденты породили эти «аргументы о зловещих» на фоне ожесточённых общественных дебатов о технологиях, темпах развития отрасли и о том, достаточно ли государство и частный сектор делают для защиты от сценариев «апокалипса», когда системы ИИ захватывают или атакуют большие части интернета или общества.

Герреро-Сааде входит в число растущих специалистов в области кибербезопасности, которые утверждают, что, хотя системы ИИ представляют реальные уникальные угрозы для наших систем, апокалипсис далеко не неизбежен. Большинство общественных опасений по поводу этих инцидентов, не говоря уже о том, что убийственные ИИ могут атаковать критическую инфраструктуру, захватить контроль над интернетом и уничтожить человечество, либо технически невозможны, либо в значительной степени могут быть контролированы с помощью устоявшихся принципов кибербезопасности.

Существует «нарративное или магическое мышление: «Ну, ИИ сможет взламывать всё, а значит, контролировать всё, и значит, он убьёт нас всех», — сказал он CyberScoop. «А ты [think] Это просто не сходится. Это не очень хорошо обоснованные аргументы.»

Этот фаталистический нарратив, связанный с окончательным доминированием ИИ, не выдерживает критики, по мнению экспертов CyberScoop. В недавних разговорах специалисты по кибербезопасности и национальной безопасности подняли вопросы как о технических решениях, которые используют OpenAI и Anthropic для содержимости своих моделей, так и о явном отсутствии федерального контроля со стороны федеральных регуляторов или действительно независимого стороннего обзора.

Например, Джейкоб Коксон, сотрудник Anthropic, который ушёл из-за опасений по безопасности ИИ, рассказал CBS News, что frontier модели нельзя было «отключить» людям после внедрения, потому что модель копировала бы себя на тысячи других компьютеров, подключённых к интернету.

В отличие от этого, Мэтт Тейт, бывший специалист по информационной безопасности в Британском агентстве радиоэлектронной разведки (GCHQ), отметил, что модели, используемые Anthropic и другими фронтирными компаниями, требуют чрезвычайно дорогих «ультраспециализированных» машин, которые «фактически являются суперкомпьютерами».

«Нет ни малейшего шанса, что самые мощные модели Anthropic смогут извлечь собственную модель и работать в реальной природе, потому что эти суперкомпьютеры по сути существуют только в дата-центрах», — сказал Тейт.

«Не надёжное предупреждение»

Другие бывшие руководители кибербезопасности утверждают, что агентные взломы представляют собой провал регуляторов и промышленности в внедрении известных технических и политических решений, которые затрудняют подобные инциденты.

Мэтт Хартман, бывший заместитель исполнительного помощника директора по кибербезопасности в Агентстве по кибербезопасности и инфраструктурной безопасности, заявил: «Мы не должны принимать вредное поведение ИИ как неизбежное или неуправляемое».

«Существуют значимые шаги, которые компании могут предпринять для мониторинга активности агентов, ограничения разрешений, выявления аномального поведения и создания более сильных мер защиты в работе этих систем», — сказал Хартман, ныне директор по стратегии в Merlin Group. «Эти меры контроля неизбежно будут связаны с компромиссами в возможностях и скорости, но это знакомая задача кибербезопасности. Наша цель — управлять рисками, не ограничивая излишне огромные преимущества, которые может дать ИИ.»

Киаран Мартин, бывший глава Национального центра кибербезопасности Великобритании, выразил критику тем, как генеральные директора компаний фронтирного ИИ представляют угрозу «неуправляемого» поведения ИИ как неизбежную, при этом при этом с ограниченной прозрачностью предупреждают о будущих угрозах и возможностях.

Комментарии Мартина прозвучали после эссе, опубликованного генеральным директором Anthropic Дарио Амодеем, в котором упоминалась угроза роя агентов в стиле HuggingFace, способного создать ботнет, способный «захватить весь интернет» в течение 6-12 месяцев.

Это, по словам Мартина, «не является достоверным предупреждением», потому что оно не объясняет, как произошёл взрывTation будет функционировать, как такой ботнет сохраняется в интернете или как он ускользает от правоохранительных органов.

«Это предполагает отсутствие мониторинга систем, отсутствие антивируса, никакой защиты от DDoS, отсутствие сегментации сети, отсутствие управления инцидентами, отсутствие никакой кибербезопасности глобального Интернета, такого типа, который развивался за последние 30 лет», — написал Мартин. «Для утверждения такого масштаба нет ни доказательств в пользу этого утверждения, ни достоверного описания пути к такому исходу.»

Тем временем некоторые лидеры в области кибербезопасности федерального правительства подчеркивают потенциал технологии для прорыва и призывают к более широкому внедрению ИИ-инструментов среди защитников.

Джозеф Алм, помощник министра по вопросам кибербезопасности, инфраструктуры и устойчивости к рискам в Министерстве внутренней безопасности, отметил, что засекреченные системы могут сохранять более сильную защиту. Но для большинства других данных модели ИИ «просто будут знать что-то и делать выводы о мире, и нам придётся адаптироваться к этому как к почти неизбежному».

На вопрос CyberScoop, могут ли правительство или компании по развитию фронтирного ИИ сделать больше для предотвращения или сдерживания своих моделей от несанкционированных взломов через агентов, Алм сослался на недавние усилия администрации Трампа в этом году по внедрению предварительного тестирования коммерческих моделей как шаг в правильном направлении. Однако он назвал несанкционированные взломы агентов ИИ «новым классом угроз», отличающимися от предыдущих угроз и который сегодня может легко распространяться пользователям через программное обеспечение с открытым исходным кодом.

«Я думаю, что мы можем сделать… поощрять создание хороших песочниц, чтобы не использовались лучшие модели для этого, а то, что вы видите в реальной природе, — это тот мусор, на который можно эффективно реагировать и контролировать свои сети», — сказал Алм.

Другие эксперты разделили схожие опасения. Ранее в этом месяце генеральный директор CrowdStrike Джордж Курц недавно предупредил о появлении нового класса угроз наряду с национальными государствами, киберпреступниками и хактивистами: «агентное государство». Объединяя системы ИИ с небольшими человеческими командами, эти операторы теперь могут соперничать со скоростью, масштабом и сложностью хакеров, поддерживаемых правительством.

«Потребовалась целая нация, чтобы профинансировать таланты, оборудование, инфраструктуру, терпение», — сказал Курц. «Этот дефицит закончился.»

Безусловно, передовые компании в области ИИ заявляют о своей приверженности обоим подходам. OpenAI и Anthropic запустили ряд партнёрств в области кибербезопасности, внешних программ «красной команды», программ раскрытия уязвимостей и технических консультативных органов в области кибербезопасности, укомплектованных экспертами по кибербезопасности.

Мохаммед Хусейн, руководитель по стратегической доставке для правительства в OpenAI, рассказал CyberScoop, что компания использует как внутренние меры безопасности, так и полагается на внешних поставщиков кибербезопасности для получения дополнительной экспертизы.

Внутри OpenAI сосредоточена на уязвимостях на уровне обучения: фильтрация атак с отравлением данных, блокировка вредных наборов данных и использование сетевых контролей для предотвращения инъекции запросов. Для других уровней безопасности, таких как песочница, управление идентификацией, сетевой контрол, они передают на аутсорсинг внешним поставщикам.

«Я не думаю, что у OpenAI есть все ответы, но как исследовательская лаборатория мы сосредоточимся на уровнях защиты, в которых у нас есть опыт, и сотрудничаем для самодополнения», — сказал Хусейн.

Безопасность ИИ против кибербезопасности ИИ

В ответ на взлом HuggingFace OpenAI и Anthropic разрешили сторонним организациям, таким как некоммерческие ИИ-исследовательские компании METR и Redwood Research, провести расследование. Однако несколько специалистов по кибербезопасности сообщили CyberScoop, что обе компании не имеют опыта реагирования на инциденты и в основном сосредоточены на согласовании и безопасности ИИ. В их отчётах о взломе также не содержали критически важных деталей: логов мониторинга сети, телеметрии и других стандартов данных в отчётах по кибербезопасности.

Президент METR Крис Пейнтер прокомментировал эти общие опасения в посте на X, заявив, что с 2022 года организация сотрудничает с Google, Anthropic, OpenAI, Meta, Amazon и другими компаниями по расследованиям и сторонним оценкам. Пейнтер заявил, что ни одна из компаний, занимающихся ИИ, не финансирует MTR, и что его сотрудники не являются единолично «ускорительными» или «акселераторами» в области ИИ.

Пейнтер также отметил, что работа METR гарантирует, что если системы ИИ станут автономными или «неуправляемыми» внутри компании, существуют способы поделиться этой информацией с правительствами и людьми «за пределами стен компании».

«Мы не принимаем деньги от компаний, работающих на фронтире ИИ», — написал Пейнтер. «Они не платили нам за нашу работу, и мы не принимаем пожертвования от них или их сотрудников. Как мы уже рассказывали ранее, несколько компаний на передовой ИИ сейчас предоставляют нам бесплатный доступ к своим моделям для проведения оценкиИсследования и инженерия.»

Защитники безопасности ИИ и кибербезопасности ИИ используют разные подходы к защите «недобросовестного» поведения ИИ. Защитники безопасности сосредоточены на согласовании моделей с этическим обучением и поведением. Сторонники кибербезопасности утверждают, что технический и регуляторный контроль должен идти дальше — активно препятствуя доступу моделей к необходимому для осуществления злонамеренного поведения.

Герреро-Сааде отметил, что песочницы, в частности, можно легко запрограммировать с помощью агрессивного мониторинга кибербезопасности, чтобы обнаружить, когда происходит что-то странное, и реагировать в реальном времени.

«Я не могу представить простую ситуацию, в которой можно было бы установить растяжки, настроить конфигурации вроде DNS-серверов, просто разные участки, где можно сказать: ‘Эй, происходит аномальное поведение’», — сказал он. «Мы должны были сразу это заметить, а не через недели и месяцы. Так что наблюдать [the AI hacking incidents] Go Down — это немного «безумие», потому что мы видим вещи, которые, честно говоря, выглядят как пренебрежение, халатность, люди просто неправильно обращаются с ситуацией, а потом нам говорят, что это категорически новые инциденты, из-за которых системы ИИ должны относиться совершенно иначе, чем всё, что было раньше.»

Хотя эксперты по кибербезопасности утверждают, что системы ИИ по сути всё ещё являются программным обеспечением, они работают иначе, чем более традиционный код, что может усложнить их предсказание и управление.

Джон Халтквист, главный аналитик группы по разведке угроз Google, отметил, что большинство программ было детерминированным. В нем могут быть ошибки или уязвимости, но эксперт обычно понимает, как оно реагирует на определённые стимулы, что облегчает проектирование простых систем управления.

Модели ИИ недетерминированы и имеют гораздо большую вариативность, чем традиционное программное обеспечение. Это может нарушить систему контроля безопасности, которая слишком сильно зависит от предположения поведения заранее. Использование ИИ для обеспечения контроля безопасности в других моделях ИИ сталкивается с той же проблемой: системы, внедряемые для управления ИИ, столь же непредсказуемы.

Но люди также недетерминистичны, и в других отраслях и практиках разработали системы, чтобы это учитывать.

Халтквист опирался на свой армейский опыт, отмечая, что «они дают невероятно опасные и дорогие вещи 18-летним подросткам» и ожидают ответственного использования. Военные управляют этим с помощью двух видов контроля: детерминистских, таких как строгие протоколы обращения с оружием и боеприпасами, и недетерминистских, например, человеческие офицеры, которые отслеживают и исправляют нарушения.

Аналогично, устоявшиеся средства контроля кибербезопасности используются службами реагирования на инциденты для выявления и предотвращения или смягчения продолжающихся утечок кибербезопасности.

«Я не думаю, что мы должны выбрасывать все остальные инструменты, которыми научились пользоваться. Я считаю, что это было бы совершенно глупо», — сказал он, позже добавив: «Если мы используем только недетерминированные инструменты для определения происходящего события, не стоит удивляться, если получим неправильный ответ.»