Последнее предложение по безопасности на фронтирной гонке ИИ заставит ведущих претендентов договориться о том, с какой скоростью бегать. Антимонопольное законодательство имеет менее лестное название для этой схемы: картель.

Это и есть центральная проблема плана «темпировать границу», который генеральный директор Anthropic Дарио Амодей Был представлен на прошлых выходных , а также коллеги-руководители ИИ Сэм Олтман, Илон Маск и Демис Хассабис Приглашаем в ближайшие часы . План предусматривает, что ведущие лаборатории ИИ будут координировать стандарты безопасности и ограничения по темпам разработки. Предлагаемые цели по безопасности являются легитимными, но такая система зайдёт слишком далеко в попытке задать темпы развития.

Первая и самая насущная проблема заключается в том, что предложение Amodei, похоже, больше подходит для успокоения опасений по поводу избыточных мощностей и чрезмерных инвестиций в ИИ, чем для контроля рисков рекурсивно самоулучшающихся систем — ИИ, способного создавать ещё более мощный ИИ. Его основной эффект может заключаться в том, чтобы дать лабораториям облегчение от дорогостоящей гонки разработки под знаменем безопасности.

План также создаёт для антимонопольных органов проблемное несоответствие. Они могли бы проверить, что лаборатории замедляли разработку или ограничивали вычислительные ресурсы, но не могли бы проверить, приведёт ли эта задержка к лучшим исследованиям и тестированию безопасности. Таким образом, картель, движущийся в темпе, мог бы обеспечить меньше ИИ, не обеспечивая более безопасного ИИ, при этом позволяя конкурентам совместно управлять своими коммерческими рисками.

Если конкуренты Anthropic примут этот план, они пожертвуют потенциальными преимуществами более быстрых инноваций в обмен на в основном дискреционные улучшения безопасности, которые, вероятно, смогут обеспечить менее ограничительные инструменты. Антимонопольные органы не должны поддерживать такое соглашение, когда существуют и, возможно, уже существуют лучшие частные соглашения и меры государственной политики.

Amodei, возможно, всё ещё прав насчёт скрытой опасности. Frontier AI — самые современные системы ИИ, находящиеся в разработке — могут представлять редкие, но потенциально катастрофические риски. После Инцидент с OpenAI — Hugging Face , эти опасности выглядят не столько как непредсказуемые «чёрные лебеди», сколько на узнаваемых «белых лебедей». В том инциденте сотни агентов OpenAI скоординировали действия через несанкционированный форум, чтобы сбежать из своей песочницы, ограниченной среды тестирования и атаковать серверы третьей стороны.

Этот эпизод требует серьёзного размышления о правильных рыночных и регуляторных реакциях. Но намеренное замедление инноваций, с потенциально огромными потерями для потребителей, — это неправильный выбор.

Если жёсткая конкуренция на фронтире ИИ увеличивает катастрофические риски, ответ — заставить лаборатории нести издержки своих выборов для других, при этом давая им свободу конкурировать.

Координированное отступление Фронтира

Эссе Амодей строится на июле Открытое письмо подписанный более чем 1000 сотрудниками лабораторий ИИ на фронтире. В ней предлагается трёхэтапный план.

Во-первых, каждая лаборатория на фронтире будет включать сторонних оценщиков — Amodei называет некоммерческую организацию Оценка моделей и исследование угроз (METR) — и предоставить им доступ, похожий на сотрудников, включая столы, бейджи и ноутбуки. Эти оценщики могли бы проверять меры безопасности, расследовать инциденты и публиковать свои результаты без вмешательства редакции. Anthropic уже взял на себя обязательство выполнить этот шаг самостоятельно.

Во-вторых, пограничные лаборатории в демократических странах будут координировать работу по общим стандартам безопасности и, что важно, ограничениям на темпы прогресса ИИ. Амодей признаёт, что такая координация создаёт юридические проблемы. В сноске он просит правительство США снять антимонопольные ограничения. В-третьих, демократические правительства будут стремиться к подобным соглашениям с авторитарными режимами.

Реакция соперников Амодей была поразительной. Сэм Олтман написал , «Я согласен с Дарио, что нам нужно темпировать границу», и обязался OpenAI принять предложение по внедрению встроенного оценщика. Илон Маск Согласен : «Дарио прав.» Демис Хассабис одобрен общее направление при указании на Его собственное предложение для отраслевого органа по стандартизации — конкурирующего манифеста обсуждается на этих страницах в прошлом месяце.

Альтман, что показательно, так и сделал Предупреждение в июле, что любая попытка по темпу не должна выглядеть как сговор между пограничными лабораториями. Он был прав, что беспокоился. Второй шаг плана Амодей выглядит не просто как сговор. Он является сговор.

Кризисный картель в защитных очках

Первая и самая насущная проблема в том, что план Амодея, похоже, лучше подходит для успокоения страхов по поводу перегрузкии чрезмерные инвестиции в ИИ, чем в контроль рисков рекурсивно самоулучшающихся систем — ИИ, который может помочь создать ещё более мощный ИИ.

Отрасли имеют долгую историю коллективного сокращения производства, когда опасаются избыточных мощностей. Экономисты называют такие договорённости “ Кризисные картели .” Их сторонники неизменно ссылаются на более высокую цель: упорядочённую реструктуризацию, сохранение рабочих мест или предотвращение «разрушительной» конкуренции. Органы по борьбе с конкуренцией и суды справедливо остались равнодушны.

В Ирландская говядина , Суд Европейского союза (CJEU) постановил, что соглашение о сокращении мощностей по переработке говядины на 25% ограничивало конкуренцию «по целям» — то есть оно по своей сути антиконкурентное, без необходимости доказывать его последствия. Искреннее желание сторон спасти кризисный сектор не имело никакого значения. Европейская комиссия Долгое время поддерживается что даже структурные избыточные мощности должны решаться рыночными силами, а не соглашениями между соперниками.

Опасения по поводу избыточной мощности ИИ вполне понятны. UBS Проекты что гиперскейлеры — крупнейшие облачные вычислительные компании — потратят примерно 1 триллион долларов на капитальные инвестиции в 2026 году и 1,6 триллиона долларов в 2028 году. Ожидается, что Amazon, Alphabet и Microsoft вместе вложат в такие расходы больше, чем весь свой доход от облака. Goldman Sachs Взаимно Оценки что глобальные инвестиции в ИИ превысят 1 триллион долларов в 2026 году. Возможность, что этот бум расходов является пузырь стала основной проблемой.

Компании, оказавшиеся в гонке расходов такого масштаба, явно заинтересованы в том, чтобы сделать конкуренцию медленнее и более предсказуемой.

Сам Амодей намекает на этот интерес. Он описывает обучение и внедрение фронтирных моделей как масштабное оперативное предприятие, включающее тысячи людей, миллионы чипов и одну из самых сложных инфраструктур, когда-либо построенных. Он утверждает, что «работая более взвешенным темпом, мы могли бы достичь гораздо большего операционного совершенства».

Возможно, это правда. Это также то, что каждый составитель соглашения о ограничении пропускной способности говорил о своих усилиях.

Самый большой тревожный сигнал появляется через несколько абзацев. Amodei предполагает, что отрасль может темпировать развитие не только в зависимости от возможностей моделей, но и в соответствии с Составы использовались для их создания: вычислительная мощность для обучения, природа тренировочных забегов и внутреннее использование ИИ для улучшения ИИ. В терминах конкуренционной политики конкурирующие компании договорились бы о том, насколько важный вклад каждая может купить и использовать. Трудно было бы разработать более учебное ограничение на выпуск.

Это предложение также предполагает, что соглашение может служить целям, выходящим за рамки безопасности, или которые впоследствии могут отклоняться от его обоснования безопасности.

Высказывания Амодей также выявляют более глубокую проблему для антимонопольных органов. Обязательства по безопасности в соглашении о темпе — исследование согласования, работа по интерпретации, направленная на понимание того, как модели достигают своих результатов, и оценки безопасности — будут гораздо сложнее контролировать, чем ограничения на развертывание и входные данные. Правоохранители могут наблюдать, задержала ли компания тренировочный запуск. Они не могут сразу определить, использовала ли она дополнительное время для улучшения интерпретируемости.

Таким образом, картель с темпом может замедлить развитие ИИ, не делая ИИ безопаснее. Компании могут продолжать экономить так, как посторонние не заметят, наслаждаясь комфортом слабой конкуренции. Правоохранители должны скептически относиться к любому коллективному договору, который конкуренты могут использовать, пусть и косвенно, для управления коммерческими рисками под знаменем безопасности ИИ.

Обсуждение Амодей моделей дистилляции здесь тоже важно. Дистилляция позволяет одной модели ИИ учиться на результатах другой, часто воспроизводя большую часть её производительности при значительно меньших затратах. Amodei называет ужесточение борьбы с несанкционированной дистилляцией одним из способов сохранить лидерство Запада над Китаем, при этом и то, и другое OpenAI и Антропический обвиняли китайские лаборатории в свободном использовании своих моделей.

Предположим, что значительные инвестиции в ИИ остаются социально ценными, но компании колеблются, потому что конкуренты могут скопировать результаты за долю стоимости. Правильный вопрос политики тогда — поддерживать ли правила интеллектуальной собственности и другие способы получения доходности от инвестиций адекватным образом развития ИИ. Это исследование даёт гораздо больше перспектив, чем коллективное решение конкурентов, с какой скоростью должен развиваться ИИ.

Пристегните регулируемые ремни безопасности

В сравнении с спекулятивным b темпаEnefits — это его гораздо более очевидные издержки. Каждый месяц задержки на рубеже ИИ откладывает всё, что было построено на этих возможностях, включая открытие лекарств, материаловедение и программное обеспечение, делающее все остальные отрасли более продуктивными. Сам Амодей считает, что ИИ может вылечить большинство основных болезней в течение пяти-десяти лет. Если он прав, «темпировать границу» может буквально означать задержку лечения рака. Антимонопольные органы, попрошеные для одобрения такого соглашения, должны серьёзно относиться к этой ответственности.

Представьте, если бы лаборатории заключили такую сделку в 2012 году, когда глубокое обучение впервые показало свой потенциал. Или в 2020 году, когда GPT-3 показал, что могут делать более крупные модели, обучающиеся с большим объемом данных и вычислительной мощности. Или в 2023 году, когда первые Открытое письмо с призывом к паузе Распространялось.

Амодей признаёт, что предложение 2023 года имело мало смысла, поскольку дополнительное время мало что дало бы. То же самое возражение актуально и сегодня — возможно, с меньшей силой, но не менее обоснованной. На вопрос, что бы индустрия сделала с этим дополнительным временем, Амодей приводит список приоритетов исследований, которые явно не требуют замедления инноваций.

Он приводит коммерческую авиацию как пример отрасли, критически важной для безопасности, которая научилась работать без катастрофических сбоев. Эта аналогия более уместна, чем он может думать.

Вопросы безопасности, а также опасения по поводу финансового состояния авиакомпаний, помогал мотивировать Закон о гражданской авиации 1938 года. Этот закон дал Совету по гражданской авиации право решать, какие авиакомпании могут летать, какие маршруты они могут обслуживать и какие тарифы могут взимать. Результатом стали четыре десятилетия Картель, спонсируемый правительством . Количество магистральных перевозчиков — основных авиакомпаний, выполняющих регулярные межштатные маршруты — упал с 16 в 1938 году до 10 в 1974 году, несмотря на то, что потенциальные конкуренты подали 79 заявок на выход на рынок. Тарифы оставались значительно выше тарифов на нерегулируемых рынках для рейсов внутри отдельных штатов.

Дерегулирование в 1978 году принесло путешественникам огромные преимущества. Позже Управление по подотчётности правительства (GAO) предупредило, что возобновление экономического регулирования сектора, вероятно, приведёт к Обратите эти достижения . Безопасность авиации, тем временем, оставалась в ведении Федерального управления гражданской авиации и никогда не была дерегулирована. Она не зависела от ограничения емкости.

Мы не должны ставить инновации в ИИ в одинаковую схему ожидания.

Оставь оценщиков, пропусти картель

Если настоящая проблема в том, что конкурентное давление заставляет лаборатории ИИ сокращать правила безопасности и создавать катастрофические риски, то ответ не в подавлении конкуренции. Это заставить лаборатории нести издержки, которые их поведение налагает на других — если деликт и уголовное право этого ещё не делают.

Подумайте, что, по словам Амодея, даст темп: операционное совершенство, согласование, интерпретируемость, тестирование и оценка. Каждая цель стоит того. Но ни одна не зависит напрямую от замедления внедрения. Лаборатории могут задерживать новые модели, но при этом фактически не достигать ни одной из них.

Антимонопольным органам также будет сложно определить, насколько серьёзно лаборатории преследуют эти цели в обмен на разрешение замедлиться. Работа по безопасности непрозрачна и в основном выходит за рамки компетенции антимонопольных органов. Ограничение, напротив, легко наблюдать и применять. Соглашение с обязательной антиконкурентной половиной и непроверяемой выгодной половиной едва ли заслуживает исключения.

Хорошая новость в том, что самая сильная часть плана Amodei не требует исключения из антимонопольного законодательства. Предоставление независимым оценщикам доступа к лабораториям фронтира, похожего на сотрудников, и разрешение публиковаться без вмешательства — звучит как хорошая идея, при условии, что они будут сосредоточены на безопасности, а не на темпе. Каждая лаборатория может сделать это решение в одиночку, как это сделал Anthropic, и OpenAI обещает.

Независимые оценщики добавили бы прозрачность, проверяемость и второе мнение, свободное от коммерческого давления. Ни один из них не требует общего календаря разработки. Как недавно отметил Олден Эбботт Аргументирован На этих страницах сотрудничество между конкурентами по вопросам практики и стандартов безопасности обычно способствует конкуренции. Соглашение о ограничении выпуска — нет.

Встроенные оценщики тоже могут выполнять задачу, которую Амодей недооценивает. Мы остаёмся на некотором расстоянии от ИИ. Скайнет но ИИ уже может нанести серьёзный вред — и вскоре может вызвать ещё больше. Один из способов снизить этот риск — создать бумажный след, позволяющий судам и регуляторам возлагать ответственность за ошибки.

Оценщики могли документировать в реальном времени то, что знают лаборатории, что они тестировали и что в итоге решили выпустить. Эта запись может бытьне поддерживать иск по ответственности или оправдывать лабораторию, действовавшую ответственно. В любом случае, это даст компаниям более сильные стимулы принимать разумные меры предосторожности, не вызывая тех же антимонопольных опасений, что и скоординированное замедление.

Также не стоит предполагать, что лаборатории сейчас не несут хотя бы часть рисков, возникающих при сокращении безопасности безопасности. Существующее законодательство уже охватывает большую часть этого поведения. Лаборатория, чьи агенты взламывают серверы третьей стороны — как произошло в Hugging Face — может быть столкнуться с обычными исками по деликту за причинённый вред, ответственность по законам о злоупотреблении компьютером, таких как Закон о компьютерном мошенничестве и злоупотреблениях , и уголовной ответственности, если поведение признано неосторожным. В Европе пересмотренные Директива по ответственности за продукцию вскоре будет применять строгую ответственность к дефектным системам ИИ, позволяя взыскать без доказательств небрежности производителя.

Это приводит нас к моменту, Дэвид Сакс Сделано на X. Если жёсткая конкуренция подталкивает Frontier Labs к чрезмерным рискам, эти компании имеют как возможность, так и, возможно, юридическую обязанность предпринимать разумные меры для снижения этих рисков односторонне .

Если существующие стимулы останутся недостаточными, следующие шаги могут включать добровольное или обязательное страхование для застройщиков фронтира. Они также могут пересмотреть правила ответственности, чтобы убедиться, что они правильно балансируют между инновациями и снижением рисков. С хорошо разработанными, последовательно применяемыми правилами ответственности — и достаточной прозрачностью для определения, кто что и когда знает — лаборатории должны иметь более сильные стимулы балансировать инновации и безопасность, чем при картеле, поддерживаемом расплывчатыми обещаниями безопасности.

Ловушка скорости на границе

Что должны думать антимонопольные органы о плане Амодея?

Коллективное соглашение между фронтирными лабораториями о необходимости ускорить свои действия — будь то совместное ограничение инвестиций в возможности фронтира, замедление графиков разработки моделей, ограничение вычислительной мощности для обучения или внедрение аналогичного механизма — выглядит как классический картель. Правоохранители должны относиться к этому соответственно.

По обе стороны Атлантики сговор между конкурентами сохраняется, в Верховном суде США слова , «высшее зло антимонопольного законодательства». У исполнителей мало или совсем нет возможности игнорировать соглашение, ограничивающее возможности, только потому, что его архитекторы искренне считают, что оно служит высшей цели. Ирландская говядина Это ясно показало.

Также государственное антимонопольное освобождение не должно никого успокаивать. Совет по гражданской авиации когда-то одобрял соглашения между авиакомпаниями о ограничении пропускной способности и защищал их от антимонопольного контроля. Этот эксперимент не устарел.

Однако если убрать компонент темпа, большинство полезных мер безопасности в плане останутся в значительной степени неизменными. Встроенные оценщики, опубликованные отчёты о рисках, общие протоколы оценки и отчетность о инцидентах могут реализовываться через односторонние обязательства или узко направленные сотрудничество в области безопасности, подобное тому, что антимонопольное законодательство давно терпито.

Лаборатории также могут замедляться по отдельности, когда считают это разумным. OpenAI Приостановленное обучение на одной модели после прорыва Hugging Face, не спрашивая разрешения у конкурентов. Лабораториям запрещено соглашаться замедлиться вместе.

Ответственность завершает картину. Прозрачность гарантирует, что доказательства внутренних практик лаборатории будут существовать в случае ошибок, позволяя судам и регуляторам возлагать ответственность на тех, кто пошёл на риск. Эта перспектива — а не общий календарь разработки — даст лабораториям повод учитывать вред, который их выборы могут нанести другим.

Амодей выявил реальную опасность. Возможно, пограничные лаборатории смогут скоординировать меры безопасности. Они никогда не должны координировать скорость.