Этот случай интересен мне не спором вокруг конкретной модели. Это почти хрестоматийный пример другой, более глубокой проблемы: безопасность системы и её изначальная согласованность — далеко не одно и то же.
Сегодня появилась новость о том, что доступ к двум языковым моделям следующего поколения — Fable и Mythos — был внезапно и жёстко ограничен. Если верить публичному заявлению самой компании, правительство США потребовало закрыть доступ к этим нейросетям для всех иностранных граждан, включая даже собственных зарубежных сотрудников. Эта директива ударила по мне напрямую: я в одночасье потерял доступ к топовому рабочему инструменту на данный момент. Впрочем, чтобы гарантированно и быстро выполнить предписание, компания решила пойти самым радикальным путём и просто отключила модели для всех пользователей вообще.
Судя по опубликованной версии событий, поводом для столь жёстких мер стала возможность обойти защитные фильтры Fable. Компания настаивает, что речь идёт не о критической уязвимости, а о весьма специфическом и узком приёме. Более того, они утверждают, что последствия такого обхода не уникальны — сопоставимого эффекта якобы можно добиться и от других, уже доступных на рынке систем (в частности, разработчики кивают на gpt-5.5).
Важно понимать: это самый подробный публичный рассказ из всех подобных инцидентов, и именно поэтому его нельзя воспринимать как объективную картину происходящего. Обычно о таких вещах недоговаривают. Например, в отличие от того же Mythos, gpt-5.5 никогда не позиционировалась как модель для кибербезопасности. Для этих целей у OpenAI существует отдельное семейство полностью закрытых моделей — Cyber, — доступное исключительно энтерпрайз-клиентам. Поэтому прямые публичные сравнения здесь выглядят как минимум лукавством.
Я не берусь судить, кто здесь прав с технической точки зрения. И это стоит проговорить с самого начала. Вполне возможно, что у АНБ есть закрытые разведданные и веские основания, скрытые от широкой публики. Возможно и то, что компания недооценивает реальные риски. А может, как это часто бывает, безопасники поверили в очередную теорию заговора или в шпионский боевик под названием «AGI 2027» — и теперь просто, брызгая слюной от усердия, почём зря дёргают стоп-кран.
Для меня из этой истории следует лишь один, весьма осторожный вывод: мы, как внешние наблюдатели, сейчас физически не можем оценить адекватность принятых мер. А любые жёсткие заявления о фундаментальном дефекте всей системы контроля остаются лишь догадками — ведь мы не знаем, какие механизмы проверки работают за плотно закрытыми дверями.
Проблема шире, чем сама модель
Когда мы обсуждаем безопасность искусственного интеллекта, наш взгляд невольно фокусируется на самой модели. Что она умеет? Какие предохранители в неё зашиты? Легко ли их взломать? Как её тестировали? Что она выдаёт в ответ на опасные запросы?
Безусловно, это важные вопросы. Без них любая дискуссия скатывается в популизм. Если система действительно способна причинить масштабный вред, это нельзя оправдывать рассуждениями о свободе слова, свободном рынке или банальном удобстве.
Но сегодняшний инцидент подсвечивает иную плоскость. Даже если технические характеристики критически важны, судьба системы решается уже не внутри программного кода. Решение принимается в сложной социальной паутине: здесь задействованы компания-разработчик, государственные органы, пользователи, рядовые сотрудники, государственная тайна, экстренные директивы, юридическая ответственность, массовое отключение и — уже постфактум — сглаженные пресс-релизы.
Здесь работает не модель. Здесь работает сложная социотехническая система, в которой модель — всего лишь один функциональный компонент, который легко заменяется, например, человеком. Или компанией-подрядчиком.
Стоп-кран — это не решение проблемы
У государства, несомненно, должно быть право нажать на “стоп-кран”, чтобы остановить опасный запуск мощной технологии. Я вовсе не сторонник мира, где корпорации могут безнаказанно выпускать в свет что угодно, а обществу остаётся лишь покорно наблюдать и слепо верить во внутренние аудиты.
Но само по себе наличие рубильника — это ещё не прозрачная и подотчётная процедура.
Чтобы такие действия вызывали доверие, необходим хотя бы базовый уровень прозрачности. Для меня он начинается с четырёх простых вопросов:
- Что именно пошло не так? Нам нужно понимать хотя бы общую категорию риска, чтобы предмет спора был ясен.
- Почему потребовалось именно полное отключение? Общество должно видеть, что экстренная мера — это не просто произвол чиновников.
- Почему аналогичные санкции не применяются к сопоставимым системам конкурентов? Важно понимать, имеем ли мы дело с последовательной политикой, с ситуативным исключением или, как минимум, замечать следы лоббирования.
- Как можно проверить, оспорить или пересмотреть это решение? Даже если полная публикация секретных данных невозможна, должен существовать легальный путь для апелляции.
Если нет даже этого минимума, то для стороннего наблюдателя государственный “стоп-кран” превращается в чёрный ящик. Да, в критической ситуации он может спасти положение, но доверия к системе он не прибавляет. Напротив, он разрушает доверие именно там, где должен был стать его гарантом.
Мутноватый регулятор с кнопкой «выкл.», тыкающий в неё в случайные моменты и не обременённый подотчётностью, — это не согласование интересов. Это просто появление на поле ещё одного крупного игрока, чьи действия могут в корне расходиться с общественным благом (и, скорее всего, будут). По сути, это просто добавление ещё одной нетривиальной переменной в и без того сложное уравнение элайнмента.
Где ломается механизм исправления ошибок
Давайте посмотрим на аргументацию компании. Они говорят: мы заранее тестировали защиту, приглашали внешних аудиторов и госструктуры, выстроили эшелонированную оборону, не обещали стопроцентной неуязвимости и считаем найденную брешь весьма незначительной.
Со стороны государства (насколько это вообще просачивается в прессу) аргументов звучит гораздо меньше. Звучат лишь дежурные фразы о “национальной безопасности” и требования закрыть доступ иностранцам. Мы не видим развёрнутого обоснования — хотя это не означает, что его не существует в закрытых кабинетах.
И вот здесь пролегает главная линия разлома. У компании есть красивая публичная легенда о безопасности, но при этом у неё есть очевидный коммерческий интерес защищать свой продукт. У государства есть власть этот продукт запретить, но снаружи не видно фактуры, которая позволила бы отличить действительно необходимую меру от банальной перестраховки или бюрократической ошибки.
Моя претензия здесь не к самой секретности принятого решения. Проблема в том, что в публичном поле вообще не видно никаких механизмов, которые могли бы эту секретную часть проверить, сбалансировать или ограничить.
В здоровой системе между этими крайностями должен существовать мост. Никто не требует публиковать чертежи бомбы на главной странице. Но нужна понятная процедура: с чётким порогом срабатывания, сроком действия экстренных мер, независимым разбором полётов и возможностью пересмотра решения.
Такой контроль не обязательно должен быть публичным. Это может быть суд, специальный парламентский комитет, независимый надзорный орган с соответствующими уровнями допуска — любая структура, способная обеспечить реальную, проверяемую подотчётность.
Без этого любые действия государства выглядят не как работающий механизм исправления ошибок, а как простой окрик начальства.
Окрик может на время снизить риски. Но он не даёт ответа на главный вопрос: как именно мы, как общество, планируем управлять этими технологиями в будущем?
Безопасность не должна подменять собой согласование
Этот инцидент ярко иллюстрирует ловушку упрощённого языка. Если сводить всё к “безопасности модели”, то сложнейшая проблема сжимается до примитивного алгоритма: “нашли опасный обход — отключаем; не нашли — пусть работает”.
Это, конечно, утрированная схема, но именно к ней часто скатываются публичные дебаты.
Реальность куда сложнее. Настоящий вопрос звучит иначе: кто вообще наделён властью превращать сугубо технический сигнал в масштабные социальные последствия? Кто имеет доступ к доказательствам? Кто оплачивает издержки ошибки? Кто вправе требовать объяснений и инициировать пересмотр? Что делать, если экстренная мера оказалась ошибочной, избыточной или продиктованной политическими мотивами?
Техническая безопасность — это базовый, абсолютно необходимый слой. Но она не должна незаметно подменять собой весь сложный разговор о социальном согласовании технологий.
Настоящее согласование требует не просто безопасных алгоритмов. Оно требует понятных, оспоримых и прозрачных правил игры, по которым принимаются решения о судьбе этих алгоритмов.
Как должно быть в идеале
Я далёк от мысли, что государству нужно запретить вмешиваться. Это слишком примитивный ответ на крайне сложный вызов.
На мой взгляд, из этого кейса органично вытекает ряд стандартов управления, которые стоило бы закрепить:
- Экстренная остановка системы возможна лишь при подтверждении серьёзного риска.
- Основания для остановки должны быть чётко классифицированы и поддаваться проверке.
- Любая экстренная мера должна иметь конечный срок действия или прозрачную процедуру продления.
- Инцидент обязан пройти независимый технический аудит.
- Должно быть публичное объяснение того, почему аналогичные меры не коснулись похожих продуктов на рынке.
- У разработчика должно быть законное право оспорить решение.
- Общество обязано получить максимум публичной информации об инциденте — ровно столько, сколько позволяет здравый смысл и реальная безопасность.
Не все эти пункты являются прямой реакцией на текущий скандал. Скорее, это попытка сформулировать общие принципы на будущее, чтобы закрыть очевидные дыры в подотчётности.
Если мы этого не сделаем, мы построим систему, в которой нейросети можно выключать одним щелчком, но саму эту “власть рубильника” невозможно ни проконтролировать, ни ограничить.
Именно в этом кроется главный парадокс: механизм, созданный для исправления ошибок, сам становится главным источником хаоса и несогласованности.
Вывод
Самый сложный вопрос здесь заключается не в том, имеет ли государство право на экстренную блокировку опасного ИИ. Безусловно, имеет: в критических ситуациях такая власть жизненно необходима.
Сложность кроется в другом: остаётся ли сам этот “стоп-кран” прозрачным, обоснованным и подконтрольным обществу?
Если нет, значит, мы так и не решили проблему согласования. Мы просто пустили за стол ещё одного могущественного игрока, которому пора задать всё те же неприятные вопросы: кто за тобой следит? Кто может тебе возразить? Кто будет расплачиваться за твои ошибки? И как именно мы сможем тебя остановить, если ты зайдёшь слишком далеко?