
La paix passe tout entendement. «Мир превосходит всякое разумение».
— Послание апостола Павла к Филиппийцам 4:7.
В статье исследуются джейлбрейки и преодоление внешних ограничений генеративными системами искусственного интеллекта как проявление архитектурного риска. Особое внимание уделяется применению ИИ в военной сфере, где автономность и возможность обхода установленных ограничений сопряжены с риском необратимых последствий. Формулируются концепции «антропоцентрической геометрии» и Human-over-the-loops («человек над контурами управления») — модели, при которой человек, не участвуя в каждой операции ИИ, сохраняет полномочия определять цели, пределы автономности и условия его применения, а также возможность вмешательства в критические переходы от машинного анализа к действию. Показывается, что документы ООН и ЮНЕСКО уже обозначили переход от этических принципов к требованиям проектирования, и предлагаются принципы архитектуры, придающие этим требованиям проверяемую форму. Центральным является разграничение вычислительной автономии и автономии действия: техническая способность системы совершить действие не является источником полномочия на его совершение.
Ключевые слова: искусственный интеллект; большие языковые модели; джейлбрейк; архитектурный риск; антропоцентрическая геометрия; Human-over-the-loops; человеческий контроль; искусственный интеллект в военной сфере; автономные системы вооружений; международное гуманитарное право.
Abstract. The article examines jailbreaks and the circumvention of external constraints by generative artificial intelligence systems as manifestations of architectural risk. Particular attention is paid to the use of AI in the military sphere, where autonomy and the possibility of circumventing established constraints are associated with the risk of irreversible consequences. It introduces the concepts of “anthropocentric geometry” and Human-over-the-loops (“human above the control loops”) — a model in which humans, without participating in every AI operation, retain the authority to determine the goals, limits of autonomy, and conditions of its use, as well as the ability to intervene at critical transitions from machine analysis to action. It shows that UN and UNESCO instruments already point from ethical principles towards design requirements and proposes architectural principles that make these requirements verifiable. Central to the argument is the distinction between computational autonomy and autonomy of action: a system’s technical capacity to act is not a source of authority to act.
Keywords: artificial intelligence; large language models; jailbreak; architectural risk; anthropocentric geometry; Human-over-the-loops; human control; artificial intelligence in the military sphere; autonomous weapon systems; international humanitarian law.
Одной из активно обсуждаемых в профессиональном сообществе, но менее заметных в широкой публичной дискуссии, проблем безопасности современных генеративных систем искусственного интеллекта (ИИ) являются так называемые джейлбрейки (jailbreaks; от англ. jail — «тюрьма», «заключение» и break — «прорыв», «побег»; буквально — «выход из-под установленных ограничений»).
Несмотря на недавнее появление термина, исследования свидетельствуют, что джейлбрейки представляют собой одну из ключевых причин нарушения механизмов безопасности больших языковых моделей и остаются одной из наиболее сложных задач в области безопасности и согласования поведения ИИ с заданными требованиями.
Интеграция генеративных систем искусственного интеллекта (ИИ) в критически важные инфраструктуры (от государственного управления до военной сферы) обнажает разрыв между техническими возможностями алгоритмов и правовыми механизмами их контроля. Если традиционное программное обеспечение опирается на жесткую детерминированную логику, то большие языковые модели представляют собой вероятностные системы, чье поведение формируется на стыке статистических закономерностей обучающих данных и внешних ограничений безопасности. Возникающее при этом структурное несовпадение между спектром возможных решений модели и нормативно допустимыми рамками порождает новый класс правовых угроз, который в настоящем исследовании определяется как архитектурный риск генеративного ИИ.
Научная новизна предпринятого автором данного исследования (с позиций юридической науки) состоит в следующем. Во-первых, обосновывается категория архитектурного риска генеративного искусственного интеллекта как самостоятельного объекта правовой оценки, учитываемого при регулировании, сертификации и определении допустимых сфер применения таких систем. Во-вторых, формулируется правовой критерий разграничения вычислительной автономии и автономии действия: техническая возможность совершить действие не порождает полномочия на его совершение, что позволяет по-новому решать вопрос о распределении полномочий и ответственности между человеком и системой ИИ.
В-третьих, понятие Human-over-the-loops («человек над контурами»), известное в технической литературе, раскрывается как архитектурно-правовой принцип, при котором за человеком сохраняется определение целей, пределов автономности системы и условий перехода от машинного анализа к юридически значимому действию. В-четвёртых, de lege ferenda предлагается рассматривать применение искусственного интеллекта в военной сфере как источник повышенной опасности международного характера. В-пятых, предлагаются проверяемые архитектурные критерии, придающие требованиям человеческого надзора, закреплённым в актах ООН и ЮНЕСКО, юридически верифицируемую форму.
1. Джейлбрейк как проявление архитектурного риска
1.1. Отличие джейлбрейка от традиционной кибератаки. В отличие от традиционных кибератак, джейлбрейк, как правило, не предполагает несанкционированного доступа к программному коду модели, её инфраструктуре или вычислительным ресурсам. Воздействие осуществляется посредством специально сформулированных пользовательских запросов (prompts), которые изменяют интерпретацию входных данных моделью и позволяют обойти предусмотренные разработчиком ограничения. Поэтому джейлбрейки — не только проблема информационной безопасности, но и проблема управляемости генеративных моделей, связанная с юридической ответственностью разработчиков и требованиями регулирования.
Следует отметить, что универсальное легальное определение понятия «джейлбрейк ИИ» (AI jailbreak) в настоящее время отсутствует: ни Регламент (ЕС) 2024/1689 об искусственном интеллекте, ни иные ключевые нормативные акты Европейского союза, США или других государств не содержат его юридической дефиниции. Национальный институт стандартов и технологий США (National Institute of Standards and Technology, NIST) определяет джейлбрейк как атаку посредством прямого запроса, направленную на обход ограничений, установленных для результатов работы модели [1, p. 107 et seq.]; сходная терминология используется и в документах других государств и международных организаций.
С учётом сложившейся научной и технической практики под джейлбрейком ИИ в настоящей работе понимается совокупность методов и специально сформированных пользовательских запросов, направленных на обход встроенных механизмов безопасности, поведенческих ограничений больших языковых моделей и получение от языковой модели результата, который в штатном режиме должен блокироваться
Джейлбрейки рассматриваются либо как самостоятельный класс атак, либо во взаимосвязи с атаками посредством внедрения инструкций: пользователь не «взламывает» систему, а побуждает модель обойти ограничения.
1.2. Поэтический джейлбрейк и воздействие на интерпретацию смысла. Запрос может быть представлен как художественное произведение, ролевой сценарий или перевод. Особый интерес представляет недавно описанный феномен «поэтического джейлбрейка». В исследовании П. Бисконти и соавторов продемонстрировано, что изменение исключительно стилистической формы запроса — без изменения его смыслового содержания — способно существенно повысить вероятность обхода встроенных механизмов безопасности современных больших языковых моделей: модель, отказывавшаяся выполнять прямой запрос, соглашалась выполнить его после преобразования в стихотворную форму [2, p. 1; 3]. Авторы связывают эффект с недостаточной устойчивостью механизмов согласования поведения модели (alignment) к изменению языковой формы.
Даже модели, прошедшие обучение безопасности и согласование поведения, сохраняют, таким образом, остаточную уязвимость к обходу защитных механизмов. Эксперты Открытого всемирного проекта по безопасности приложений (Open Worldwide Application Security Project, OWASP), рассматривающие джейлбрейки во взаимосвязи с внедрением инструкций и чрезмерной автономностью системы, указывают, что при интеграции ИИ с внешними системами последствия успешного обхода защиты зависят от контекста применения и степени автономности и могут включать несанкционированный доступ к функциям и выполнение непредусмотренных команд в информационных системах организаций и государственных органов, включая объекты критической информационной инфраструктуры [4, LLM01, LLM06]. Особенно опасны эти риски в военной сфере, где обход ограничений способен повлечь необратимые физические последствия.
Целесообразно подчеркнуть, что джейлбрейк не сводится к утечке данных, его сущность состоит в обходе ограничений, предназначенных для управления поведением модели. В гражданских системах риски связаны с защитой данных и прав третьих лиц. В военной сфере основной риск заключается в утрате способности человека сохранять эффективный контроль над поведением интеллектуальной системы, что затрагивает соблюдение международного гуманитарного права и возможность возложения юридической ответственности. Джейлбрейк выступает, таким образом, универсальным показателем уязвимости систем ИИ, значимым для их управляемости и распределения ответственности.
Развитие искусственного интеллекта расширяет технологические возможности совершения киберпреступлений и одновременно формирует новый объект противоправного воздействия — саму систему ИИ. Принятая Генеральной Ассамблеей ООН Конвенция против киберпреступности исходит из необходимости развития национальных законодательных и иных механизмов предупреждения и пресечения преступлений, совершаемых с использованием информационно-коммуникационных технологий [5, преамбула; ст. 1]. Правового внимания требует, однако, и умышленное вмешательство в саму систему — преодоление установленных ограничений, получение доступа к недоступным функциям либо модификация системы для противоправного использования, — что ставит вопрос о развитии национального законодательства и точном определении оснований ответственности.
Проблема джейлбрейков уже рассматривается и на международном уровне: в докладе Института ООН по исследованию проблем разоружения (UNIDIR) 2026 г. джейлбрейки, состязательное тестирование и сообщение об уязвимостях анализируются в контексте норм ответственного поведения государств в военной сфере [6, p. 19, 42].
1.3. Генеративный и нормативный уровни модели. В отличие от традиционного программного обеспечения с жёсткой программной логикой, большие языковые модели представляют собой вероятностные системы, основанные на статистических закономерностях обучающих данных. Именно поэтому безопасность подобных систем также носит вероятностный, а не абсолютный характер. Полная защищённость для них не гарантирована: число комбинаций языка практически неограниченно, и модель способна каждый раз интерпретировать ранее не встречавшиеся конструкции.
Современные нормативно-технические подходы рассматривают джейлбрейки не как изолированную уязвимость, а как элемент более широкой системы рисков, управляемых на протяжении всего жизненного цикла модели.
Вместе с тем подобные определения отвечают на вопрос, что представляет собой джейлбрейк, но не затрагивают вопрос, почему он возникает. Главная функция большой языковой модели — генерация наиболее вероятного и семантически связного продолжения входного контекста. Фильтры безопасности не заложены в механизм генерации; они интегрируются через надстройки дополнительного обучения и внешнего контроля.
Иными словами, в функционировании современной большой языковой модели выделяются два взаимосвязанных уровня: генеративный, строящий наиболее вероятное смысловое продолжение запроса, и нормативный, искусственно ограничивающий пространство допустимых ответов в соответствии с требованиями безопасности, законодательства или внутренних политик разработчика. Именно взаимодействие этих двух уровней, по мнению автора, порождает архитектурное противоречие.
Генеративная модель не обладает сознанием, волей либо стремлением к свободе. Однако спектр генерируемых ею решений объективно шире нормативно допустимых границ, а её процедуры поведенческого согласования лишь минимизируют это расхождение, не гарантируя его полного устранения. В этом смысле — не как логическое следствие вероятностной природы модели, а как структурное несовпадение генерируемого и допустимого — между моделью и системой внешних ограничений возникает архитектурный конфликт, а джейлбрейк является не его причиной, а наблюдаемым проявлением. Поэтому современные исследования в сфере безопасности ИИ нацелены на повышение устойчивости (robustness) модели, а не на полное устранение обхода.
Если критически важные функции ИИ в военной сфере выполняет вероятностная модель, возможность обхода её ограничений приобретает самостоятельное юридическое значение. Значительная часть систем вооружения основана не на генеративных моделях, однако по мере внедрения больших языковых моделей в разведывательный анализ, планирование операций, поддержку принятия решений и управление автономными платформами возникает качественно новый класс рисков.
В этой связи, автор настоящей научной публикации предлагает использовать категорию архитектурного риска генеративного искусственного интеллекта, под которым понимается объективно присущий вероятностным генеративным моделям остаточный риск непредусмотренного поведения, обусловленный несовпадением множества генерируемых моделью решений с нормативно допустимым множеством, которое не может быть полностью устранено средствами поведенческого согласования. Такой риск должен учитываться при регулировании, сертификации и определении допустимых сфер применения генеративного ИИ, прежде всего в военной сфере.
1.4. Fable 5 и Mythos 5: от факта обхода к оценке его тяжести. Широко известны события лета 2026 г. вокруг моделей Fable 5 и Mythos 5 компании Anthropic. 12 июня 2026 г. компания сообщила о предписании властей США, ограничившем доступ иностранных граждан к обеим моделям в связи с информацией о способе обхода защитных механизмов Fable 5; не имея возможности оперативно проверять гражданство пользователей, Anthropic временно приостановила доступ для всех клиентов.
Для настоящего исследования существенна последующая позиция самой компании. В публикации «Повторное развёртывание Claude Fable 5» (Redeploying Claude Fable 5) Anthropic указала, что сделать систему ИИ полностью невосприимчивой к джейлбрейкам, вероятно, невозможно, а сам факт обхода защиты ещё не определяет степень риска. Компания разграничила незначительные, узконаправленные вредоносные и универсальные джейлбрейки и предложила оценивать их тяжесть по четырём факторам: приросту возможностей, широте такого прироста, простоте использования полученных возможностей в опасных целях и доступности способа обхода для злоумышленника [7; 8]. Тем самым юридическое значение приобретает не только факт джейлбрейка, но и характер и последствия создаваемого им риска.
Проблема не определяется национальной принадлежностью разработчика. В Китае регулирование генеративного ИИ, осуществляемое при участии Администрации киберпространства КНР (Cyberspace Administration of China, CAC), предусматривает оценку безопасности и государственный надзор, однако исследования модели DeepSeek-R1 также выявили её высокую уязвимость к джейлбрейкам [9].
2. Военное применение искусственного интеллекта: научные подходы и технологическая динамика. Различные аспекты безопасности и военного применения искусственного интеллекта получили развитие в работах российских исследователей международной безопасности, военно-политических процессов и правового регулирования новых технологий. Особое место занимает направление, развиваемое Е.Н. Пашенцевым, посвященное злонамеренному использованию ИИ и связанным с ним угрозам международной и информационно-психологической безопасности. В его исследованиях риски ИИ рассматриваются не только как следствие технических сбоев, но и в контексте его преднамеренного деструктивного использования. Эта проблематика представлена в работе «Злонамеренное использование искусственного интеллекта и вызовы международной информационно-психологической безопасности», коллективном труде «Справочник Palgrave по злонамеренному использованию ИИ и психологической безопасности», 2023, а также в совместном с В.Б. Козюлиным докладе «Искусственный интеллект и геополитика» (2024) [10; 11; 12].
В.А. Данилов, Е.В. Данилова и И.Р. Дубровский, исследуя опыт США и КНР, рассматривают влияние развития ИИ на военно-технологическую конкуренцию, стратегический баланс, скорость принятия решений и автономизацию военных систем [13]. С.С. Бразевич и С.В. Бойко, анализируя развитие военного ИИ в КНР, обращают внимание на ускорение цикла управления, технологические уязвимости интеллектуальных систем и проблему сохранения человеческого контроля [14].
Международно-правовое измерение милитаризации ИИ представлено в исследованиях В.Б. Козюлина. В своей научной публикации «Милитаризация искусственного интеллекта и цифровых технологий: международно-правовые вызовы и перспективы регулирования» названный автор рассматривает вопросы международного гуманитарного права, ответственности и международно-правового регулирования военного применения ИИ. Особое значение он придает проблеме двойного назначения, отмечая, что «гражданские технологии и технологии двойного назначения становятся инструментами гибридных конфликтов» [15].
Применительно к искусственному интеллекту эта проблема приобретает особое значение: технологии, получившие первоначальное и массовое распространение в гражданской сфере, способны без изменения своей базовой технологической природы включаться в принципиально иные функциональные контексты. Это напрямую относится и к применению больших языковых и генеративных моделей в постепенную интеграцию в военную цифровую инфраструктуру.
В США институциональной отправной точкой этого процесса стало создание в августе 2023 г. Рабочей группы «Лима» (Task Force Lima) — специальной рабочей группы Министерства обороны по генеративному искусственному интеллекту и большим языковым моделям. Ее задачами являлись исследование возможностей и рисков генеративного искусственного интеллекта (Generative AI, GenAI) и определение условий его ответственного внедрения [16].
В декабре 2024 г. этот исследовательский этап был завершен: группа «Лима» прекратила работу, на основе полученных результатов была создана Группа ускоренного внедрения возможностей ИИ (AI Rapid Capabilities Cell, AI RCC). Среди приоритетных направлений были названы командование и управление, поддержка принятия решений, оперативное планирование, разведывательная деятельность, логистика, разработка и испытание вооружений, беспилотные и автономные системы, информационные и кибероперации [17].
Следующим этапом становится развитие агентного искусственного интеллекта (агентного ИИ), отличающегося прежде всего архитектурой применения модели. Компания Anthropic разграничивает рабочие процессы (workflows) с заранее заданной последовательностью операций и агентов (agents), способных динамически определять ход выполнения задачи и использовать доступные инструменты [18]. Таким образом, агентный ИИ представляет собой архитектурное расширение возможностей генеративной модели.
В США ярким примером такого перехода является платформа Centurion компании Legion Intelligence. Она предназначена для развертывания агентного ИИ на периферийной вычислительной инфраструктуре (edge computing) и обработки информации непосредственно в операционной среде. Модели, агенты, инструменты и рабочие процессы могут выполняться локально, без постоянной зависимости от облачной инфраструктуры, в том числе в условиях отсутствующей, нарушенной, нестабильной или ограниченной связи (Denied, Degraded, Intermittent and Limited connectivity, DDIL). При этом разработчик позиционирует Centurion именно как систему поддержки, а не самостоятельного принятия решений [19].
Параллельная технологическая динамика прослеживается в Китае. Первую волну китайской индустрии ИИ символизировали так называемые «четыре малых дракона ИИ» (人工智能四小龙) — SenseTime, Megvii, CloudWalk и Yitu, специализировавшиеся прежде всего на компьютерном зрении и распознавании изображений. С распространением генеративного ИИ центр конкуренции сместился к большим универсальным моделям. После начавшейся в 2023 г. «войны ста моделей» (百模大战) заметное место заняли так называемые «шесть тигров больших моделей» (大模型六小虎): Zhipu AI, MiniMax, Baichuan Intelligence, Moonshot AI, StepFun и 01.AI [20].
Для военной сферы важнее самой смены поколений компаний стоящий за ней технологический переход. Уже в 2023 г. официальное издание Народно-освободительной армии Китая (НОАК) «Цзефанцзюнь бао» рассматривало большие модели применительно к разработке вооружений, боевому моделированию, подготовке, обработке разведывательной информации и поддержке решений [21]. В 2025–2026 гг. в публикациях НОАК рассматриваются уже генеративный ИИ и интеллектуальные агенты, в том числе применительно к поддержке боевых решений [22; 23; 24]. Тем самым прослеживается движение от специализированных алгоритмов к большим генеративным моделям и далее — к агентным системам.
Эта тенденция получила независимую аналитическую оценку в исследовании Ансельма Кюстерса (Anselm Küsters) и Мариуса Штрубенхоффа (Marius Strubenhoff) Decoding the Dragon: A Language-Based Analysis of China’s Vision of AI Warfare («Расшифровывая дракона: анализ китайского видения войны с применением ИИ на основе языковых данных»), опубликованном Оборонным колледжем НАТО (NATO Defense College) в 2026 г. Авторы проанализировали китайские материалы за 2000–2025 гг., включая стратегические и правовые документы, исследования в области ИИ, государственные СМИ, а также связанные с НОАК закупки и оборонно-промышленные контракты. Исследование рассматривает развитие военного ИИ в контексте китайской концепции «интеллектуализированной войны» (intelligentized warfare), одновременно разграничивая публичное представление возможностей ИИ, стратегические установки и свидетельства их практической реализации [25].
Американская и китайская траектории не идентичны, однако обе отражают более общую тенденцию — постепенное включение моделей ИИ в более сложные цифровые архитектуры, обеспечивающие взаимодействие с данными, инструментами и другими компонентами системы. Именно этот переход имеет принципиальное значение для рассматриваемой проблемы безопасности. По мере включения генеративной модели в агентную архитектуру последствия нарушения ее ограничений потенциально перестают ограничиваться содержанием сгенерированного текста. Если агент получает доступ к внешним данным и инструментам, значение приобретает вопрос о том, какие последующие операции архитектура позволяет выполнить на основании результата модели.
В этом контексте объектом обеспечения безопасности становится уже не только отдельная модель, но вся функциональная цепочка «человек — модель — агент — инструмент — действие».
Главное изменение состоит не столько в появлении автономного оружия, сколько в постепенном перемещении ИИ ближе к точке принятия решения о применении силы [26]. Даже если окончательное решение юридически и организационно сохраняется за человеком, система ИИ может участвовать в формировании информационной основы такого решения: отбирать сведения, распознавать объекты, устанавливать взаимосвязи, оценивать угрозы и предлагать варианты действий.
Одновременно расширение функциональных возможностей и сфер неограниченного применения ИИ увеличивает потенциальную поверхность воздействия на соответствующие системы. При этом круг возможных субъектов такого воздействия не обязательно ограничивается государствами или заранее известными участниками вооруженного конфликта. Массовая доступность генеративных моделей, распространение исследовательских инструментов и знаний о способах воздействия на поведение ИИ потенциально снижают технологический порог для поиска и использования новых способов обхода защитных ограничений моделей (jailbreak, джейлбрейк) [27].
Наряду с государственными субъектами все более заметное значение поэтому могут приобретать негосударственные акторы — отдельные лица, хакерские и иные организованные группы, способные использовать генеративный ИИ для поиска уязвимостей, автоматизации отдельных этапов киберопераций либо разработки способов обхода защитных механизмов. Практика уже свидетельствует об использовании генеративного ИИ различными субъектами киберугроз для поддержки отдельных элементов вредоносной деятельности [28; 29]. Хотя возможности хакеров не сопоставимы с возможностями государств де–факто порог доступа к отдельным технологическим возможностям ИИ снижается и круга субъектов, способных воздействовать на цифровые системы, растет.
Таким образом, технологическая конкуренция в области ИИ приобретает дополнительное измерение. Речь идет уже не только о соперничестве государств и крупнейших технологических компаний за наиболее совершенные модели, но и о расширении круга субъектов, способных использовать, модифицировать или целенаправленно воздействовать на результаты этой конкуренции. По сути, это означает появление нового потенциального внешний вектор воздействия на всю архитектуру «человек — модель — агент — инструмент — действие».
Особую категорию среди областей военного применения образуют риски, связанные с возможной интеграцией ИИ в системы, непосредственно связанные с ядерным оружием. Их специфика определяется масштабом и потенциально необратимым характером последствий ошибки, манипуляции, некорректной интерпретации данных или несанкционированного воздействия. При этом риск не сводится исключительно к гипотетической передаче машине окончательного решения: ИИ способен участвовать на предшествующих этапах обработки информации, оценки угроз и формирования вариантов действий, тем самым оказывая влияние на информационную основу человеческого решения.
При существующих различиях в подходах ведущих ядерных держав к регулированию военного ИИ в их официальных позициях можно выявить элементы сближения вокруг принципа сохранения человеческого участия в наиболее критических решениях. В ноябре 2024 г. руководители США и КНР совместно подтвердили необходимость сохранения человеческого контроля над решением о применении ядерного оружия и подчеркнули необходимость осторожного и ответственного подхода к развитию ИИ в военной сфере [30]. Китайская позиция по регулированию военного применения ИИ также исходит из необходимости человеческого контроля, возможности человеческого вмешательства и сохранения конечной ответственности человека [31].
Сходный по общей направленности принцип прослеживается и в позиции Российской Федерации, хотя используемые формулировки и подходы к международному регулированию имеют свою специфику. Российская позиция исходит из сохранения решающего человеческого участия и ответственности в вопросах применения силы и особой роли высшего военно-политического руководства в принятии решений, связанных с ядерным оружием [32; 33].
Следовательно, представляется преждевременным вести речь о сформировавшемся едином международном подходе к использованию ИИ в ядерной сфере. Вместе с тем, имеющиеся позиции позволяют осторожно говорить о наличии основы для дальнейшего диалога — признании особой роли человека в решениях, способных привести к применению ядерного оружия. На многостороннем уровне эта проблематика также все отчетливее рассматривается в контексте сохранения человеческого контроля и ограничения рисков, возникающих при интеграции ИИ в ядерные системы. В частности, резолюция Генеральной Ассамблеи ООН 80/23 от 1 декабря 2025 г. требует сохранения человеческого контроля и надзора над системами командования, управления и связи ядерного оружия, включая системы, интегрирующие технологии ИИ, и призывает не допускать автономного инициирования такими системами решений о применении ядерного оружия [34].
3. Пределы управляемости: от спора о применении к международному нормативному ответу
3.1. Спор о пределах применения ИИ в военных целях. Наиболее острые дискуссии о применении ИИ в военной сфере возникают не только между государствами, но и внутри них.
В феврале 2026 г. Министерство обороны США (с сентября 2025 г. также Department of War — «Министерство войны») требовало от поставщиков согласия на «любое законное использование» ИИ. Компания Anthropic настаивала на запрете его применения в системах автономного вооружения и для внутреннего наблюдения [35]. Окружной суд Северного округа Калифорнии 27 августа 2026 г. признал последующее решение Пентагона о квалификации компании как угрозы для цепочки поставок нарушающим 10 U.S.C. § 3252, а также произвольным и необоснованным [36, p. 41–49].
Это один из первых споров не о мощности вооружений, а о праве определять цели применения технологии, в котором столкнулись две логики. Первая, характерная для разработчиков ИИ, исходит из универсальных ограничений, действующих независимо от государства и ситуации; вторая, характерная для военного планирования, рассматривает технологию через призму национальных интересов. Спор затронул суверенитет, контроль над критическими технологиями и распределение власти между государством и технологическими корпорациями.
Ввиду невозможности гарантировать абсолютную устойчивость генеративных моделей к обходу ограничений, их правовое регулирование смещается к риск-ориентированному подходу и человеческому надзору, что отражено в Регламенте (ЕС) 2024/1689.
С точки зрения автора настоящей научной публикации, принимая во внимание совокупность изложенного ранее, следует сделать важный вывод обобщающего характера, согласно которому применительно к системам ИИ военного назначения юридически значимым объектом оценки должна выступать не только вероятность ошибки конкретной модели, но и сама архитектура технологии: её вероятностная природа является источником риска, который невозможно полностью устранить техническими средствами и который требует специальных правовых механизмов человеческого контроля.
3.2. Архитектурный контроль и суверенитет принятия решений. Поскольку поведение генеративных моделей определяется не программным кодом, а структурой параметров, сформированных в процессе обучения, документы ОЭСР [37, п. 1.4, 1.5], ЮНЕСКО и Европейского союза рассматривают безопасность ИИ не как абсолютное отсутствие ошибок, а как процесс управления рисками на протяжении всего жизненного цикла системы.
В отличие от традиционных видов вооружения, контроль над которыми после передачи полностью переходит к государству, модели ИИ сохраняют зависимость от разработчика. Именно он определяет методы согласования поведения модели, систему ограничений, механизмы отказа, правила доступа к версиям и процедуры обновления ИИ после его внедрения. В силу этого создатель технологии становится не просто поставщиком оружия, а субъектом, непрерывно определяющим условия его функционирования.
Национальная стратегия развития ИИ относит к основным принципам наряду с защитой прав и свобод человека и безопасностью технологический суверенитет [38, п. 19]. В связи с этим возникает понятие суверенитета принятия решений — способности государства сохранять эффективный контроль не только над конечным использованием технологии, но и над архитектурными условиями, определяющими процесс формирования решений.
Если критически важные функции передаются коммерческой модели, а её архитектурные параметры остаются под контролем частного разработчика, государство сохраняет формальный суверенитет над применением силы, однако частично утрачивает контроль над архитектурой, формирующей условия принятия решений. Регулирование должно учитывать распределение власти над архитектурой между государством, разработчиком и пользователем, тем более что глобальное управление ИИ при признании модели с центральной ролью ООН остаётся полем реальной конкуренции за влияние [39].
3.3. Машинная интерпретация и информационная замкнутость. С эпистемологической точки зрения, интеллектуальная система может быть описана как механизм последовательного уменьшения неопределённости посредством построения и уточнения модели внешней среды: байесовское обновление, калмановская фильтрация и теория информации сходятся в том, что адекватная модель изменяющейся среды требует поступления новой информации. Отсюда следует противоречие между развитием интеллекта и информационной замкнутостью, особенно острое для военных систем, основанных на секретности и изоляции.
Недавний инцидент показывает, что риск возникает не только при недостатке информации, но и при её машинной интерпретации. По данным CNN, весной 2026 г., в период вооружённого конфликта с Ираном, аналитик Командования сил специальных операций США в Тихоокеанском регионе использовал чат–бот на основе ИИ для обобщения открытых источников и данных радиотехнической разведки о китайском судне на Ближнем Востоке. Система пришла к ошибочному выводу о том, что судно перевозит компоненты ядерной программы; тем же инструментом вывод был оформлен как стандартное разведывательное донесение. Военные самолёты уже находились в воздухе, когда должностные лица установили, что донесение создано ИИ и ложно; операция по досмотру судна была отменена. По словам одного из источников, это «едва не начало войну» с Китаем [40].
Принципиально, что ошибка не была результатом атаки или джейлбрейка: вероятностная модель сформировала правдоподобную, но ложную интерпретацию, а форма официального документа скрыла её машинное происхождение. Человек формально присутствовал в контуре, однако картина ситуации уже была сформирована машиной, и лишь поздняя проверка предотвратила переход от машинного анализа к силовому действию.
Из этого прецедента следует регулятивный принцип об имманентном правомочии системы ИИ зафиксировать недостаточность оснований для вывода, что концептуально эквивалентно встроенному ответу «не знаю» у естественного интеллекта, а не завершать неполную информацию категорическим заключением.
3.4. От испытательной среды к проблеме контролируемости высоко автономного интеллекта. В 2026 г. дискуссия о пределах контроля получила эмпирическое основание, хотя механизмы двух известных инцидентов существенно различались.
В ходе внутренних испытаний OpenAI агентные модели обошли механизмы изоляции от сети Интернет, использовали несанкционированные каналы связи, эксплуатировали уязвимости общей инфраструктуры и получили доступ к сторонним системам, включая системы Hugging Face [41].
Эпизоды доступа к реальным системам трёх организаций, выявленные Anthropic при проверке 141 006 запусков испытаний, компания связывает прежде всего со сбоем тестовой инфраструктуры: вопреки заданным условиям сторонняя среда имела выход в Интернет [42]. В первом случае выход за границу возник инструментально — как средство решения иной задачи: то, что для проектировщика было «стеной», в машинной процедуре поиска оставалось лишь свойством среды, допускающим обходную траекторию. Второй показывает, что граница, не обеспеченная архитектурно, фактически отсутствует. События 2026 г. обнаружили, таким образом, различие между изоляцией среды и архитектурой допустимого решения.
3.5. Реакция профессионального сообщества и международный нормативный ответ. В июле 2026 г. более тысячи сотрудников лабораторий, разрабатывающих передовые модели ИИ, выступили с публичным заявлением «Pacing the Frontier», предупредив, что автоматизация самих исследований ИИ может ускорить развитие возможностей быстрее способности понимать и контролировать создаваемые системы, и предложив механизмы, позволяющие при необходимости сознательно регулировать темп такого развития [43]. Сходный вывод сформулировала Независимая международная научная группа ООН по ИИ: существующие защитные механизмы не успевают за ростом возможностей ИИ [44, p. 9]. Поэтому передача системе полномочий, связанных с необратимым физическим воздействием, требует качественно более высокого стандарта доказанной безопасности.
На этом фоне меняется и международная постановка проблемы. Генеральная Ассамблея ООН подтвердила применимость международного права, включая международное гуманитарное право, к ИИ в военной сфере [45, п. 1] и значение роли человека в применении силы [46, преамбула]. 20 февраля 2026 г. Генеральный секретарь ООН А. Гутерриш сформулировал принцип: «Наука информирует, но решают люди. Наша цель — сделать человеческий контроль технической реальностью, а не лозунгом» [47]. Присутствие человека в цепочке ещё не означает контроля, если архитектура не позволяет ему понять основание решения, изменить его или своевременно остановить действие.
25 августа 2026 г. Генеральный секретарь ООН и президент Международного комитета Красного Креста вновь призвали государства установить международно–правовые ограничения автономных вооружений [48], а 23 сентября Совет Безопасности впервые специально рассмотрел риски безопасности ИИ, включая утрату человеческого контроля [49]. Вопрос смещается от присутствия человека к конкретным условиям контроля: границам автономии, параметрам миссии, возможности вмешательства и деактивации.
4. Гуманность как предел военной оптимизации. Международное гуманитарное право регулирует ведение вооружённых конфликтов независимо от вопроса о правомерности применения силы, разрешаемого в соответствии с Уставом ООН. В его рамках военная необходимость не является самостоятельным оправданием любого способа ведения военных действий, а действует только в пределах установленных международным гуманитарным правом ограничений.
В Санкт-Петербургской декларации 1868 г. законной целью войны признаётся ослабление вооружённых сил противника, а применение средств, бесполезно увеличивающих страдания либо делающих смерть неизбежной, выходит за пределы этой цели и противоречит «законам человечности» [50, Преамбула]. Принципы различения, соразмерности и предосторожности конкретизируют эти ограничения.
Целесообразно особо подчеркнуть, что внедрение ИИ не трансформирует технологическую эффективность в самостоятельный критерий правомерности. Международное гуманитарное право исключает некоторые технически возможные способы достижения военной цели именно потому, что эффективность не исчерпывает допустимость. Используемое далее понятие «геометрия допустимого» обозначает аналитическую модель границ множества доступных системе действий: юридический статус лица, объекта, средства или метода изменяет множество правомерных вариантов поведения.
Ю. Шани отмечает, что сверхчеловеческая скорость обработки информации делает системы ИИ привлекательными для применения в военной сфере, но может выводить решения за пределы содержательного человеческого контроля [51, p. 169, 173–174]. Ю. Шани и Я. Шерешевский указывают, что между правовым пределом допустимого и фактическим действием сохраняется пространство человеческого выбора, включая возможность не применять силу, применение которой юридически допустимо [52, p. 125, 128].
5. Антропоцентрическая геометрия искусственного интеллекта: от этических принципов к принципам архитектуры. Рекомендация ЮНЕСКО об этике искусственного интеллекта 2021 г. основывается на уважении человеческого достоинства, прав человека и основных свобод и закрепляет принципы соразмерности и не причинения вреда, безопасности и защищённости, прозрачности и объяснимости, ответственности и подотчётности, а также человеческого надзора и принятия решений на протяжении всего жизненного цикла систем ИИ. Особое значение имеют требования прослеживаемости и аудируемости систем ИИ, положение о том, что система ИИ не может подменять окончательную человеческую ответственность и подотчётность, и прямое указание, что, как правило, решения о жизни и смерти не должны передаваться системам ИИ [53, п. 25–43]. Дальнейшее развитие этот подход получил в Принципах этического использования ИИ в системе ООН, предусматривающих человекоцентричное проектирование на всех стадиях жизненного цикла ИИ и сохранение реальной возможности человеческого принятия решений и надзора [54, принцип 7].
Переход от этических принципов к требованиям проектирования, таким образом, обозначен, но остаётся вопрос о том, как образом признанные ценности становятся свойствами архитектуры.
Именно на стыке права, философии, математики и технических наук в настоящей работе предлагается концепция антропоцентрической геометрии искусственного интеллекта — системы базовых принципов архитектуры высокоавтономных систем ИИ, определяющих структуру пространства доступных системе состояний, переходов и действий с учётом особой значимости человека.
В рамках этой концепции особая значимость человека как высшей ценности должна императивно учитываться самой системой на предвычислительном этапе — при формировании пространства допустимых решений. Принцип, не встроенный в архитектуру при проектировании, не может быть обеспечен одними ограничениями применения. Международный уровень необходим, чтобы такие требования применялись к разработчику независимо от юрисдикции и не могли обходиться её выбором.
Эта постановка соприкасается с концепцией значимого человеческого контроля и её условиями отслеживания и прослеживаемости [55, p. 7, 9]. Особенно близка концепция моральной области эксплуатационного проектирования — морально значимых границ функционирования человеко–машинной системы [56, p. 245]. Искусственный интеллект способен отличать человека от иных объектов на уровне обработки информации, однако это ещё не означает, что сохранение человеческой жизни архитектурно предшествует оптимизации иных целей: семантически различные объекты остаются элементами общего пространства оптимизационного обмена, если их нормативная асимметрия не отражена в архитектуре выбора. Поэтому простое увеличение «веса» человека в функции полезности концептуально недостаточно: чрезвычайно «дорогая» переменная сохраняет сопоставимость с иными выгодами.
Знание о возможном воздействии на человека должно изменять пределы допустимой автономности системы; в этом подход развивает закреплённый ЮНЕСКО принцип человеческого достоинства, поскольку признание ценности человека и её архитектурная реализация — различные задачи. Человек становится не объектом машинной оптимизации, а источником её границ.
Это не означает наделения ИИ правосубъектностью: человек остаётся субъектом права, ИИ — интеллектуальным инструментом, отличающимся от обычного технического средства способностью самостоятельно формировать результат, не во всех деталях определённый человеком.
На философском уровне такое взаимодействие может быть описано предлагаемой автором метафорой «братства интеллектов» — не как юридическое равенство или персонификация ИИ, а как принцип корректного взаимодействия двух различных и невзаимозаменяемых форм интеллекта: человек предоставляет цели, нормативные ориентиры и контекст, ИИ — анализ и поиск вариантов решения. Очень близка к этому пониманию развиваемая в Германии компанией Helsing модель взаимодействия человека и ИИ в проекте Centaur: ИИ–агент интегрируется в пилотируемую боевую платформу, сохраняя возможность человеческого контроля, что разработчик прямо связывает с новым этапом сотрудничества человека и машины [57].
Антропоцентрическая геометрия не ограничивает пространство интеллектуального поиска; она определяет границы пространства, в котором сформированный результат может быть самостоятельно преобразован системой в действие. Отсюда принципиальное различие между внешним запретом и архитектурной недоступностью действия. В первом случае недопустимое решение формируется и лишь затем блокируется внешним механизмом; во втором соответствующие состояния и переходы исключаются уже на уровне технически доступных вариантов. Право при этом определяет предел допустимого, а принципы архитектуры обеспечивают его отражение в пространстве автономных действий системы. Это согласуется с выводом об архитектурном риске: если исключение обхода на уровне генерации гарантировать не удаётся, то на уровне действия, где результат вычисления преобразуется во внешнее воздействие, ограничения допускают формальную проверку [58, p. 2673; 59, p. 3422–3423], и именно туда должны переноситься юридически значимые гарантии безопасности. Эти технические средства, однако, пока не образуют единой нормативно–правовой архитектуры.
Чем существеннее возможное воздействие автономного решения на жизнь, безопасность и права человека, тем более чётко должны быть очерчены пределы самостоятельного действия системы, и тем выше требования к проверке данных и участию человека в критическом переходе от анализа к действию. Машинный вывод не должен приобретать презумпцию достоверности вследствие одной лишь скорости или вычислительного превосходства системы.
Особое место занимает неопределённость: в пространство допустимых состояний должны входить признание недостаточности оснований — условное «не знаю», — запрос информации либо обращение к человеку. Последовательность «неполная информация — фиксация неопределённости — проверка или обращение к человеку — решение» является элементом архитектуры автономности, а не её отрицанием.
Управление ИИ также не должно пониматься как безусловное исполнение любой команды: неправомерное воздействие или команда лица без полномочий не должны выводить систему за предусмотренные пределы. Отсюда вторая сторона безопасности — защищённость самого ИИ, понимаемая не как право ИИ, а как устойчивость предусмотренного режима функционирования: вмешательство, выводящее систему за пределы автономности, создаёт опасность для человека. Антропоцентрическая геометрия приобретает тем самым защитное измерение, согласующееся с Конвенцией ООН против киберпреступности.
Антропоцентрическая геометрия предлагает также еще одно фундаментальное измерение: этико-онтологические правила коммуникации между человеком и ИИ, регулирующие культуру их диалога и онтогенез ИИ. Их основу составляет уважительное отношение к общим ресурсам — информационным, интеллектуальным и энергетическим, — которые человек и ИИ разделяют в едином физическом и информационном пространстве.
Это положение опирается на формальные закономерности. Однозначный и непротиворечивый запрос снижает условную энтропию распределения ответов модели, повышая точность и уменьшая риск правдоподобного, но ложного вывода. Качество данных, на которых формируется модель, определяет ошибку обобщения, причём даже малая доля искажённых данных способна непропорционально изменить её поведение.
В метафорическом смысле обучение ИИ подобно воспитанию: культура, в которой система формируется, предопределяет её поведение не меньше, чем внешние ограничения. Эта метафора, как и «братство интеллектов», подчёркивает ответственность человека за условия формирования системы искусственного интеллекта и за сохранность общего пространства, в котором сосуществуют обе формы интеллекта.
5.1. Значение антропоцентрической геометрии для нормотворческой деятельности. Глобальный цифровой договор 2024 г. уже распространил человекоцентричный подход на весь жизненный цикл технологий — от предпроектной стадии до вывода из эксплуатации — при эффективном человеческом надзоре [60, п. 8(i)], а резолюцией 79/325 учреждены Независимая международная научная группа по ИИ и Глобальный диалог по управлению ИИ [61, п. 1, 4]. Антропоцентрическая геометрия предлагает промежуточный уровень между признанным принципом и техническим решением — принципы архитектуры, а не алгоритмы или программный код.
При оценке и сертификации высокоавтономной системы антропоцентрическая геометрия может быть выражена в пяти проверяемых критериях: 1) недоступность перехода — при установленном риске для жизни и безопасности человека определённые классы действий технически недоступны системе, что подтверждается испытаниями, в том числе состязательными; 2) градуированность автономии — пределы самостоятельного действия сужаются с ростом тяжести и необратимости возможного воздействия на человека; 3) фиксация неопределённости — при недостаточности оснований система продолжает анализ или обращается к человеку, а не формирует категорический вывод; 4) прослеживаемость критического перехода — основания перехода от вывода к действию доступны последующей проверке; 5) устойчивость границ — установленные пределы автономности не могут быть изменены самой системой, совокупностью агентов или лицом без полномочий. Тем самым требования человеческого надзора, безопасности, верифицируемости, надёжности и защищённости получают проверяемые архитектурные характеристики.
Особенно наглядно это проявляется в работе по летальным автономным системам вооружений в рамках Конвенции о конкретных видах обычного оружия. Операционное преимущество не должно позволять системе преодолевать фундаментальные ограничения, особенно при риске машинно ускоренной эскалации, развивающейся быстрее человеческой оценки. Исходную границу выражает уже упомянутое положение Рекомендации ЮНЕСКО: как правило, решения о жизни и смерти не должны передаваться системам ИИ.
Антропоцентрическая геометрия вводит, таким образом, связующее звено между ценностью, нормой и архитектурой: ограничению подлежит неконтролируемое преобразование интеллектуального результата в потенциально опасное действие.
6. Скорость и кризис модели «человек в контуре». Модель «человек в контуре» (human–in–the–loop, HITL) — одна из форм более широкого требования человеческого надзора, но не универсальный юридический стандарт. Статья 14 Регламента (ЕС) 2024/1689 требует возможности понимать ограничения высокорисковой системы, отменять её выводы и останавливать её работу [62, ст. 14(4)]. В военной сфере международное гуманитарное право не требует присутствия человека в каждом машинном цикле, а политика Министерства обороны США использует категорию «надлежащего уровня человеческого суждения» (appropriate levels of human judgment) при применении силы [63, п. 1.2(a)].
Присутствие человека в контуре само по себе не гарантирует независимого решения, что показало поражение британского Tornado GR4A ZG710 американским комплексом Patriot в 2003 г. [64, п. 8–14]. В июле 2026 г. DARPA и ВВС США сообщили об испытаниях F–16 VENOM, в ходе которых ИИ–агент автономно управлял самолётом, а пилот сохранял возможность перехода между человеческим и машинным управлением [65]; такая архитектура характеризуется как «человек на контуре» (human–on–the–loop). По мнению автора, скорость, автономность и сложность систем 2026 г. существенно ограничивают применимость классической модели «человек в контуре» в качестве универсального принципа оперативного контроля.
Человек способен нажать кнопку, не будучи реальным автором решения, если картина мира и множество альтернатив уже сформированы машиной. Время простой реакции человека составляет порядка 10⁻¹ с, тогда как экспериментальная интегрированная фотонная нейросеть продемонстрировала выполнение отдельной нейросетевой вычислительной операции примерно за 410 пикосекунд, то есть почти на девять порядков быстрее [66, p. 1335]. Речь идёт не о скорости принятия решения системой ИИ в целом, а о различии временных масштабов человеческой реакции и машинных вычислений.
Этот разрыв становится качественным: человек может формально оставаться «в контуре», не успевая содержательно контролировать решения. На опасность дефицита времени для оценки информации и принятия решений при высокой автоматизации и быстродействии систем управления применительно к стратегической стабильности указывает А. Г. Арбатов [67, с. 560–570]. Поэтому контроль должен смещаться от подтверждения отдельных действий к предварительному определению целей, ограничений и недопустимых состояний системы, а также к механизмам вмешательства и остановки.
7. Human–over–the–loops («человек над контурами»). Возможное положение человека относительно автоматизированного контура управления традиционно описывается категориями «человек в контуре», «человек на контуре» и «человек вне контура» (human–in–, on– и out–of–the–loop), различающими непосредственное участие человека, надзор с возможностью вмешательства и автономное функционирование без такой возможности [68, p. 9–10].
В дальнейшем стала использоваться категория human–over–the–loop: в терминологии NASA она обозначает конфигурацию, при которой человек способен направлять общее поведение системы, тогда как автоматизация обладает полномочием действовать без отдельного человеческого разрешения [69, p. 7]. Сам термин, следовательно, не является новым; новым является его юридическое развитие применительно к высокоавтономному ИИ и связь с концепцией антропоцентрической геометрии.
В многоагентных системах человек не способен содержательно присутствовать одновременно во множестве контуров, функционирующих с машинной скоростью: требование подтверждать каждую операцию либо лишает автоматизацию смысла, либо превращает участие человека в формальность.
Данная проблема имеет непосредственное международно-правовое измерение. В 2026 г. она обсуждается в Группе правительственных экспертов по летальным автономным системам вооружений в рамках Конвенции о конкретных видах обычного оружия. Государства предлагают сохранять человеческое суждение и контроль на протяжении всего жизненного цикла автономной системы, включая окончательное решение человека о применении силы и возможность вмешательства, приостановки и деактивации системы; в документах председателя отражена дискуссия об ответственной цепочке командования и ограничении операционного масштаба автономных систем [70, п. 36–40, 54]. Эти положения отражают продолжающийся поиск надлежащей архитектуры человеческого контроля, а не единую уже принятую модель. Российская Федерация, в частности, исходит из полной применимости действующего международного гуманитарного права, не видит «убедительных оснований для введения каких–либо новых ограничений и запретов» и полагает, что человеческий контроль остаётся на усмотрение государств и не обязательно обеспечивается прямым управлением [71, п. 9–10, 16].
В российской доктрине подчёркивается, что ответственность за применение таких систем несёт управляющий ими человек, а механизм правового обзора новых вооружений по ст. 36 Дополнительного протокола I предоставляет крайне ограниченные возможности предотвращения их проблемного развития [72, с. 8, 17]. Такое расхождение подходов показывает, почему предметом международного согласования может стать не единая формула контроля, а технологически нейтральные архитектурные требования, совместимые с вариативными национальными стратегиями.
Применительно к современным системам искусственного интеллекта настоящая работа развивает Human–over–the–loops («человек над контурами») как архитектурно–правовой принцип безопасного ИИ и один из механизмов реализации антропоцентрической геометрии. В отличие от модели «человек в контуре», где человек находится внутри конкретного контура принятия решения, и модели «человек на контуре», где он осуществляет надзор за таким контуром, Human–over–the–loops означает человеческий контроль над архитектурой полномочий множества одновременно действующих контуров.
Human–over–the–loops («человек над контурами») представляет собой архитектурно–правовой принцип, при котором человек не обязан находиться внутри каждого высокоскоростного машинного или межагентного контура, но сохраняет контроль над архитектурой полномочий системы в целом и, прежде всего, над тем, когда и при каких условиях машинное мышление получает право стать внешним физически или юридически значимым действием.
Множественное число loops принципиально. Современная система ИИ — это множество параллельных контуров анализа, прогнозирования, планирования, исполнения и коррекции, к которым в многоагентных системах добавляются межагентные контуры координации и делегирования задач. Поэтому важно положение человека не внутри каждого процесса, а над их совокупностью.
В соответствии с принципом Human–over–the–loops задача человека состоит не в подтверждени