Статья посвящена теоретическому обоснованию и верификации интегративного аналитического инструментария, изначально разработанного для интерпретации политики государств в сфере военного атома. Представленная в настоящей работе модель объединяет в мультипликативную структуру четыре параметра: восприятие угроз безопасности, внутриполитический дискурс, внешний контекст, а также материально-технические возможности участников международных процессов.
Методологической основой исследования выступают компьютерные соревнования в рамках повторяющейся дилеммы заключенного в теории игр на базе открытой программной библиотеки Axelrod, включающей широкий пул как «классических» алгоритмов, так и современных архитектур искусственного интеллекта.
В исследовании постулируется целесообразность дальнейшего концептуального осмысления самой дилеммы узника. В то время как участники алгоритмических соревнований делают акцент на анализе поведения соперников, настоящая статья подтверждает необходимость учета внутренних установок самих претендентов. Именно такой подход предлагает адаптированная под данные компьютерные состязания конфигурационная модель TIES, в которой решения принимаются умножением, а не сложением переменных.
Экспериментальные данные выявили положительную корреляцию между успешными исходами и преобладанием готовности к сотрудничеству над внутренней осторожностью. При этом показано, что увеличение уровня открытости должно сопровождаться соразмерным ужесточением границ допустимого поведения других участников.
Полученные выводы имеют прикладное значение в вопросах методологии стратегического прогнозирования, в особенности в условиях неопределенности. Дальнейшая апробация модели на междисциплинарном уровне очерчивает горизонт перспективных научных изысканий.
Ключевые слова: компьютерное моделирование, повторяющаяся дилемма заключенного, стратегическая стабильность, теория игр.
Abstract. This article explores the applicability of the introduced analytical framework, originally designed to assess the likelihood of a state initiating or abandoning a nuclear weapons development program, within the context of game theory algorithmic tournaments. At its core, the study puts forward the TIES model, a multiplicative architecture that integrates four discrete yet interconnected elements: security considerations, internal political dynamics, external context, as well as technological and economic capabilities.
Specifically, the paper argues for a deeper investigation of the nuanced aspects inherent in the iterated Prisoner’s Dilemma, moving beyond modeling of opponent behavior toward a subject-oriented approach governed by internal constitution.
Through extensive computational simulations within the iterated Prisoner’s Dilemma, the presented non-linear structure was evaluated using the open-source Axelrod library against over two hundred deterministic, extortionate, and advanced AI systems. The findings demonstrate that the TIES model achieves peak performance under realistic noise levels corresponding to approximately twelve percent. In particular, the research identified a range of effective parameter ratios in which the long-term competitiveness was defined not by behavioral maneuvering, but by a balance within the model’s inner compass, whereby cooperative predispositions outweighed strategic caution.
The multiplicative logic, wherein the outcome is determined by a product rather than simple addition of elements, has already displayed a level of versatility across two distinct domains: nuclear decision-making and game theory. Nevertheless, the proposed configurational architecture might yet open avenues for further cross-disciplinary validation.
Keywords: algorithmic tournaments, game theory, Iterated Prisoner’s Dilemma, round robin stochastic simulations, TIES model, strategic stability.
Введение
В январе 1950 года математик Меррилл Флад совместно со своим коллегой Мелвином Дрешером провел в стенах исследовательского центра RAND, созданного в 1946 году по заказу Военно-воздушных сил Армии США, эксперимент по моделированию т.н. некооперативных игр. В опыте приняли участие двое сотрудников организации под инициалами AA и JW[1]. Испытуемым предложили сыграть сто раундов на деньги, где в каждом туре требовалось выбрать один из двух вариантов: сотрудничество либо отказ от кооперации.
Условия выплат были заданы так, что в каждой отдельной партии любому из участников было выгоднее отказаться от сотрудничества, независимо от действий контрагента.
По ходу эксперимента решения испытуемых, вопреки изначальным предположениям, постепенно смещались в сторону взаимного сотрудничества. Если в первых раундах AA и JW не столь часто выбирали кооперативный вариант, то в последней четверти придерживались его в среднем в девяноста процентах случаев[2].
М.Флад связал наблюдаемую тенденцию с тем, что в реальных ситуациях люди, по-видимому, склонны «постепенно нащупывать более выгодное решение, если таковое имеется» [Flood 1952: 21]. Следует подчеркнуть, что ученый, по собственному признанию, не вел протокола опыта: «К сожалению, я, как правило, не фиксировал ход экспериментов на бумаге, поэтому воспроизвожу их здесь по памяти с максимально возможной точностью. Несмотря на то, что числовые и описательные подробности иногда реконструированы умозрительно, полагаю, что ключевые результаты и общие выводы изложены достаточно достоверно, чтобы представлять практическую ценность» [Flood 1952: 4].
В мае 1950 года Альберт Такер, научный руководитель Джона Нэша, перед выступлением в Стэнфордском университете раздал аудитории психологов материал, в котором облек разработанную в RAND игровую структуру в наглядную сюжетную форму, ставшую известной как дилемма заключенного[3]. В одной из интерпретаций двое арестованных должны порознь решить: хранить молчание либо свидетельствовать друг против друга. Если подозреваемые отказываются от дачи показаний, обоих отпускают за недостатком улик. В случае взаимного предательства их осуждают, однако учитывается содействие правосудию. При этом лицу, в одностороннем порядке оказавшему помощь следствию, предоставляются преференции, в то время как его сообщник, отказавшийся от досудебного соглашения, проходит по более тяжкой статье.
Применительно к теории международных отношений дилемма заключенного воспроизводит логику широкого класса ситуаций, когда стремление каждого к личной выгоде в конечном итоге оборачивается неоптимальным исходом для всех участников.
В книге «Эволюция сотрудничества» профессор Мичиганского университета Р.Аксельрод приводит пример двух государств, которые установили взаимные импортные пошлины. Обоим предпочтительнее отказаться от торговых ограничений, однако «независимо от действий контрагента, другой стороне всегда выгоднее сохранить тарифы. Таким образом, проблема заключается в том, что у каждой страны есть стимул не снимать барьеры. Данное обстоятельство обусловливает худший исход, чем тот, которого можно было бы достичь при взаимном сотрудничестве» [Axelrod 1984: 7].
Для поиска оптимальной стратегии в подобных ситуациях в долгосрочном ракурсе исследователь в духе описанного выше эксперимента в RAND 1950 года решил задействовать потенциал вычислительных систем. В этих целях Р.Аксельрод «пригласил экспертов по теории игр прислать свои программы для состязаний по дилемме заключенного, которые проводились на компьютере подобно шахматному чемпионату» [Axelrod 1984: vii]. Эффективность стратегий в условиях многократного взаимодействия оценивалась в формате кругового турнира, известного в англоязычной литературе как round robin, то есть поочередного состязания один на один.
В виртуальном соревновании приняли участие пятнадцать алгоритмов (включая RANDOM, который выбирает случайное действие и был добавлен для контроля результатов эксперимента). Победителем стала наиболее простая из предложенных стратегий, которая всегда начинала с сотрудничества, а затем повторяла предшествующий шаг оппонента. Концепция получила название «Око за око» (как ты ко мне, так и я к тебе) или, в соответствии с англоязычной идиомой, TIT FOR TAT (TFT).
Второй раунд соревнований был более масштабным: Р.Аксельрод предварительно опубликовал результаты турнира, предоставив участникам полную информацию о победителе. На сей раз были присланы шестьдесят две стратегии (без учета RANDOM). Несмотря на то, что на конкурс, как и в первом турнире, были представлены отдельные сложные и весьма проработанные решения, первое место вновь отошло TFT[4].
Результативность стратегии, по мнению Р.Аксельрода, объясняется четырьмя императивами поведения: презумпцией взаимного доверия, незамедлительным ответом на предательства, возвратом к сотрудничеству в случае корректировки контрагентом своего курса, предсказуемостью для остальных участников [Axelrod 1984: 20].
Как отмечает исследователь: «Мы привыкли мыслить категориями соревнований, где, как в футболе или шахматах, победитель может быть только один. Однако жизнь устроена иначе. В самых разных обстоятельствах взаимное сотрудничество приносит обеим сторонам больше пользы, чем обоюдный эгоизм. Ключ к успеху кроется не в том, чтобы превзойти других, но в том, чтобы найти с ними общий язык» [Axelrod 1984: 190]. Полученные в ходе турниров результаты подтвердили возможность выстраивания устойчивого взаимодействия в условиях, воспроизводящих анархический, в терминах школы реализма, характер системы международных отношений.
Исследования в сфере компьютерного моделирования повторяющейся дилеммы узника были продолжены и после знаменитых соревнований. В 1993 году Мартин Новак из Оксфордского университета и профессор Венского университета Карл Зигмунд продемонстрировали уязвимость «Око за око» при наличии информационного шума, которого в турнирах Р.Аксельрода не было: выяснилось, что даже единичная погрешность способна вовлечь стратегию и ее оппонентов в нескончаемый цикл взаимной конфронтации.
Для преодоления тупика обоюдной мести исследователи предложили собственную модель, которая получила имя выдающегося отечественного физиолога Ивана Петровича Павлова: программа повторяет предыдущее действие при положительном исходе и инвертирует при отрицательном. По словам ученых, итоги тестирования стратегии «позволяют предположить, что в реальной жизни сотрудничество зачастую строится по принципу «придерживайся стратегии в случае победы и меняй при поражении»» [Nowak, Sigmund 1993: 56].
Одним из наиболее значимых теоретических результатов последних лет стало открытие американским специалистом по вычислительной математике Уильямом Прессом и физиком Фрименом Дайсоном[5] так называемых стратегий нулевого детерминанта (zero-determinant strategies), которые «позволяют игроку в одностороннем порядке забрать себе большую часть выигрыша» [Press, Dyson 2012: 10409].
Биологи Александр Стюарт и Джошуа Плоткин решили проверить, как данные ультимативные поведенческие модели зарекомендуют себя на практике. Для этого ученые провели компьютерное тестирование по аналогии с соревнованиями Р.Аксельрода. Исследование выявило дуальную природу таких алгоритмов: «стратегии вымогательства весьма успешны в поединках один на один, однако оказываются неэффективными в крупных, динамично развивающихся сообществах» [Stewart, Plotkin 2013: 15348]. При этом наиболее перспективной, как это ни парадоксально, оказалась «щедрая» версия программы, которая быстрее прощала соперника, если тот возвращался к сотрудничеству.
Цифровым воплощением многолетнего дискурса в исследуемой области стала обнародованная в 2015 году библиотека Axelrod для языка программирования Python. Целью авторов было решение проблемы «дефицита документации и тестового кода» посредством предоставления «ресурса для разработки новых стратегий и их взаимодействия, а также проведения турниров и экологического моделирования эволюции их популяций» [Knight et al. 2016: 1]. Платформа объединяет как алгоритмы времен первых турниров, так и современные модели на базе искусственного интеллекта (ИИ), осуществляющие мониторинг ходов контрагентов и выявляющие в том числе скрытые закономерности, что позволяет действовать на упреждение и гибко адаптировать стратегический курс.
При всем многообразии компьютерных моделей исследовательская традиция, восходящая к середине прошлого столетия, во многом рассматривает участников как рефлексивные и предиктивные системы, выстраивающие взаимодействие на основе прошлых и ожидаемых шагов оппонентов, фактически выводя за скобки фактор субъективности.
Архитектура конфигурационной модели принятия решений
Четырехмерный инструментарий TIES был изначально разработан для интерпретации и прогнозирования ядерного выбора государств. Методологическая особенность заключается в отказе от поиска универсальной объяснительной переменной в пользу синтеза теоретических подходов в рассматриваемой сфере.
При этом лежащая в основе исследовательской рамки мультипликативная логика позволила выйти за пределы исходного предметного поля. В настоящей работе аналитическая структура была адаптирована к компьютерному турниру по повторяющейся дилемме заключенного. В русле первоначального замысла модель интегрирует в единую конфигурационную архитектуру четыре взаимодополняющих параметра.
Анализ первого параметра, отражающего восприятие угроз, опирается на реалистскую традицию в теории международных отношений. В контексте объяснения причин проведения государствами ядерных программ в военных целях значение данного фактора определяется наличием экзистенциальных кризисов, остротой региональных противостояний и надежностью союзнических обязательств. Конструктивистская оптика дополняет анализ, указывая на то, что оценка вызовов безопасности субъективна и преломляется сквозь призму накопленного исторического опыта и текущей геополитической конъюнктуры.
Применительно к соревнованиям по повторяющейся дилемме узника данная переменная обозначается как S (security considerations) и формализуется в виде экспоненциальной функции: S = f^d, где f (field) представляет собой коэффициент пространства безопасности, возведенный в степень d (defects) – совокупное количество ходов, характеризующихся некооперативным поведением контрагента.
В рамках настоящей работы значение f принято за 0,99: исходное состояние близко к единице, что выражает аванс доверия к окружающим[6]. Вместе с тем постепенное накопление предательств (d) сводит итоговое значение (S) к минимальному показателю, фактически исключая возможность дальнейшего сотрудничества.
Следующий параметр модели выявляет вклад организационных факторов в формирование внутри- и внешнеполитического курса участников. Конструктивизм обогащает исследование, акцентируя роль символических нарративов и исторической памяти в принятии решений. Применительно к турниру данная переменная (I / internal politics and identity) олицетворяет исходную готовность к сотрудничеству и задается до начала состязаний.
Третий параметр рассматривает влияние внешних условий на стратегический выбор государств, интегрируя институциональный подход, описывающий механизмы формирования предсказуемой среды взаимодействия, и реалистские постулаты о конкурентном характере международных отношений. В алгоритмическом измерении переменная вычисляется следующим образом: E (external context) = (t — d) / t, где t (total) обозначает суммарное число раундов.
Уравнение отражает процесс накопления «репутационного капитала», фиксируя долю кооперативных шагов контрагента. При строгом соблюдении обязательств другой стороной (d = 0) параметр имеет максимальное значение (E = 1), формируя благоприятный контекст для дальнейшего взаимодействия.
Архитектура формулы позволяет оценивать не столько дискретные шаги, сколько совокупную стратегию оппонента. Таким образом, единичные «отступления от правил» не вызывают немедленных ответных действий. В то же время разовый жест «доброй воли» не способен скрыть общую деструктивную позицию визави, поскольку алгоритм функционирует на основе «распределенной памяти», учитывая всю историю взаимодействия. Тем самым модель демонстрирует стабильность в случае краткосрочных изменений динамики действий контрагентов, оценивая характер их поведения.
Четвертый параметр охватывает технические и экономические возможности, которые, как и рассмотренные три переменные, выступают необходимым, однако отнюдь не достаточным условием принятия решений. В компьютерных состязаниях настоящего исследования, направленных на воспроизведение концептуальных основ турниров Р.Аксельрода, значение материальных ресурсов одинаково для всех участников (T / technological and economic capabilities = 1), что позволяет исключить влияние данного фактора на этапе первоначальной апробации модели.
Перечисленные четыре измерения рассматриваются как функционально эквивалентные: сотрудничество реализуется в случае соблюдения условия R ≤ T × I × E × S, при котором порог принятия решения (R / risk threshold) устанавливается экспериментатором. Как следует из неравенства, ослабление одного параметра снижает вероятность кооперации даже при сохранении остальными переменными положительных показателей. Особенность мультипликативной структуры исключает возможность аддитивной компенсации: приближение любого сомножителя к нулевому значению нивелирует итоговый результат всего произведения.
Принимая во внимание изложенное, была разработана следующая программная архитектура модели:
Как видно из кода, TIES всегда начинает с сотрудничества (C), после чего принимает решения с учетом эндогенных факторов и совокупной истории отношений с партнерами.
Верификация проводилась на базе открытой библиотеки Axelrod[7]. Турниры выстраивались по принципу нарастающей сложности с последовательным расширением состава участников. Уровень информационного шума варьировался от нуля, что соответствует идеальным условиям лабораторной среды, до девяноста процентов, символизирующих распад социальных структур.
Дебютная серия экспериментов воспроизводила формат первых турниров по повторяющейся дилемме узника. Вопреки изначальным прогнозам модель демонстрировала высокую устойчивость и занимала первое место при широком спектре конфигураций параметров готовности к сотрудничеству I и внутренней осторожности R. Неожиданная результативность разработанного алгоритма обусловила исследовательский интерес к поиску границ его эффективности при ужесточении конкурентной среды.
Во втором туре испытаний качественный состав участников не менялся, однако сценарий был усложнен введением полного спектра стохастических флуктуаций[8]. По итогам тестирования установлено, что во всех обнаруженных сочетаниях параметров, при которых TIES удерживает пальму первенства (преимущественно первое и второе места), вне зависимости от уровня информационных искажений фиксируется превышение I над R.
Участником третьего турнира стала рассмотренная ранее стратегия вымогателя ZDExtortion. Расширение конкурентного поля ожидаемо скорректировало итоговые показатели. Наряду с этим большее разнообразие состава претендентов не разрушило описанную выше корреляцию.
В четвертом и пятом циклах экспериментов оппонентами стали одни из наиболее сильных на текущий момент алгоритмов машинного обучения, представленных в библиотеке. Главное преимущество таких программ заключается в способности быстро извлекать максимальную выгоду в предсказуемых условиях. Эмпирические данные, тем не менее, показывают, что по мере роста информационного шума системы искусственного интеллекта способны утрачивать стабильность, вероятно, вследствие ошибочного принятия отдельных сбоев за враждебность соперников[9].
Моделирование в рамках седьмой серии опытов проводилось в более конкурентной обстановке с участием как «классических» алгоритмов, так и стратегии нулевого детерминанта, а также ИИ-систем при нулевом уровне шума. Установлено, что модель лидирует, если I кратно превосходит R.
В восьмом сценарии исследований была сформирована среда, объединившая четырнадцать моделей поведения в теории игр, включая адаптивные системы, например, рассмотренного ранее «Павлова». Тестирование проводилось на фоне нарастающих информационных помех. Наблюдения выявили, что TIES возглавляет турнирную таблицу при уровне искажений от нуля до десяти процентов включительно.
Двадцать четыре оппонента девятой сессии испытаний пополнила стратегия норвежца Отто Боруфсена, представленная на втором турнире Р.Аксельрода[10]. В данном пуле TIES занимает первые и вторые места в диапазоне от пяти до семнадцати процентов информационных искажений[11].
В заключительный этап экспериментов вошли все стратегии библиотеки Axelrod за исключением алгоритмов с критически долгим временем обработки данных. В диапазоне умеренных помех от шести до одиннадцати процентов модель является серебряным призером, уступая нейросети Evolved ANN 5