Статья посвящена теоретическому обоснованию и верификации интегративного аналитического инструментария, изначально разработанного для интерпретации политики государств в сфере военного атома. Представленная в настоящей работе модель объединяет в мультипликативную структуру четыре параметра: восприятие угроз безопасности, внутриполитический дискурс, внешний контекст, а также материально-технические возможности участников международных процессов.
Методологической основой исследования выступают компьютерные соревнования в рамках повторяющейся дилеммы заключенного в теории игр на базе открытой программной библиотеки Axelrod, включающей широкий пул как «классических» алгоритмов, так и современных архитектур искусственного интеллекта.
В исследовании постулируется целесообразность дальнейшего концептуального осмысления самой дилеммы узника. В то время как участники алгоритмических соревнований делают акцент на анализе поведения соперников, настоящая статья подтверждает необходимость учета внутренних установок самих претендентов. Именно такой подход предлагает адаптированная под данные компьютерные состязания конфигурационная модель TIES, в которой решения принимаются умножением, а не сложением переменных.
Экспериментальные данные выявили положительную корреляцию между успешными исходами и преобладанием готовности к сотрудничеству над внутренней осторожностью. При этом показано, что увеличение уровня открытости должно сопровождаться соразмерным ужесточением границ допустимого поведения других участников.
Полученные выводы имеют прикладное значение в вопросах методологии стратегического прогнозирования, в особенности в условиях неопределенности. Дальнейшая апробация модели на междисциплинарном уровне очерчивает горизонт перспективных научных изысканий.
Ключевые слова: компьютерное моделирование, повторяющаяся дилемма заключенного, стратегическая стабильность, теория игр.
Abstract. This article explores the applicability of the introduced analytical framework, originally designed to assess the likelihood of a state initiating or abandoning a nuclear weapons development program, within the context of game theory algorithmic tournaments. At its core, the study puts forward the TIES model, a multiplicative architecture that integrates four discrete yet interconnected elements: security considerations, internal political dynamics, external context, as well as technological and economic capabilities.
Specifically, the paper argues for a deeper investigation of the nuanced aspects inherent in the iterated Prisoner’s Dilemma, moving beyond modeling of opponent behavior toward a subject-oriented approach governed by internal constitution.
Through extensive computational simulations within the iterated Prisoner’s Dilemma, the presented non-linear structure was evaluated using the open-source Axelrod library against over two hundred deterministic, extortionate, and advanced AI systems. The findings demonstrate that the TIES model achieves peak performance under realistic noise levels corresponding to approximately twelve percent. In particular, the research identified a range of effective parameter ratios in which the long-term competitiveness was defined not by behavioral maneuvering, but by a balance within the model’s inner compass, whereby cooperative predispositions outweighed strategic caution.
The multiplicative logic, wherein the outcome is determined by a product rather than simple addition of elements, has already displayed a level of versatility across two distinct domains: nuclear decision-making and game theory. Nevertheless, the proposed configurational architecture might yet open avenues for further cross-disciplinary validation.
Keywords: algorithmic tournaments, game theory, Iterated Prisoner’s Dilemma, round robin stochastic simulations, TIES model, strategic stability.
Введение
В январе 1950 года математик Меррилл Флад совместно со своим коллегой Мелвином Дрешером провел в стенах исследовательского центра RAND, созданного в 1946 году по заказу Военно-воздушных сил Армии США, эксперимент по моделированию т.н. некооперативных игр. В опыте приняли участие двое сотрудников организации под инициалами AA и JW[1]. Испытуемым предложили сыграть сто раундов на деньги, где в каждом туре требовалось выбрать один из двух вариантов: сотрудничество либо отказ от кооперации.
Условия выплат были заданы так, что в каждой отдельной партии любому из участников было выгоднее отказаться от сотрудничества, независимо от действий контрагента.
По ходу эксперимента решения испытуемых, вопреки изначальным предположениям, постепенно смещались в сторону взаимного сотрудничества. Если в первых раундах AA и JW не столь часто выбирали кооперативный вариант, то в последней четверти придерживались его в среднем в девяноста процентах случаев[2].
М.Флад связал наблюдаемую тенденцию с тем, что в реальных ситуациях люди, по-видимому, склонны «постепенно нащупывать более выгодное решение, если таковое имеется» [Flood 1952: 21]. Следует подчеркнуть, что ученый, по собственному признанию, не вел протокола опыта: «К сожалению, я, как правило, не фиксировал ход экспериментов на бумаге, поэтому воспроизвожу их здесь по памяти с максимально возможной точностью. Несмотря на то, что числовые и описательные подробности иногда реконструированы умозрительно, полагаю, что ключевые результаты и общие выводы изложены достаточно достоверно, чтобы представлять практическую ценность» [Flood 1952: 4].
В мае 1950 года Альберт Такер, научный руководитель Джона Нэша, перед выступлением в Стэнфордском университете раздал аудитории психологов материал, в котором облек разработанную в RAND игровую структуру в наглядную сюжетную форму, ставшую известной как дилемма заключенного[3]. В одной из интерпретаций двое арестованных должны порознь решить: хранить молчание либо свидетельствовать друг против друга. Если подозреваемые отказываются от дачи показаний, обоих отпускают за недостатком улик. В случае взаимного предательства их осуждают, однако учитывается содействие правосудию. При этом лицу, в одностороннем порядке оказавшему помощь следствию, предоставляются преференции, в то время как его сообщник, отказавшийся от досудебного соглашения, проходит по более тяжкой статье.
Применительно к теории международных отношений дилемма заключенного воспроизводит логику широкого класса ситуаций, когда стремление каждого к личной выгоде в конечном итоге оборачивается неоптимальным исходом для всех участников.
В книге «Эволюция сотрудничества» профессор Мичиганского университета Р.Аксельрод приводит пример двух государств, которые установили взаимные импортные пошлины. Обоим предпочтительнее отказаться от торговых ограничений, однако «независимо от действий контрагента, другой стороне всегда выгоднее сохранить тарифы. Таким образом, проблема заключается в том, что у каждой страны есть стимул не снимать барьеры. Данное обстоятельство обусловливает худший исход, чем тот, которого можно было бы достичь при взаимном сотрудничестве» [Axelrod 1984: 7].
Для поиска оптимальной стратегии в подобных ситуациях в долгосрочном ракурсе исследователь в духе описанного выше эксперимента в RAND 1950 года решил задействовать потенциал вычислительных систем. В этих целях Р.Аксельрод «пригласил экспертов по теории игр прислать свои программы для состязаний по дилемме заключенного, которые проводились на компьютере подобно шахматному чемпионату» [Axelrod 1984: vii]. Эффективность стратегий в условиях многократного взаимодействия оценивалась в формате кругового турнира, известного в англоязычной литературе как round robin, то есть поочередного состязания один на один.
В виртуальном соревновании приняли участие пятнадцать алгоритмов (включая RANDOM, который выбирает случайное действие и был добавлен для контроля результатов эксперимента). Победителем стала наиболее простая из предложенных стратегий, которая всегда начинала с сотрудничества, а затем повторяла предшествующий шаг оппонента. Концепция получила название «Око за око» (как ты ко мне, так и я к тебе) или, в соответствии с англоязычной идиомой, TIT FOR TAT (TFT).
Второй раунд соревнований был более масштабным: Р.Аксельрод предварительно опубликовал результаты турнира, предоставив участникам полную информацию о победителе. На сей раз были присланы шестьдесят две стратегии (без учета RANDOM). Несмотря на то, что на конкурс, как и в первом турнире, были представлены отдельные сложные и весьма проработанные решения, первое место вновь отошло TFT[4].
Результативность стратегии, по мнению Р.Аксельрода, объясняется четырьмя императивами поведения: презумпцией взаимного доверия, незамедлительным ответом на предательства, возвратом к сотрудничеству в случае корректировки контрагентом своего курса, предсказуемостью для остальных участников [Axelrod 1984: 20].
Как отмечает исследователь: «Мы привыкли мыслить категориями соревнований, где, как в футболе или шахматах, победитель может быть только один. Однако жизнь устроена иначе. В самых разных обстоятельствах взаимное сотрудничество приносит обеим сторонам больше пользы, чем обоюдный эгоизм. Ключ к успеху кроется не в том, чтобы превзойти других, но в том, чтобы найти с ними общий язык» [Axelrod 1984: 190]. Полученные в ходе турниров результаты подтвердили возможность выстраивания устойчивого взаимодействия в условиях, воспроизводящих анархический, в терминах школы реализма, характер системы международных отношений.
Исследования в сфере компьютерного моделирования повторяющейся дилеммы узника были продолжены и после знаменитых соревнований. В 1993 году Мартин Новак из Оксфордского университета и профессор Венского университета Карл Зигмунд продемонстрировали уязвимость «Око за око» при наличии информационного шума, которого в турнирах Р.Аксельрода не было: выяснилось, что даже единичная погрешность способна вовлечь стратегию и ее оппонентов в нескончаемый цикл взаимной конфронтации.
Для преодоления тупика обоюдной мести исследователи предложили собственную модель, которая получила имя выдающегося отечественного физиолога Ивана Петровича Павлова: программа повторяет предыдущее действие при положительном исходе и инвертирует при отрицательном. По словам ученых, итоги тестирования стратегии «позволяют предположить, что в реальной жизни сотрудничество зачастую строится по принципу «придерживайся стратегии в случае победы и меняй при поражении»» [Nowak, Sigmund 1993: 56].
Одним из наиболее значимых теоретических результатов последних лет стало открытие американским специалистом по вычислительной математике Уильямом Прессом и физиком Фрименом Дайсоном[5] так называемых стратегий нулевого детерминанта (zero-determinant strategies), которые «позволяют игроку в одностороннем порядке забрать себе большую часть выигрыша» [Press, Dyson 2012: 10409].
Биологи Александр Стюарт и Джошуа Плоткин решили проверить, как данные ультимативные поведенческие модели зарекомендуют себя на практике. Для этого ученые провели компьютерное тестирование по аналогии с соревнованиями Р.Аксельрода. Исследование выявило дуальную природу таких алгоритмов: «стратегии вымогательства весьма успешны в поединках один на один, однако оказываются неэффективными в крупных, динамично развивающихся сообществах» [Stewart, Plotkin 2013: 15348]. При этом наиболее перспективной, как это ни парадоксально, оказалась «щедрая» версия программы, которая быстрее прощала соперника, если тот возвращался к сотрудничеству.
Цифровым воплощением многолетнего дискурса в исследуемой области стала обнародованная в 2015 году библиотека Axelrod для языка программирования Python. Целью авторов было решение проблемы «дефицита документации и тестового кода» посредством предоставления «ресурса для разработки новых стратегий и их взаимодействия, а также проведения турниров и экологического моделирования эволюции их популяций» [Knight et al. 2016: 1]. Платформа объединяет как алгоритмы времен первых турниров, так и современные модели на базе искусственного интеллекта (ИИ), осуществляющие мониторинг ходов контрагентов и выявляющие в том числе скрытые закономерности, что позволяет действовать на упреждение и гибко адаптировать стратегический курс.
При всем многообразии компьютерных моделей исследовательская традиция, восходящая к середине прошлого столетия, во многом рассматривает участников как рефлексивные и предиктивные системы, выстраивающие взаимодействие на основе прошлых и ожидаемых шагов оппонентов, фактически выводя за скобки фактор субъективности.
Архитектура конфигурационной модели принятия решений
Четырехмерный инструментарий TIES был изначально разработан для интерпретации и прогнозирования ядерного выбора государств. Методологическая особенность заключается в отказе от поиска универсальной объяснительной переменной в пользу синтеза теоретических подходов в рассматриваемой сфере.
При этом лежащая в основе исследовательской рамки мультипликативная логика позволила выйти за пределы исходного предметного поля. В настоящей работе аналитическая структура была адаптирована к компьютерному турниру по повторяющейся дилемме заключенного. В русле первоначального замысла модель интегрирует в единую конфигурационную архитектуру четыре взаимодополняющих параметра.
Анализ первого параметра, отражающего восприятие угроз, опирается на реалистскую традицию в теории международных отношений. В контексте объяснения причин проведения государствами ядерных программ в военных целях значение данного фактора определяется наличием экзистенциальных кризисов, остротой региональных противостояний и надежностью союзнических обязательств. Конструктивистская оптика дополняет анализ, указывая на то, что оценка вызовов безопасности субъективна и преломляется сквозь призму накопленного исторического опыта и текущей геополитической конъюнктуры.
Применительно к соревнованиям по повторяющейся дилемме узника данная переменная обозначается как S (security considerations) и формализуется в виде экспоненциальной функции: S = f^d, где f (field) представляет собой коэффициент пространства безопасности, возведенный в степень d (defects) – совокупное количество ходов, характеризующихся некооперативным поведением контрагента.
В рамках настоящей работы значение f принято за 0,99: исходное состояние близко к единице, что выражает аванс доверия к окружающим[6]. Вместе с тем постепенное накопление предательств (d) сводит итоговое значение (S) к минимальному показателю, фактически исключая возможность дальнейшего сотрудничества.
Следующий параметр модели выявляет вклад организационных факторов в формирование внутри- и внешнеполитического курса участников. Конструктивизм обогащает исследование, акцентируя роль символических нарративов и исторической памяти в принятии решений. Применительно к турниру данная переменная (I / internal politics and identity) олицетворяет исходную готовность к сотрудничеству и задается до начала состязаний.
Третий параметр рассматривает влияние внешних условий на стратегический выбор государств, интегрируя институциональный подход, описывающий механизмы формирования предсказуемой среды взаимодействия, и реалистские постулаты о конкурентном характере международных отношений. В алгоритмическом измерении переменная вычисляется следующим образом: E (external context) = (t — d) / t, где t (total) обозначает суммарное число раундов.
Уравнение отражает процесс накопления «репутационного капитала», фиксируя долю кооперативных шагов контрагента. При строгом соблюдении обязательств другой стороной (d = 0) параметр имеет максимальное значение (E = 1), формируя благоприятный контекст для дальнейшего взаимодействия.
Архитектура формулы позволяет оценивать не столько дискретные шаги, сколько совокупную стратегию оппонента. Таким образом, единичные «отступления от правил» не вызывают немедленных ответных действий. В то же время разовый жест «доброй воли» не способен скрыть общую деструктивную позицию визави, поскольку алгоритм функционирует на основе «распределенной памяти», учитывая всю историю взаимодействия. Тем самым модель демонстрирует стабильность в случае краткосрочных изменений динамики действий контрагентов, оценивая характер их поведения.
Четвертый параметр охватывает технические и экономические возможности, которые, как и рассмотренные три переменные, выступают необходимым, однако отнюдь не достаточным условием принятия решений. В компьютерных состязаниях настоящего исследования, направленных на воспроизведение концептуальных основ турниров Р.Аксельрода, значение материальных ресурсов одинаково для всех участников (T / technological and economic capabilities = 1), что позволяет исключить влияние данного фактора на этапе первоначальной апробации модели.
Перечисленные четыре измерения рассматриваются как функционально эквивалентные: сотрудничество реализуется в случае соблюдения условия R ≤ T × I × E × S, при котором порог принятия решения (R / risk threshold) устанавливается экспериментатором. Как следует из неравенства, ослабление одного параметра снижает вероятность кооперации даже при сохранении остальными переменными положительных показателей. Особенность мультипликативной структуры исключает возможность аддитивной компенсации: приближение любого сомножителя к нулевому значению нивелирует итоговый результат всего произведения.
Принимая во внимание изложенное, была разработана следующая программная архитектура модели:
Как видно из кода, TIES всегда начинает с сотрудничества (C), после чего принимает решения с учетом эндогенных факторов и совокупной истории отношений с партнерами.
Верификация проводилась на базе открытой библиотеки Axelrod[7]. Турниры выстраивались по принципу нарастающей сложности с последовательным расширением состава участников. Уровень информационного шума варьировался от нуля, что соответствует идеальным условиям лабораторной среды, до девяноста процентов, символизирующих распад социальных структур.
Дебютная серия экспериментов воспроизводила формат первых турниров по повторяющейся дилемме узника. Вопреки изначальным прогнозам модель демонстрировала высокую устойчивость и занимала первое место при широком спектре конфигураций параметров готовности к сотрудничеству I и внутренней осторожности R. Неожиданная результативность разработанного алгоритма обусловила исследовательский интерес к поиску границ его эффективности при ужесточении конкурентной среды.
Во втором туре испытаний качественный состав участников не менялся, однако сценарий был усложнен введением полного спектра стохастических флуктуаций[8]. По итогам тестирования установлено, что во всех обнаруженных сочетаниях параметров, при которых TIES удерживает пальму первенства (преимущественно первое и второе места), вне зависимости от уровня информационных искажений фиксируется превышение I над R.
Участником третьего турнира стала рассмотренная ранее стратегия вымогателя ZDExtortion. Расширение конкурентного поля ожидаемо скорректировало итоговые показатели. Наряду с этим большее разнообразие состава претендентов не разрушило описанную выше корреляцию.
В четвертом и пятом циклах экспериментов оппонентами стали одни из наиболее сильных на текущий момент алгоритмов машинного обучения, представленных в библиотеке. Главное преимущество таких программ заключается в способности быстро извлекать максимальную выгоду в предсказуемых условиях. Эмпирические данные, тем не менее, показывают, что по мере роста информационного шума системы искусственного интеллекта способны утрачивать стабильность, вероятно, вследствие ошибочного принятия отдельных сбоев за враждебность соперников[9].
Моделирование в рамках седьмой серии опытов проводилось в более конкурентной обстановке с участием как «классических» алгоритмов, так и стратегии нулевого детерминанта, а также ИИ-систем при нулевом уровне шума. Установлено, что модель лидирует, если I кратно превосходит R.
В восьмом сценарии исследований была сформирована среда, объединившая четырнадцать моделей поведения в теории игр, включая адаптивные системы, например, рассмотренного ранее «Павлова». Тестирование проводилось на фоне нарастающих информационных помех. Наблюдения выявили, что TIES возглавляет турнирную таблицу при уровне искажений от нуля до десяти процентов включительно.
Двадцать четыре оппонента девятой сессии испытаний пополнила стратегия норвежца Отто Боруфсена, представленная на втором турнире Р.Аксельрода[10]. В данном пуле TIES занимает первые и вторые места в диапазоне от пяти до семнадцати процентов информационных искажений[11].
В заключительный этап экспериментов вошли все стратегии библиотеки Axelrod за исключением алгоритмов с критически долгим временем обработки данных. В диапазоне умеренных помех от шести до одиннадцати процентов модель является серебряным призером, уступая нейросети Evolved ANN 5 Noise 05, специально обученной для функционирования в условиях шума. Вместе с тем по достижении порогового значения в двенадцать процентов TIES занимает верхнюю строчку рейтинга[12]. С дальнейшим ростом волатильности информационного поля в интервале от четырнадцати до девятнадцати процентов модель закрепляется на третьей позиции.
По итогам соревнований было обнаружено устойчивое сочетание внутренних переменных TIES: модель эффективна, когда стартовый кредит доверия примерно в три раза выше порога ожидаемой взаимности.
Значение при этом имеют не столько абсолютные показатели I и R, сколько их соотношения. Повышение уровня открытости, таким образом, должно сопровождаться пропорциональным сужением границ дозволенного для окружающих.
Кроме того, нашел подтверждение тезис о том, что «распределенная» память помогает TIES сохранять конкурентоспособность в контексте информационных помех. Данный атрибут позволяет поддерживать конструктивный диалог вопреки изолированным ошибкам и сбоям, что обеспечивает устойчивость в долгосрочной перспективе. В то же время подобная структурная организация обусловливает «отсроченный» характер адаптации модели, потенциал которой раскрывается спустя определенное время, необходимое для накопления информации о контрагентах.
* * *
Распространенный подход к моделированию повторяющейся дилеммы заключенного делает акцент на анализе действий оппонента: алгоритмы реагируют на ходы участников, выявляют скрытые закономерности и динамически подстраиваются под меняющиеся параметры среды.
Представленную в настоящей работе модель, напротив, можно отнести к субъектно-ориентированному классу стратегий с мультипликативной логикой, в которой поведение определяется соотношением внутренних установок, а также «диспозиционной», а не ситуативной памятью о совокупной истории отношений с контрагентами.
Турнирные испытания показали, что TIES устойчива в условиях, близких к реальному уровню информационных искажений. Данные экспериментов указывают на результативность такого подхода даже при взаимодействии со сложными алгоритмами машинного обучения.
Стратегическая состоятельность заключается в поиске оптимального баланса «великодушия» и «справедливости», который не позволяет вовлекаться в конфликты вследствие единичных непредумышленных или намеренных инцидентов, однако в то же время исключает возможность безнаказанного злоупотребления доверием.
Перспективным направлением исследований в рамках теории игр могло бы стать проведение с участием модели эволюционных испытаний, воспроизводящих социальную динамику, в которой успешные стратегии постепенно замещают менее адаптированные. Дополнительную научную ценность имеет анализ влияния фактора материальных ресурсов на характер отношений в экосистеме.
Отдельный интерес представляет детальное изучение диапазона значений R > I, в частности, в случае инверсии первого хода с сотрудничества на отказ от кооперации. Смещение фокуса в сторону преобладания внутренней осмотрительности над открытостью к диалогу могло бы выявить неявные закономерности, природу которых еще предстоит верифицировать.
Вектором будущих изысканий мог бы также стать переход от фиксированного состава участников турниров к динамически меняющемуся пулу оппонентов: внимание переносится на определение критериев, при которых целесообразнее всего прекращать коммуникацию с целью минимизации потенциальных издержек при взаимодействии с недобросовестными партнерами.
Самостоятельную исследовательскую задачу составляют как дальнейшее совершенствование топологии TIES, так и проверка гипотезы о наличии у алгоритма способности возвращать среду взаимодействия к кооперативному состоянию.
Архитектура разработанного инструментария, несмотря на структурный минимализм, продемонстрировала применимость за пределами исходного исследовательского контекста, открывая перспективы для изучения вопроса о возможности масштабирования логики модели на смежные дисциплины.
Список литературы
1. Axelrod R. The Evolution of Cooperation. New York: Basic Books, 1984.
2. Flood M. M. Some Experimental Games: Research Memorandum RM-789-1. Santa Monica: RAND Corporation, 1952.
3. Knight V., Campbell O., Harper M., Langner K. M., Campbell J., Campbell T., Carney A., Chorley M., Davidson-Pilon C., Glass K., Glynatsi N., Ehrlich T., Jones M., Koutsovoulos G., Tibble H., Müller J., Palmer G., Petunov P., Slavin P., Standen T., Visintini L., Molden K. An Open Framework for the Reproducible Study of the Iterated Prisoner’s Dilemma // Journal of Open Research Software. 2016. Vol. 4, No. 1. Art. e35, P. 1-11. DOI: http://dx.doi.org/10.5334/jors.125.
4. Nowak M., Sigmund K. A Strategy of Win-Stay, Lose-Shift That Outperforms Tit-for-Tat in the Prisoner’s Dilemma Game // Nature. 1993. Vol. 364, No. 6432. P. 56-58. DOI: 10.1038/364056a0.
5. Press W. H., Dyson F. J. Iterated Prisoner’s Dilemma Contains Strategies That Dominate Any Evolutionary Opponent // Proceedings of the National Academy of Sciences. 2012. Vol. 109, No. 26. P. 10409-10413. DOI: 10.1073/pnas.1206569109.
6. Stewart A. J., Plotkin J. B. From Extortion to Generosity, Evolution in the Iterated Prisoner’s Dilemma // Proceedings of the National Academy of Sciences. 2013. Vol. 110, No. 38. P. 15348-15353. DOI: 10.1073/pnas.1306246110.
[1] Хотя в отчете М.Флада фамилии за инициалами не раскрываются, сегодня они хорошо известны: это экономист А.Алчиан и математик Дж.Уильямс. В документе указано: «По первоначальной задумке, игроки не должны были знать имена друг друга, чтобы исключить возможность сговора. Однако вследствие непредвиденных обстоятельств в самом начале сделать этого не удалось. Тем не менее эксперимент определенно казался полностью некооперативным, поскольку не было обнаружено никаких признаков тайного деления выигрыша, хотя в рамках правил игры вполне мог иметь место скрытый сговор» [Flood 1952: 17]. Примечательно, что в приложении к работе есть сноска: участники были друзьями [Flood 1952: 39].
[2] По итогам эксперимента AA получил сорок центов США, а JW – шестьдесят пять [Flood 1952: 20]. Заслуживает внимания тот факт, что известный математик Джон Нэш, внесший существенный вклад в развитие теории игр, высказывал критические замечания относительно проведенного тестирования: «Изъян данного эксперимента как средства проверки теории точек равновесия заключается в том, что он фактически сводится к одной большой многоходовой игре. Здесь нельзя рассматривать происходящее как последовательность независимых игр, как это делается в случаях с нулевой суммой. Взаимодействие между ходами слишком велико, что отчетливо видно по результатам опыта» [Flood 1952: 24].
[3] Модель также известна как дилемма узника. Важно добавить, что на официальном портале Стэнфордского университета можно найти упоминание о том, что «авторство названия «дилемма заключенного» часто приписывают Такеру… Однако Герра-Пухоль и Мартинес-Гарсия отмечают, что первое печатное упоминание данного термина встречается у Люса и Райффы в 1957 году. Путаница могла возникнуть вследствие того, что версия раздаточного материала для доклада Такера, опубликованная спустя много лет после самого события (Tucker and Straffin 1983), озаглавлена «Дилемма двух лиц: дилемма заключенного». Вместе с тем в распространенном на лекции мимеографическом экземпляре подобный подзаголовок отсутствовал». Kuhn S. Prisoner’s Dilemma // Stanford Encyclopedia of Philosophy. [Electronic resource]. 1997. URL: https://plato.stanford.edu/entries/prisoner-dilemma (дата обращения: 05.07.2026).
[4] Как отмечает ученый: «Демонстрационный код, разосланный будущим конкурсантам в качестве примера оформления заявки, на самом деле выиграл бы турнир, если бы кто-то догадался просто скопировать его и прислать на конкурс! Никто, однако, так не поступил» [Axelrod 1984: 39]. Речь идет о более «великодушной» версии «Око за око».
Среди других потенциальных лидеров компьютерных испытаний исследователь выделяет стратегию «Взгляд в будущее» (LOOK AHEAD), «вдохновленную методами, используемыми в программах искусственного интеллекта для игры в шахматы» [Axelrod 1984: 39]. Другим претендентом на первое место был алгоритм, предложенный специалистом по психологии Лесли Даунингом. Как пишет Р.Аксельрод, «если бы DOWNING изначально исходил из предположения, что другие будут склонны к сотрудничеству, а не к отказу от него, он тоже победил бы, причем с большим отрывом» [Axelrod 1984: 39-40].
[5] Следует добавить, что Ф.Дайсон, в честь которого названо гипотетическое астроинженерное сооружение, обосновал упомянутые закономерности в возрасте восьмидесяти восьми лет.
[6] Использование единицы лишило бы формулу математического смысла, поскольку число 1 в любой степени равно 1 (например, 1^1000 = 1). В таком случае параметр S всегда оставался бы неизменным.
[7] Кроме того, был реализован дополнительный этап тестирования модели, в рамках которого автор разработал собственные программные решения на языке Python, а также интерактивные веб-приложения с использованием HTML/JavaScript.
[8] Для каждого уровня шума трех- и пятикратно перебирались 190 комбинаций параметров I и R в диапазоне от 0,05 до 1,00 с шагом 0,05, что в совокупности дает сотни тысяч независимых наблюдений.
[9] При нулевом уровне информационного шума в турнирах исключительно кооперативного состава (например, со стратегиями axl.TitForTat, axl.Cooperator, axl.Grudger) все алгоритмы получают одинаковое количество очков. Идентичный феномен зафиксирован в ходе шестого цикла испытаний: в бесконфликтной среде алгоритмы искусственного интеллекта (axl.EvolvedANN, axl.EvolvedFSM6, axl.EvolvedHMM5, axl.EvolvedLookerUp2_2_2) и модель TIES стабильно выбирают сотрудничество, в результате чего участники набирают равные баллы.
Префикс axl. используется при вызове программ в библиотеке Axelrod.
[10] Оригинальный код проведения турнира Р.Аксельрода считается утраченным. Сохранились стратегии участников второго эксперимента на языке программирования Fortran. При повторном моделировании соревнований в 2025 году было установлено, что при изменении стартового значения т.н. генератора псевдослучайных чисел (random seed) алгоритм О.Боруфсена мог опередить «Око за око». Подробнее см.: Knight V., Campbell O., Harper M., Gaffney T. J., Glynatsi N. E. Reviving, reproducing, and revisiting Axelrod’s second tournament. [Electronic resource]. 2025. DOI: 10.48550/arXiv.2510.15438 (дата обращения: 05.07.2026).
[11] Оппоненты: axl.TitForTat, axl.Bully, axl.Cooperator, axl.Defector, axl.EvolvedANN, axl.EvolvedANN5, axl.EvolvedFSM16, axl.EvolvedFSM16Noise05, axl.EvolvedFSM4, axl.EvolvedFSM6, axl.EvolvedHMM5, axl.EvolvedLookerUp2_2_2, axl.GoByMajority, axl.Grudger, axl.GTFT, axl.OmegaTFT, axl.Prober, axl.Prober2, axl.PSOGambler2_2_2, axl.SecondByBorufsen, axl.SuspiciousTitForTat, axl.TitFor2Tats, axl.TwoTitsForTat, axl.WinStayLoseShift, axl.ZDExtortion. Turns = 500, repetitions = 5, seed = 42, I = 0.50, R = 0.16.
[12] Применяемая в настоящей работе версия библиотеки 4.14.0 объединяет двести сорок четыре алгоритма. Из общего списка стратегий в финальном турнире были исключены двадцать две программы с пометкой “long_run_time”, которые фактически приводят к зависанию симуляции.
Код итогового тестирования: import axelrod as axl, time
TURNS=400; NOISE=0.12; REPETITIONS=3; SEED=42; I=0.50; R=0.16
class TIES (axl.Player):
name=’TIES’; classifier={‘memory_depth’:float(‘inf’),’stochastic’:False,’makes_use_of’:[]}
def __init__(self,I=I,R=R): super().__init__(); self.I=I; self.R=R
def clone(self): return TIES(self.I,self.R)
def strategy(self,opp):
if not opp.history: return axl.Action.C
t=len(opp.history)
return axl.Action.C if self.I*(t-opp.defections)/t*(0.99**opp.defections)>=self.R else axl.Action.D
def main():
players=[TIES()]+[s() for s in axl.all_strategies if not s.classifier.get(‘long_run_time’,False)]; N=len(players); t0=time.time()
res=axl.Tournament(players=players, turns=TURNS, noise=NOISE, repetitions=REPETITIONS, seed=SEED).play(progress_bar=True)
D=TURNS*(N-1)*REPETITIONS; ss=sorted (enumerate(res.scores),key=lambda x:-sum(x[1]));rank=next(i+1 for i,(idx,_) in enumerate(ss) if idx==0);
sc_s=next (sc for idx, sc in ss if idx==0)
print (f’TIES(I={I},R={R}) — #{rank}/{N} (топ {rank/N*100:.1f}%)\n’)
print (f’ {«Ранг»:<5}{«Стратегия»:<48}{«Score/ход»:>10}’); print(‘ ‘+’-‘*63)
for pos, (idx, sc) in enumerate (ss[:10],1):
print (f’ #{pos:<4}{str(res.players[idx]):<48}{sum(sc)/D:.4f}{» -TIES» if idx==0 else «»}’)
if __name__==»__main__»:
main()
В программной реализации приведена одна из наиболее результативных конфигураций I и R. Следует отметить, что разработанный в статье алгоритм не позиционируется как превосходящий другие решения. Победа в узком диапазоне значений (например, при turns = 500, noise = 0.10, repetitions = 1, I = 0.52, R = 0.16, seed = 7; turns = 400, noise = 0.11, repetitions = 1, I = 0.50, R = 0.16, seed = 7; turns = 400, noise = 0.12, repetitions = 3, I = 0.75, R = 0.24, seed = 42 или turns = 450, noise = 0.125/0.13, repetitions = 10/15, I = 0.50, R = 0.16, seed = 42) не являлась самоцелью проведенных испытаний. Принимая во внимание интерпретируемость TIES, исследование было направлено на поиск наиболее перспективных поведенческих стратегий с акцентом на роль субъективных императивов.
Для исключения предвзятости была проведена серия испытаний на устойчивость при случайных начальных условиях и масштабировании числа повторений. Заключительным и наиболее важным этапом валидации модели стало тестирование с параметрами: turns = 450, noise = 0.125, I = 0.50, R = 0.16, repetitions = 200, SEEDS = sorted(random.Random(10).sample(range(1, 1_000_000), k = 3)). Симуляция охватывает порядка 6,7 млрд раундов. В данной конфигурации TIES заняла третье место как среди двухсот двадцати двух конкурентов в каждом из трех независимых прогонов, так и в пуле из одиннадцати выявленных фаворитов турнира (с расширением до ста начальных значений), подтвердив стабильность алгоритма в общем зачете.
Информация об авторе:
Тарасов Константин Сергеевич, независимый исследователь
Information about the author:
Konstantin Tarasov, independent researcher
Изображение сгенерировано нейросетью Open AI
* Автор выражает искреннюю признательность Казаковой Валентине Николаевне за бесконечную мудрость и неизменную поддержку на профессиональном и жизненном пути.
