Игры для взрослых: о применении искусственного интеллекта в игровом военном моделировании

В последнее десятилетие интерес военных к игровому моделированию и симуляциям (варгейму) растет. Возвращение в повестку дня конкуренции между великими державами и, как следствие, перенос центра тяжести военного планирования с экспедиционных кампаний на конфликты высокой интенсивности с равными по силе противниками предъявляют более высокие требования к качеству управления и требует использования продвинутых аналитических и прогностических инструментов, и варгеймы — один из главных.

Варгейм в его нынешней форме насчитывает чуть более двухсот лет и постоянно развивается. Сегодня он проходит новый этап своего развития — в ряде стран запущены исследования и опытное применение технологий ИИ в военном игровом моделировании. Игровые симуляции выступают в роли лаборатории по развитию новых человеко-машинных интерфейсов, например, в виде привычных чат-ботов, способных помочь в выработке тактики и стратегии, прогнозировать действия противника, брать на себя некоторые рутинные задачи управления.

США, будучи пионерами автоматизации военных симуляций, запустили ряд перспективных проектов по внедрению технологий ИИ в варгеймы. Интерес подкрепляется успехами «гражданских» алгоритмов, которые уже смогли победить чемпионов в шахматах, Го, а также популярных компьютерных стратегиях. Под эгидой Минобороны США изучаются возможности «взлома» игрового баланса, поиска оптимальных стратегий развития ботов, способных к стратегическому (рефлексивному) взаимодействию, симуляции поведения оппонентов.

Уже существующие возможности больших языковых моделей и агентного моделирования (создания «умных» компьютерных ботов) подогревают высокие ожидания от ИИ, но эти технологии на их нынешнем уровне развития имеют ряд серьезных ограничений. Главная проблема состоит в конфликте между противоречивым стратегическим взаимодействием между людьми и формализованной математической средой функционирования ИИ, которое поддается строгому логическому анализу. К тому же, процессы внедрения ИИ в игровое моделирование и контуры военного управления разворачиваются параллельно, что ставит вопрос о пределах участия алгоритмов в принятии решений и размывании ответственности человека.

Так или иначе, практики все активнее используют чат-боты в игровых симуляциях в качестве виртуальных ассистентов. По разным данным, они показывают хорошие результаты в симуляциях боевых действий тактического уровня, генерировании игровых сценариев и создании эффекта присутствия. В этом контексте вызывает интерес возможное комбинирование технологий ИИ и реальных данных, полученных различными видами разведки.

Технологии искусственного интеллекта вопреки ажиотажу пока далеки от того, чтобы радикально изменить роль человека в моделируемых или тем более реальных противостояниях. Они слишком ориентированы на простые, предсказуемые сценарии, больше способны решать рутинные, чем нетривиальные задачи, и по-прежнему остаются «черным ящиком» с точки зрения взаимодействия с данными. Однако уже сегодня ИИ стоит на пороге превращения в полноценного виртуального тренера и помощника. Вполне возможно, что в недалеком будущем значительная часть повседневной работы командира будет состоять в сократическом диалоге с машиной и сверке своих действий с рекомендациями чат-ботов.

История моделирования войны или варгейма насчитывает многие сотни лет. В современном виде профессиональные варгеймы появились в первой четверти XIX в. в Пруссии [1]. Они быстро завоевали популярность в офицерских кругах других стран. В XX в. лидерами в развитии и применении варгейма стали США, где он вышел далеко за пределы военного сообщества.

Авторитетный американский специалист П. Перла определял варгейм как любую модель или симуляцию войны без привлечения реальных военных сил, в котором на ход событий влияют решения, сделанные в ходе этих событий «игроками», представляющими противоборствующие стороны». Каким бы ни был формат и сценарий варгейма (стратегическая настольная игра со значительным элементом случайности, тактический поединок с использованием цифровых двойников или четко структурированный семинар с детальным обсуждением каждого хода операции), в его основе лежит стратегическое [2] взаимодействие между людьми, которые принимают решение в обстановке неопределенности и дефицита времени. Варгейм используется как инструмент обучения, анализа, прогнозирования и эвристики, а также является учебной дисциплиной и предметом научного интереса.

Антон Колонин:
Куда расти грядущему сверхинтеллекту?

В последнее десятилетие интерес к варгеймам среди военных разных стран растет. В США это связывают с возвращением в повестку дня конкуренции между великими державами и, как следствие, переносом центра тяжести военного планирования с экспедиционных кампаний на конфликты высокой интенсивности с равными по силе противниками. Это предъявляет более высокие требования к качеству управления и требует использования продвинутых аналитических и прогностических инструментов. В НАТО и вооруженных силах ряда стран даже разработаны специальные руководства по организации варгеймов.

Варгейм постоянно развивается: от применения реальных топографических карт до автоматизации игрового процесса с помощью компьютеров. Сегодня он проходит новый этап своего развития — в ряде стран запущены исследования и опытное применение технологий ИИ в военном игровом моделировании [3].

Ажиотаж вокруг перспектив ИИ огромен, ему отводят значительную трансформирующую роль в различных сферах: от рынка труда и образования до анализа развединформации и стратегической стабильности. Почему на этом фоне именно внедрение ИИ в варгеймы представляется заслуживающей внимания темой? Эксперты считают, что варгейм может сыграть роль лаборатории по созданию и тренировке алгоритмов, способных помочь в выработке тактики и стратегии, прогнозировать действия противника, брать на себя некоторые рутинные задачи управления. Поэтому обзор достижений и проблем релевантных проектов может позволить сделать более широкие выводы о реальных возможностях ИИ с точки зрения принятия решений.

Внедрение технологий ИИ в военные симуляции [4] может стать фундаментом для развития новых человеко-машинных интерфейсов, например, в виде уже привычных чат-ботов, которые позволят командирам сверхбыстро принимать оптимальные решения в условиях информационной перегрузки, когда необходимо управлять сотнями и тысячами разнообразных боевых единиц в режиме реального времени. Неслучайно возникновение интереса к ИИ как инструменту управления (command and control) в США коррелирует с внедрением в военный обиход концепций «многосферных операций» и «интегрированного сдерживания», которые предполагают комплексное использование всех имеющихся инструментов для решения конкретной задачи.

Андрей Кортунов:
На пути к искусственному интеллекту — пришествие демона Лапласа

Некоторые исследования и проекты

Вопрос о машине (программе), способной принимать решения в рамках военных операций как о научно-прикладной проблеме был поставлен американским математиком Клодом Шенноном еще в 1950 г. на фоне разработки математической теории игр и появления первых компьютерных шахматных программ. Это не только подстегнуло научную дискуссию, но и дало богатую почву авторам научно-фантастического жанра [5].

США, будучи пионерами автоматизации военных симуляций, первыми с начала 1980-х гг. стали внедрять в них элементы ИИ (тогда это были экспертные системы [6]). Так, разработанная американскими аналитиками система RSAS, как утверждалось, была способна совершать сценарный анализ эскалации между «синими» и «красными». Для симуляции не требовалось участие человека, агенты (запрограммированные алгоритмы) могли играть друг с другом, причем они оценивали решения не только с точки зрения непосредственной выгоды в текущем ходе, но и «в глубину» [7]. Проект был дорогим и технически сложным, после окончания холодной войны интерес к нему упал, но разработанные модули были использованы военными в других симуляционных программах.

В 1990–2010-х гг. в области игрового искусственного интеллекта были достигнуты важные прорывы: в 1997 г. компьютер DeepBlue обыграл чемпиона мира по шахматам, в 2010-х гг. ИИ, в основе которого лежат машинное обучение и нейросети (AlphaGo, AlphaGo Zero, AlphaStar), победил чемпионов в китайской игре Го и компьютерной стратегии в реальном времени StarCraft II. В отличие от шахмат, Го — более сложная с точки зрения числа возможных позиций, а StarCraft II — более динамичная и включает «туман войны», т.е. неполную осведомленность игрока о происходящем в игре. В отличие от DeepBlue, который представлял собой экспертную систему и осуществлял просчет всех возможных вариантов ходов на основе заложенных в память реальных матчей между людьми (нечеловеческая скорость анализа — 200 млн позиций в секунду — компенсировала отсутствие обучаемости и адаптивности), его более современные «братья» обладают способностью к самообучению, т.е. вырабатывают оптимальные стратегии, играя сотни и тысячи партий сами с собой, а также могут оценивать позиции в целом, просчитывая только наиболее перспективные альтернативы. Они более гибки в техническом плане и не требуют массивного аппаратного обеспечения.

Естественно, такие успехи, ввиду повсеместного увлечения ИИ, не могли не заинтересовать военных. Изучением перспектив технологии занялись, в частности, в США, Великобритании и КНР. Соответствующие поиски ведутся в рамках комбинирования ИИ с профессиональными варгеймами, включая компьютерные симуляторы боевых действий, а также «гражданскими» видеоиграми.

Так, в последние годы под эгидой Управления перспективных исследовательских проектов (DARPA) Минобороны США были запущены несколько исследовательских проектов. Проект GamebreakerAI предполагает использование ИИ в видеоиграх с «открытым миром» [8] для изучения внутриигрового баланса и выработки оптимальной стратегии игры. В рамках проекта SHADE (Stabilizing hostilities through arbitration and diplomatic engagement) использовалась механика игры «Дипломатия», чтобы создать ботов, способных к стратегическому взаимодействию: переговорам, давлению, формированию альянсов, а также выявлению обмана со стороны контрагента. Проект Combat (Constructive machine-learning battles with adversary tactics) нацелен на создание алгоритма, симулирующего действие противной стороны («красных») в боевых действиях на уровне бригад. Как ожидают разработчики, применение Combat будет стимулировать поиск новых тактических приемов. Цель проекта Scepter (Strategic chaos engine for planning, tactics, experimentation and resiliancy), который завершится в 2025 г., состоит в создании аналитического движка для разработки стратегии боевых действий. Ожидается, что Scepter превзойдет человека в игре. В основе идеи проекта лежит соединение эвристических методов на базе алгоритмов, сформированных экспертами, и машинной скорости обработки данных.

Виталий Чугунов, Александр Доронин:
Боевое применение ИИ-систем Израилем в секторе Газа: этические проблемы

Ожидания

Ожидания от ИИ у части исследователей и практиков высоки. Они подогреваются совершенствованием возможностей машинного обучения на основе больших языковых моделей и агентного моделирования (создания «умных» компьютерных ботов). Среди функций, которые ИИ может взять на себя, эксперты выделяют следующие:

• Генерация реалистичных сценариев игры. Моделирование военно-дипломатической кампании в конкретно взятом регионе. Для создания игровой среды ИИ можно обучать на различных типах данных об истории, политических и социально-экономических и природных особенностях, включая спутниковые снимки и продукты OSINT.

• Создание адаптивных ботов-противников. Имитация ИИ-агентом действий предполагаемого противника (его типичных тактических приемов и шаблонов принятия решений) на основе различных технологий машинного обучения. Такие боты могут обучать военных.

• «Разбор полетов». Поиск распространенных паттернов — ошибочных и удачных решений — в проведенных играх или моделях реальных операций с последующим анализом.

• Прогнозная аналитика и поддержка принятия решений. Рекомендации оптимальной стратегии и прогноз исходов в реальном времени на основе доступа к большим данным: историческим сведениям, цифровым двойникам, показателям различных систем наблюдения и контроля, состояния окружающей среды (погода, видимость, рельеф).

Предполагается, что натренированный в варгеймах ИИ поможет искать слабые места в действиях оппонентов, анализировать риски и угрозы, прогнозировать изменения обстановки, искать критически важные аспекты и уязвимости в системах и операциях, а также формулировать оптимальный план действий.

Никита Соловьев:
Опасные последствия применения технологий ИИ в военных целях

Ключевые ограничения

Практический результат упомянутых выше исследовательских проектов пока не поддается объективной оценке, так как для этого не хватает публичных сведений. Однако обзор существующих сегодня технологий ИИ и опросы экспертов по игровому моделированию несколько отрезвляют. На их основе можно выделить ряд важных ограничений, выходящих далеко за рамки варгейма.

Сверхчеловеческие показатели программ с ИИ в некоторых играх дают соблазн сделать вывод о том, что их можно применить к «живому» стратегическому взаимодействию между людьми, хотя бы в игровой ситуации. Известные успехи в настольных и компьютерных играх — применение машинного обучения с подкреплением (reinforcement learning) и метода Монте-Карло (выявление статистически успешной стратегии перебором случайных ходов во множестве партий) — были достигнуты в упорядоченных игровых средах с формализованными правилами и балансами игры. Так, шахматы и Го, несмотря на многие триллионы гипотетических уникальных позиций на доске, предоставляют игроку ограниченный набор возможных ходов внутри этих позиций. Для анализа варгеймов и создания виртуальных адаптивных игроков на основе ИИ (задача-максимум) потребовалось бы превратить игры, основанные на нарративах, в формальные, математические структуры, поддающие строгому логическому анализу, тем самым жертвуя сложностью контекста и спецификой игроков, например, характером восприятия, мотивации, эмоций и других нерациональных элементов. Здесь встает одна из проблем моделирования социальных систем вообще — выявление пределов допустимого упрощения.

ИИ-программы лучше справляются с нахождением паттернов и отклонений от них, чем с объяснением причинно-следственных связей, лучше просчитывают заскриптованные характеристики (например, «вес» тех или иных юнитов в игре), чем контекст ситуации. Это было продемонстрировано еще в 1980 г. в мысленном эксперименте американского философа Джона Сёрла под названием «Китайская комната». Таким образом, получить по-настоящему адаптивное поведение ИИ пока проблематично.

С трудностями формализации игр связана проблема дефицита структурированных массивов данных для обучения (датасетов). Практика показывает, что для эффективного применения ИИ нужны датасеты, полученные в ходе сотен и тысяч итераций одной и той же игры (так формируются статистически значимые результаты), в то время как профессиональный реалистичный варгейм в интересах анализа и прогноза — это штучное мероприятие, для которого игровая среда (сценарий, баланс сил, механика игры, эксперты-оценщики) каждый раз собирается заново.

Несмотря на незрелость соответствующих технологий, некоторые исследователи уже предвидят возникновение этических проблем. Процессы внедрения ИИ в игровое моделирование и контуры управления разворачиваются параллельно, что неизбежно ставит вопрос о пределах участия алгоритмов в принятии решений и размывании ответственности человека. В частности, высказывается опасение, что любые правдоподобные нарративы, расчеты и прогнозы машины будут приниматься людьми без должного критического осмысления. Галлюцинации больших языковых моделей, то есть создание правдоподобных, но ошибочных нарративов из-за недостаточных или тенденциозных данных, положенные в основу решений для реальных ситуаций, могут не просто обернуться ошибками, но и стоить жизней.

Полноценные игровые платформы для использования в варгеймах пока не созданы. Существующие коммерческие решения для анализа настольных и компьютерных игр, например Open AI Gym, OpenSpiel, Polygames, ELF, General Video Game AI не могут быть использованы напрямую в силу технических ограничений.

Сергей Себекин:
Угрозы международной информационной безопасности в эпоху Индустрии 4.0

Текущие возможности ИИ

Ограниченность технологии не мешает практикам все активнее использовать чат-боты в игровых симуляциях в качестве виртуальных ассистентов. С их помощью в компьютеризированной игровой среде (например, в тактическом симуляторе), может быть достигнут заметный результат.

Чем более ограничены рамки игры, тем лучше показывает себя ИИ. Например, игровое моделирование охоты нескольких эсминцев за подводной лодкой или воздушной операции будет эффективнее, чем игра на стратегической карте. Так, в некоторых американских военных учебных заведениях чат-боты тестируются в тактическом симуляторе Command. По утверждению одного из пользователей, сформулированный чат-ботом расчет наряда авиационных сил и средств в сценарии по уничтожению РЛС, прикрываемой с земли и воздуха, обеспечивает 50–60% успешных исходов в игре.

Опытные разработки, полученные в результате компьютерных игровых симуляций, помогают решать некоторые тактические задачи, например, подсказывать выгодную конфигурацию позиций, регулировать режимы огня, ставить типовые задачи подчиненным. Необходимые расчеты обеспечиваются на основе цифрового моделирования физических объектов (цифровых двойников) — местности и систем вооружения. Нельзя исключать, что полученные таким образом наработки будут интегрированы с проектами по усилению систем управления ИИ-агентами, например, на боевых кораблях. Первым таким кораблем стал американский эсминец УРО Fitzgerald. Соответствующая работа также ведется в Великобритании в рамках проекта Intelligent Ship AI Network.

Большие языковые модели все чаще используются для формирования сценария и создания эффекта присутствия. Например, в НАТО в ходе игр по сценарию обороны в Прибалтике использовались различные версии чат-бота GPT от OpenAI, а также модели на локальных машинах Mistral 7b, Llama 7b, Hermes 7b, Falcon 7b, которые генерировали сценарий и играли роль журналиста, транслирующего репортажи из конфликтного региона. В учебных заведениях Армии США для этих целей используют платформу Scale Donovan.

В этом контексте вызывает интерес возможность обогащения тренировочных датасетов и сценариев, генерируемых ИИ, «настоящими» данными, которые получены различными видами разведки. Некоторые крупные западные специалисты, в частности, предлагают использовать сведения о маршрутах подводных лодок или мобильных пусковых комплексах ракет [9], не говоря уже об обширной библиотеке компьютерных симуляций, имеющихся в распоряжении Пентагона.

***

Технологии искусственного интеллекта вопреки ажиотажу пока далеки от того, чтобы радикально изменить роль человека в моделируемых или тем более реальных противостояниях. Они слишком ориентированы на простые, предсказуемые сценарии, больше способны решать рутинные, чем нетривиальные задачи, и по-прежнему остаются «черным ящиком» с точки зрения взаимодействия с данными.

Перспектива рационализации стихии войны с помощью ИИ все еще очень далека от осуществления, но слишком соблазнительна, чтобы от нее отказаться. И если отбросить самые смелые ожидания о замене человека машиной, то мы увидим, что уже сегодня ИИ стоит на пороге превращения в полноценного виртуального тренера и помощника на различных уровнях управления, особенно там, где нужно учитывать множество факторов и работать в условиях дефицита времени. Вполне возможно, что в недалеком будущем значительная часть повседневной работы командира будет состоять в сократическом диалоге с машиной и сверке своих действий с рекомендациями чат-ботов.

1. Варгейм (англ. Wargame) — это прямая калька с немецкого Kriegsspiel, «военная игра».

2. Под понятием «стратегическое взаимодействие» понимается такое взаимодействие, при котором каждая сторона просчитывает ответную реакцию оппонента на свои ходы и соответствующим образом адаптирует их.

3. Под ИИ в этой статье понимается комплекс технологических и программных решений, позволяющий добиваться результатов, которые сопоставимы с или превосходят результаты работы человеческого интеллекта. ИИ охватывает такие технологии, как большие языковые модели, машинное обучение, компьютерное зрение.

4. Некоторые эксперты-игропрактики разделяют понятия «симуляция», «моделирование» и «варгейм». Чтобы не вдаваться в теоретическую дискуссию, в рамках этой статьи термины считаются равнозначными

5. Одно из воплощений этой идеи можно увидеть в американском фильме «Военные игры» 1983 г., где компьютер WOPR (War Operation Plan Response), предназначенный для генерирования военных планов на основе постоянного обучения входящими данными, вышел из-под контроля и чуть не развязал ядерную войну.

6. Экспертная система — программное обеспечение в виде базы знаний (понятий, фактов, правил) в конкретной области с возможностью логического вывода данных. Упрощенный пример использования экспертной системы: терапевт с помощью специального интерфейса вводит данные о симптомах пациента (температура, наличие кашля, головная боль, слабость и т.п.), далее они сопоставляются с набором данных в базе, и система выдает наиболее вероятный диагноз. Строго говоря, экспертные системы 1980-х гг. не являлись технологией ИИ в сегодняшнем понимании, но были важным шагом на пути его развития.

7. Davis, P.K., Bracken, P. Artificial intelligence for wargaming and modeling. Journal of Defense Modeling and Simulation: Applications, Methodology, Technology. Vol. 22, Issue 1. 2022. P.1-16. DOI: 10.1177/15485129211073126

8. «Открытый» мир в видеоиграх предполагает нелинейное развитие сюжета с наличием множества вариантов достижения цели, в отличие от заскриптованных игр, где игрок движется в заданных рамках локации и сценария.

9. Davis, P.K., Bracken, P. Artificial intelligence for wargaming and modeling. Journal of Defense Modeling and Simulation: Applications, Methodology, Technology. Vol. 22, Issue 1. 2022. P.1-16. DOI: 10.1177/15485129211073126