Наука предвидения? Поиск пророков в своём Отечестве

Отношение к прогнозам среди специалистов-международников, мягко говоря, двойственное. Многие скептически относятся к возможности обоснованных предположений о будущем. Такой взгляд ярко отразила статья с провокационным названием «Бог дал физике простые проблемы». Её авторы утверждали, что социальные процессы характеризуются столь высокой неопределённостью, что самые глубокие объяснения прошлого не дают надёжных оснований для прогнозирования последующих событий.

Схожую позицию отстаивали и другие видные специалисты. Международно-политическая обстановка действительно скрывает множество неясностей, не последнее место среди которых занимает проявление свободной воли лиц, принимающих решения. Вместе с тем сложно отделаться от мысли, что отказ прогнозировать происходит из страха за собственную репутацию.

При этом специалисты, работающие в академических институциях и экспертных организациях, не могут игнорировать запросы практиков. Последних же в первую очередь интересует именно будущее, ведь только на него они могут влиять своими действиями или бездействием. Более того, дефицит прогнозов специалистов создаёт лакуну, которую заполняют различного рода «говорящие головы», ориентирующиеся не на точность оценок и корректность логических построений, а на эмоциональную яркость и экстравагантность высказываемых суждений. Опора на такого рода субститут аналитики во внешнеполитическом процессе грозит просчётами и, в конечном счёте, проигрышем. В этом свете отказ экспертов делиться прогнозами — не просто потакание малодушию, оно таит практический вред.

В отечественном экспертном сообществе интерес к прогнозированию стабильно высок. Ведущие аналитические центры регулярно представляют оценки как на краткосрочную, так и на долгосрочную перспективу. Профильная конференция «Международная неопределённость» ежегодно собирает широкий круг специалистов для обсуждения перспектив развития глобальных процессов. Вместе с тем до сих пор системной работы по оценке качества прогнозов и поиску путей повышения их точности не велось.

В 2022 г. коллектив исследователей МГИМО запустил анализ отечественных практик прогнозирования. Цель нашего проекта — изучение подходов российских специалистов к оценке ситуаций, перепроверка выводов зарубежных исследователей о детерминантах точности прогнозов, а также ранжирование классов событий с точки зрения их прогнозируемости. На основе исследования планируется разработка учебных программ по совершенствованию прогнозирования. Побочным продуктом выступают прикладные сценарии развития международной обстановки.

 В рамках проекта на ежемесячной основе проводятся опросы специалистов-международников, представляющих университеты, академические институты, аналитические центры, государственные ведомства, средства массовой информации. Участники оценивают вероятность наступления событий, способных оказать существенное влияние на ситуацию в мире и внешнюю политику России на горизонте от нескольких недель до пяти лет.

Большое внимание уделяется проверяемости собираемых ответов — возможности в будущем с высокой точностью установить имело ли место прогнозируемое событие. Научный коллектив также стремится избегать узкоспециальных тем, по которым есть опасность получить мало квалифицированных ответов. Исходя из уже собранных данных, можно ожидать получение первых обоснованных научных результатов к началу 2024 г., когда станут известны результаты в отношении по крайней мере полусотни заданных вопросов.

Текущие результаты подкрепляют крамольное предположение, что специальные знания в предметной области не обеспечивают превосходства в прогнозировании. Наблюдаемый парадокс может объяснять то, что специалисты, погружаясь в детали, не всегда удерживают в голове общую картину. При этом больший разброс оценок в сравнении с неспециалистами позволяет допустить, что невпечатляющие средние показатели скрывают исключительно точные прогнозы выдающихся экспертов.

Существенный интерес представляет разница в прогнозируемости событий, локализуемых в различных регионах. Собранные данные свидетельствуют, что точность оценок относительно событий, территориально относящихся к Незападу (включая Восточную и Южную Азию, Ближний и Средний Восток), выше, чем в отношении событий на Западе (Европа и Северная Америка). Подобные результаты тем более неожиданны, учитывая, что ответы самих респондентов свидетельствуют — среди них больше специалистов западников, чем востоковедов.

Наиболее же сложной для прогнозирования в рассматриваемый период оказывалась обстановка в ближнем зарубежье. Точность оценок в отношении постсоветского пространства оказывалась ниже по отношению и к Западу, и к Незападу. С практической точки зрения он оказывается крайне проблематичным, так как именно это региональное направление имеет приоритетное значение для российской внешней политики.

Стоит подчеркнуть, что имеющихся данных недостаточно для надёжного подкрепления высказываемых предположений. В этом смысле представленный текст — только анонс большой работы, которую ещё предстоит сделать.

Что день грядущий мне готовит?
Его мой взор напрасно ловит,
В глубокой мгле таится он.

А.С. Пушкин

Отношение к прогнозам среди специалистов-международников, мягко говоря, двойственное. Многие скептически относятся к возможности обоснованных предположений о будущем. Такой взгляд ярко отразила статья с провокационным названием «Бог дал физике простые проблемы» [1]. Её авторы утверждали, что социальные процессы характеризуются столь высокой неопределённостью, что самые глубокие объяснения прошлого не дают надёжных оснований для прогнозирования последующих событий.

Схожую позицию отстаивали и другие видные специалисты, благо она имеет под собой основания [2]. Международно-политическая обстановка действительно скрывает множество неясностей, не последнее место среди которых занимает проявление свободной воли лиц, принимающих решения. Вместе с тем сложно отделаться от мысли, что отказ прогнозировать происходит из страха за собственную репутацию, так как неточности в оценках грозят вскрыть ошибочность лежащей за ними логики. Между тем, авторитет — самая ходовая валюта в экспертном сообществе.

При этом специалисты, работающие в академических институциях и экспертных организациях, не могут игнорировать запросы практиков. Последних же в первую очередь интересует именно будущее, ведь только на него они могут влиять своими действиями или бездействием. Отлынивание специалистов от задач прогнозирования вызывает у практиков предсказуемое недоумение: если эксперты претендуют на обладание выдающимися знаниями, то почему не готовы дать оценку перспектив развития событий? В чём ценность их эрудированности?

Более того, дефицит прогнозов специалистов создаёт лакуну, которую заполняют различного рода «говорящие головы», ориентирующиеся не на точность оценок и корректность логических построений, а на эмоциональную яркость и экстравагантность высказываемых суждений. Опора на такого рода субститут аналитики во внешнеполитическом процессе грозит просчётами и, в конечном счёте, проигрышем. В этом свете отказ экспертов делиться прогнозами — не просто потакание малодушию, оно таит практический вред.

Игорь Истомин:
Международно-политическая теория и её критики

От гадания к рефлексии

Нелюбовь к прогнозам присуща не только международникам. Так, в XIX в. предсказания погоды представлялись делом мало реалистичным, если не безнадёжным. И сегодня, промокнув из-за нежданного ливня или протаскав зонт под палящим солнцем, остаётся хорошим тоном ворчать на синоптиков. Тем не менее качество прогнозов метеорологической обстановки за полтора столетия сильно выросло [3]. Прогресс дали планомерные усилия, обширная коллаборация, многочисленные пробы и ошибки — кропотливая работа, посрамившая скептиков.

Следствием недоверия к прогнозированию международной обстановки стал дефицит научной рефлексии касательно возможностей и ограничений этого рода деятельности. Какие личные качества или навыки влияют на качество оценок? Существуют ли методы и инструменты, обеспечивающие большую точность прогнозов? Являются ли какие-то типы событий, ситуаций, процессов в международной политике более предсказуемыми, чем другие? Длительное время такого рода вопросы практически не ставились, что поощряло волюнтаризм в экспертных оценках.

Периодически, сталкиваясь со «стратегическими сюрпризами», руководители государств инициировали расследования допущенных провалов. Так, по итогам Войны Судного дня израильская разведка вынуждена была представить объяснение запоздалого предупреждения о египетском нападении [4]. После революции в Иране 1979 г. ЦРУ провело ретроспективный анализ благодушных оценок сотрудниками антишахских протестов в предшествующие месяцы [5]. Тем не менее разрозненные инициативы не перерастали в регулярную работу над ошибками.

Крупнейший вклад в пересмотр отношения к международно-политическому прогнозированию внёс Филип Тетлок. С 1980-х гг. он начал проводить систематические опросы, в которых эксперты оценивали вероятность наступления конкретных событий. Спустя без малого два десятилетия в 2005 г. Тетлок опубликовал труд «Экспертное политическое суждение. Насколько оно хорошо? Как мы можем его оценить?» [6], представлявший первую попытку научного изучения качества прогнозирования.

Книга имела ошеломляющий эффект, продемонстрировав на обширном эмпирическом материале исчезающе малую разницу в точности прогнозов специалистов в предметной области и высоко эрудированных дилетантов. Более того, качество оценок обеих категорий незначительно отличалось от результатов случайного выбора. По уничижительному замечанию Тетлока, в области прогнозирования в среднем эксперты немногим отличаются от «шимпанзе, метающих дротики в дартсе» (dart-throwing chimps).

Изыскания Тетлока вызвали ярый отпор ряда коллег. Так, анализ прогнозов канадской разведки, проведённый Д. Манделом и А. Барнсом, подтвердил их высокую точность [7]. Вместе с тем острота реакции на книгу Тетлока высветила востребованность изучения прогнозирования. Его критика упала на благодатную почву, удобренную аналитическими провалами начала 2000-х гг. Сначала США прозевали подготовку Аль-Каидой терактов 11 сентября [8]. Позднее по реноме американских экспертов ударили ошибочные обвинения Ирака в разработке ОМУ [9].

Тетлок подчёркивал — вывод о низкой точности относился к «средней температуре по больнице». При этом между экспертами прослеживался большой разброс в результатах. Некоторые давали несравненно лучшие прогнозы, чем остальные. Встала необходимость определения характеристик, объясняющих эту разницу. В ходе дальнейших исследований Тетлок выявил ряд свойств, присущих суперпрогнозистам, в числе которых открытость мышления, терпимость к когнитивному диссонансу, самокритичность, гранулирование оценок, математический склад ума [10].

Его работы подтвердили, что фиксация проверяемых предположений о будущем, а главное, рефлексия ошибок приводят к повышению точности оценок. Даже если исключить изъяны в прогнозах невозможно, их масштабы можно уменьшить, но для этого нужна готовность признать ранее допущенные просчёты. Неудивительно, что результаты исследований привлекли интерес государственных ведомств. В частности, проекты Тетлока получили поддержку Агентства перспективных разработок разведывательного сообщества США (IARPA) [11].

Укрощение будущего и экспертный суверенитет

В отечественном экспертном сообществе интерес к прогнозированию стабильно высок. Ведущие аналитические центры регулярно представляют оценки как на краткосрочную, так и на долгосрочную перспективу [12]. Профильная конференция «Международная неопределённость» ежегодно собирает широкий круг специалистов для обсуждения перспектив развития глобальных процессов [13]. Вместе с тем до сих пор системной работы по оценке качества прогнозов и поиску путей повышения их точности не велось.

В 2022 г. коллектив исследователей МГИМО запустил анализ отечественных практик прогнозирования. Цель нашего проекта — изучение подходов российских специалистов к оценке ситуаций, перепроверка выводов зарубежных исследователей о детерминантах точности прогнозов, а также ранжирование классов событий с точки зрения их прогнозируемости. На основе исследования планируется разработка учебных программ по совершенствованию прогнозирования. Побочным продуктом выступают прикладные сценарии развития международной обстановки.

В рамках проекта на ежемесячной основе проводятся опросы специалистов-международников, представляющих университеты, академические институты, аналитические центры, государственные ведомства, средства массовой информации. Участники оценивают вероятность наступления событий, способных оказать существенное влияние на ситуацию в мире и внешнюю политику России на горизонте от нескольких недель до пяти лет.

Вопросы анкеты охватывают риски в сфере международной безопасности и мировой экономики, перспективы возникновения, эскалации, урегулирования конфликтов, интернационализации внутренних противоречий, судьбы кооперативных взаимодействий между странами. Эксперты также оценивают вероятность изменений во внутренней политике государств, которые могут иметь заметные внешнеполитические последствия. Вопросы анкеты покрывают ситуацию на глобальной арене, а также развитие обстановки в ключевых регионах мира.

В процессе формулирования вопросов научный коллектив ориентируется на актуальную новостную повестку, а также учитывает потенциальную значимость событий в качестве проявлений системных сдвигов. При этом большое внимание уделяется проверяемости собираемых ответов — возможности в будущем с высокой точностью установить имело ли место прогнозируемое событие. Научный коллектив также стремится избегать узкоспециальных тем, по которым есть опасность получить мало квалифицированных ответов.

С октября 2022 г. по июль 2023 г. прошло десять волн анкетирования, в ходе которых было задано 94 вопроса (88 уникальных — в ряде случаев один и тот же вопрос повторялся в нескольких волнах). Каждый респондент имел возможность отвечать только на то, что считал релевантным, но мог не ограничиваться областью своей специализации. Приглашение участвовать получили более тысячи специалистов. В описываемый период ответы дали 206 экспертов. В совокупности они сделали 7475 оценок.

Широкий охват важен для обеспечения репрезентативности исследования. Откликнувшиеся респонденты достаточно равномерно представляют различные возрастные когорты (рис. 1). В опросе принимают участие как молодые специалисты, так и опытные исследователи — более четверти респондентов занимаются экспертной деятельностью 20 и более лет (рис. 2). Более половины опрошенных — кандидаты наук, почти пятая часть — доктора, также около четверти имеет опыт практической работы на госслужбе (рис. 3, 4). Специализация респондентов покрывает спектр тематик и регионов (рис. 5, 6).

Примечание: Составлено на основе ответов респондентов. Предоставлялась возможность выбирать несколько вариантов.

Ядро группы респондентов составили несколько десятков экспертов, регулярно участвующих в опросе. Даже если они не всегда отвечали на все вопросы анкеты, в отношении этих специалистов имеется возможность анализировать преемственность и изменчивость в оценках, выявляя их профили прогнозирования. В перспективе это поможет также делать обобщения на уровне возрастных когорт, экспертных организаций, идейных установок и др. В дополнение к анкетированию с участниками проводятся интервью, помогающие выявить логику их прогнозов.

Респонденты оказывают содействие проекту не только ответами, но и критикой, которая учитывается научным коллективом при дальнейшем совершенствовании проекта. В частности, по рекомендации участников опросов была добавлена возможность комментирования оценок в анкетах, расширена тематика опроса, корректировались подходы к формулированию вопросов. При этом для сопоставимости результатов разных волн методологически значимые параметры проведения опросов остаются неизменными.

Примечание: Составлено на основе ответов респондентов. Предоставлялась возможность выбирать несколько вариантов.

Первый блин

Основными единицами анализа в проводимом исследовании выступают не собственно экспертные оценки, а их соотнесение с последующим развитием событий. Соответственно, сама методология предполагает продолжительный лаг между проведением опросов и оценкой точности прогнозов. При этом для выведения обобщений необходимо получить статистически значимый массив наблюдений. Эта задача усложняется разнородностью прогнозируемых событий, отражающих многообразие международно-политической повестки.

Выводы уже упомянутого исследования Тетлока опирались на изучение более 20 тыс. прогнозов [14]. Его последующий проект аккумулировал миллионы оценок [15]. Мы пока аналогичными масштабами похвастаться не можем. Тем не менее, исходя из уже собранных данных, можно ожидать получение первых обоснованных научных результатов к началу 2024 г., когда станут известны результаты в отношении по крайней мере полусотни заданных вопросов.

При этом серьёзный интерес к проекту со стороны значительного числа отечественных экспертов, любезное содействие в его реализации, готовность тратить своё время для ответа на вопросы, реагировать на дополнительные обращения накладывают на научный коллектив как минимум моральное обязательство отчитываться о текущем состоянии исследования. Предоставление обратной связи может не только благотворно сказаться на мотивации активных респондентов и далее заполнять анкеты, но даст шанс привлечь новых участников к опросу.

На август 2023 г. стали известны результаты в отношении 20 ранее заданных вопросов (см. табл. 1). Из них в 15 случаях прогнозируемое событие не случилось, а в 5 — событие произошло. Всего по ним было получено чуть менее полутора тысяч экспертных оценок (1488). Хотя собранных ответов недостаточно для сколько-нибудь надёжных генерализаций, их можно использовать для формулирования осторожных предположений, которые впоследствии будут проверяться на более обширных и разнородных данных.

Таблица 1. Оценки вероятности событий по результатам опроса

Примечание: звёздочками отмечены вопросы, которые задавались несколько раз в различных волнах анкетирования.

Для оценки точности прогнозов разработано множество инструментов, но наиболее применимой метрикой выступает индекс Бриера (ИБ). Он рассчитывается как средний квадрат отклонения прогнозируемого значения от реальной вероятности события. Для каждого отдельного события реальная вероятность может принимать одно из двух значений: 0 — если оно не произошло, 1 — если оно имело место. Возведение в квадрат позволяет рассчитывать среднее значение применительно к разнонаправленным отклонениям прогнозов (в большую и меньшую сторону).

ИБ определяется в диапазоне от 0 до 1. Причём чем точнее оценки, тем меньше этот показатель (табл. 2). В отличие от альтернативных метрик (таких как PR — precision rate, степень точности) ИБ обеспечивает максимизацию использования собираемых данных. Индекс может рассчитываться для конкретного респондента, отдельного вопроса, или для класса респондентов/вопросов. Сопоставление значений для разнородных категорий не имеет смысла, но могут представлять интерес сравнения по группам, выделяемым на общем основании.

Все вопросы в анкете разбиваются по тематической и региональной специфике. В зависимости от профессиональной самоидентификации респондента он классифицируется как специалист или неспециалист по каждому вопросу [16]. Например, если участник опроса охарактеризовал себя как эксперта по Северной Америке, но не по Восточной или Южной Азии, он будет засчитываться как специалист при ответе на вопрос относительно выборов в США, но неспециалист в отношении вероятности конфликта между Индией и Китаем.

За рассматриваемый период самым неожиданным событием для респондентов стало восстановление авиационного сообщения между Россией и Грузией, произошедшее задолго до заявленного горизонта прогноза. Причём специалисты оказались даже менее подготовлены к нему, чем неспециалисты. Среди других случаев повышенной сложности выделяется восстановление участия Сирии в Лиге арабских государств — оно состоялось прямо по ходу майской волны анкетирования, потому вопрос был исключён из опроса досрочно.

Наиболее прогнозируемой оказалась перспектива удержания талибами Кабула на середину 2023 г. [17]. Респонденты, оценившие вероятность такого развития события почти в 83%, оказались близки к истине, так как Исламский Эмират Афганистан устоял в заявленный период. В данном вопросе оценки специалистов оказались существенно более точными в сравнении с неспециалистами. Вместе с тем по исключительным случаям трудно формировать обобщённую оценку точности прогнозов, так как они по определению выпадают из общей картины.

Таблица 2. Показатели Индекса Бриера по результатам опроса

Примечание: звёздочками отмечены вопросы, которые задавались несколько раз в различных волнах анкетирования.

Между тем средняя разница в показателях ИБ специалистов и неспециалистов в имеющейся выборке незначительна. Более того, стандартное отклонение в ответах первых в среднем выше, чем у вторых, указывая на меньший консенсус в оценке ситуаций среди специалистов. Не прослеживается и принципиальной разницы в соотношении точности при разложении прогнозов по временным горизонтам — то есть нет оснований предполагать, что специалисты видят дальше других или наоборот лучше ориентируются в текущей конъюнктуре (рис. 7).

Таким образом, текущие результаты подкрепляют крамольное предположение, что специальные знания в предметной области не обеспечивают превосходства в прогнозировании. Наблюдаемый парадокс может объяснять то, что специалисты, погружаясь в детали, не всегда удерживают в голове общую картину. При этом больший разброс оценок в сравнении с неспециалистами позволяет допустить, что невпечатляющие средние показатели скрывают исключительно точные прогнозы выдающихся экспертов.

При сравнении прогнозируемости разных типов вопросов имеющиеся данные позволяют провести разделение по нескольким крупным категориям (табл. 3). Одно основание для типологизации даёт осуществление или неосуществление прогнозируемых событий. Их соотношение в выборке указывает на преобладание преемственности в международной политике. Тем не менее прогнозирование несобытий давалось респондентам лучше по сравнению с прогнозированием событий, что позволяет предполагать их склонность преувеличивать инерцию статус-кво.

Таблица 3. Показатели Индекса Бриера по типам событий

Другим основанием для сопоставлений выступает разграничение ситуаций по характеру действий. Они могут быть разделены на конфронтационные (включая инициирование вооружённых конфликтов или введение санкций) и кооперативные (достижение соглашений, урегулирование споров, продление договорённостей). В рассматриваемый период точность прогнозирования первых была выше. Такое соотношение может отражать большую чувствительность экспертов к вызовам эскалации в сравнении с перспективами сотрудничества.

Наконец, существенный интерес представляет разница в прогнозируемости событий, локализуемых в различных регионах. Собранные данные свидетельствуют, что точность оценок относительно событий, территориально относящихся к Незападу (включая Восточную и Южную Азию, Ближний и Средний Восток) выше, чем в отношении событий на Западе (Европа и Северная Америка). Подобные результаты тем более неожиданны, учитывая, что ответы самих респондентов свидетельствуют — среди них больше специалистов западников, чем востоковедов.

Наиболее же сложной для прогнозирования в рассматриваемый период оказывалась обстановка в ближнем зарубежье. Точность оценок в отношении постсоветского пространства оказывалась ниже по отношению и к Западу, и к Незападу. Подобный результат подкрепляет народную мудрость о том, что большое лучше видится на расстоянии. С практической точки зрения он оказывается крайне проблематичным, так как именно это региональное направление имеет приоритетное значение для российской внешней политики [18].

Предостережение от выводов

Стоит ещё раз подчеркнуть, что имеющихся данных недостаточно для надёжного подкрепления высказываемых предположений. Предшествующий разбор призван обрисовать возможную схему работы с собираемыми ответами, которая потребует также интеграции результатов интервьюирования респондентов, а также изучения альтернативных источников оценок, в том числе публикуемых отечественными экспертными организациями прогнозов. В этом смысле представленный текст — только анонс большой работы, которую ещё предстоит сделать.

Сам формат опросного исследования имеет недостатки. Участники коллектива, реализующего проект, испытывают чувство глубокой признательности к респондентам за ответы, которыми они делятся добровольно и без какого-либо вознаграждения. Вместе с тем сложно отрицать, что при анонимном анкетировании уровень ответственности ниже, чем при подготовке заказных исследований или выражении публичных суждений. Эта разница не может не влиять на количество времени и сил, выделяемых для прогноза.

Необходимо также избегать нереалистичных ожиданий. Как писал Нильс Бор: «Прогнозы — дело сложное, особенно если они касаются будущего». В этой связи бессмысленно требовать абсолютной точности предсказаний, искать безошибочных специалистов. Более того, задачи экспертного сообщества не сводятся только к прогнозированию. От специалистов также ожидают объяснений, советов, а порой банального просвещения, особенно когда речь идёт о внезапных кризисах, нестандартных ситуациях, взаимодействии с незнакомыми контрагентами.

Вместе с тем задача снизить масштаб просчётов в оценках — не только благородная, но и потенциально решаемая. Тем более, что запрос на экспертные оценки международной обстановки столь же неизбывен, как и обращения к прогнозам погоды, сколь бы мы ни ругали синоптиков. Наш проект призван дать старт назревшей дискуссии о том, как повысить качество прогнозов. Опыт других предметных областей показывает — путь вперёд лежит не через чащобы амбивалентности и недосказанности, а через проверяемость суждений и болезненную интроспекцию.

Приглашаем коллег присоединяться к исследованию и участвовать в совершенствовании отечественных практик прогнозирования. Контактная почта проекта: prognoz@inno.mgimo.ru.

Принять участие в проекте.

1. Bernstein S. et al. God gave physics the easy problems: Adapting social science to an unpredictable world // European Journal of International Relations. 2000. Vol. 6. No. 1. P. 43-76.

2. См., например, Morgenthau H. J. Scientific man vs. power politics. Chicago: Chicago University Press, 1946. P. 118-120; Waltz K. N. International politics is not foreign policy // Security Studies. 1996. Vol. 6. No. 1. P. 54–57; Waltz K. N. Evaluating theories // American Political Science Review. 1997. Vol. 91. No. 4. P. 913-917.

3. Даже за последние десятилетия произошёл революционный прогресс – к рубежу 2020-х годов прогнозы метеорологов на пять дней достигли того же уровня точности какой в 1980-х характеризовались прогнозы на ближайшие сутки. Alley R. B., Emanuel K. A., Zhang F. Advances in weather prediction // Science. 2019. Vol. 363. No. 6425. P. 342-344.

4. Shlaim A. Failures in national intelligence estimates: The case of the Yom Kippur War // World Politics. 1976. Vol. 28. No. 3. P. 348-380.

5. Jervis R. Why intelligence fails: Lessons from the Iranian Revolution and the Iraq War. Ithaca: Cornell university press, 2019.

6. Tetlock P. E. Expert political judgement: How good is it? How can we know? Princeton: Princeton University Press, 2005.

7. Mandel D. R., Barnes A. Accuracy of forecasts in strategic intelligence //Proceedings of the National Academy of Sciences. 2014. Vol. 111. No. 30. P. 10984-10989.

8. Kean T., Hamilton L. The 9/11 commission report: Final report of the national commission on terrorist attacks upon the United States. Washington D.C.: Government Printing Office, 2004.

9. Robb C. S. et al. The commission on the intelligence capabilities of the United States regarding weapons of mass destruction: Report to the president of the United States. Washington, DC.: 2005.

10. Tetlock P. E., Gardner D. Superforecasting: The art and science of prediction. N.Y.: Random House, 2016.

11. Aggregative Contingent Estimation Program. IARPA. https://www.iarpa.gov/research-programs/ace

12. См., например, Мир через 100 лет: сб. ст. / ред. И.С. Иванов и др. - М.: НП РСМД: Весь мир, 2016; Мир 2035. Глобальный прогноз / под ред. А.А. Дынкина; ИМЭМО им. Е.М. Примакова РАН. М.: Магистр, 2017; Глобальный прогноз РСМД 2019-2024. https://russiancouncil.ru/2019; Международные угрозы 2022: Перехват инициативы. МГИМО. http://eurasian-strategies.ru/wp-content/uploads/2022/01/Mezhdunarodnye-ugrozy-2022.pdf; Россия и мир: 2023. Экономика и внешняя политика. Ежегодный прогноз / рук. проекта: А.А. Дынкин, В.Г. Барановский; отв. ред.: Г.И. Мачавариани, И.Я. Кобринская. – Москва: ИМЭМО РАН, 2022.

13. VII Московская конференция по прогнозированию «Международная неопределенность 2023». https://mgimo.ru/about/news/main/mezhdunarodnaya-neopredelennost-2023/

14. Tetlock P. E. Expert political judgement: How good is it? How can we know? Princeton: Princeton University Press, 2005.

15. IARPA Announces Publication of Data from the Good Judgment Project. IARPA. https://www.iarpa.gov/newsroom/article/iarpa-announces-publication-of-data-from-the-good-judgment-project

16. Тематики «Внутренняя политика отдельной страны» и «Внешняя политика отдельной страны» не учитываются при определении специалистов, так как не дают информации относительно того по какой конкретно стране специализируется респондент. Вместо этого учитывается специализация на регионах, к которым относятся страны, упоминаемые в вопросах.

17. Талибан — террористическая организация, запрещённая на территории Российской Федерации.

18. См. Концепция внешней политики Российской Федерации (утверждена Президентом Российской Федерации В.В.Путиным 31 марта 2023 г.). https://www.mid.ru/ru/detail-material-page/1860586/