Суперпрогнозисты: орнитолог, писатель и домохозяйка, которым удаётся предсказывать события лучше, чем аналитикам спецслужб

Эти люди были объединены в группу, работавшую в одно время с разведывательным сообществом США. К своему удивлению, Дэн смог предсказать события лучше, чем средний аналитик, и был принят в группу.

В начале 2000-х годов в американском разведывательном сообществе произошли серьёзные потрясения. Неспособность предсказать теракты 11 сентября и рекомендация вторгнуться в Ирак из-за наличия оружия массового уничтожения (что впоследствии оказалось неверным) заставили разведывательное сообщество усомниться в предсказуемости своих 20 000 аналитиков и задаться вопросом, можно ли использовать мудрость народа, которая могла бы помочь.

Дэн Мэйланд

Таким образом, в 2011 году появился турнир по гражданским прогнозам, проводимый Исследовательским проектом разведывательного сообщества США IARPA – Intelligence Advanced Research Projects Activity. В турнире участвовало пять команд, и у каждой команды был свой метод прогнозирования. Цель состояла в том, чтобы проверить лучший метод прогнозирования событий, с которыми аналитики разведки сталкивались в то время каждый день: проведёт ли Северная Корея ядерные испытания? Упадёт ли евро в следующем году? Может ли Россия вторгнуться в одну из европейских стран? И ещё…

Одна из команд, участвовавших в турнире, была основана тремя известными психологами во главе с профессором Филипом Тетлоком из Пенсильванского университета и получила название «Проект Здравый смысл» (The good Judgment Project»). В этот проект Мейланда сначала приняли как любителя.

Проф. Филип Тетлок

Профессор Тетлок заинтересовался прогнозированием в начале 1980-х годов, когда провёл исследование, длившееся 20 лет. Он сравнил прогнозы аналитиков, научных экспертов и других специалистов. Тетлок попросил их, среди прочего, предсказать, что произойдёт на фондовом рынке, какие правительства придут к власти, и не возникнут ли войны и другие острые проблемы.

Таким образом, он пришёл к удивительному выводу: результаты предсказаний экспертов оказались не лучше, чем случайные предположения или, как он выразился: «Они были похожи на шимпанзе, пытающихся метать стрелы в цель». Если быть точным, эксперты смогли довольно хорошо предсказать на период в один год, но по мере увеличения срока их результаты приближались к стрелам шимпанзе.

Для текущей проектной группы Тетлок через блоги и профессиональные форумы набрал около 20 000 добровольцев, которые получили подарочный ваучер от Amazon на сумму $250. Используемая информация была доступна любому, у кого есть доступ в интернет. Остальные четыре команды, участвовавшие в турнире разведывательного сообщества, состояли из учёных и экспертов, имеющих доступ к секретной информации.

За четыре года исследований командам турнира было предложено ответить на 500 одинаковых вопросов и обыграть другую команду — контрольную группу, созданную разведывательным сообществом и использующую метод «мудрости масс».

«В первый год исследований моя группа была на 60% лучше, чем контрольная группа, — пишет Тетлок в своей книге «Суперпрогнозирование». – На второй год мы на 30 – 70% обогнали конкурентов из таких университетов, как Мичиган и Массачусетский технологический институт, и было принято решение распустить их команды».

По результатам предсказания Тетлок пришёл к двум важным выводам. Во-первых, два процента людей в его группе особенно преуспевают в прогнозировании и даже на 30% лучше, чем люди из разведки. Он дал им прозвище «Суперпрогнозисты» (Superforecasters).

Второй вывод заключался в том, что суперпрогнозистов сложно охарактеризовать.

Наряду с инженерами он нашёл в них домохозяек, наряду с юристами — художников и первокурсников рядом с профессорами. В тестах интеллекта, которые он проводил для них, большинство из них не были в диапазоне гениальности.

«Если так, то что их характеризует?» – спросила я Тетлока в интервью, которое он дал мне.

«Я не хочу сводить особые способности суперпрогнозистов к какому-то короткому слогану, это было бы слишком поверхностно, но если бы пришлось охарактеризовать кратко, я бы сказал, что они обладают редкой степенью «активного мышления», — ответил он.

«Активное мышление — это термин, введённый психологом профессором Джонатаном Бароном из Пенсильванского университета. Он относится к людям, которые не только готовы слышать и учитывать чужие убеждения, мнения и точки зрения, но даже активно их искать, пересмотреть, а также пересмотреть свои собственные убеждения и мнения», — пояснил он.

Чтобы доказать это, Тетлок провёл для суперпрогнозистов известный психологический тест, построенный профессором Бароном. Результаты теста показали, что суперпрогнозисты действительно обладают активным открытым мышлением на очень высоком уровне.

Одним из новых «суперпрогнозистов» в группе Тетлока, который преуспел в своих предсказаниях, был Билл Флэк— простой орнитолог, для которого предсказание было лишь подработкой час или два в день для его удовольствия.

«Видите ли, я всего лишь орнитолог, — сказал он мне во время нашего разговора. – Я не тот, кто разбирается в политике или экономике. Я даже газеты не читаю регулярно».

Орнитолог Билл Флэкк

Ещё до участия в проекте однажды Флэк радостно сообщил орнитологической организации, что ему удалось идентифицировать певчую птицу, обитающую в Финляндии, и по какой-то причине решившую мигрировать в Небраску в США. Об эксперименте Тетлока он случайно прочитал в каком-то блоге.

«Мне это просто показалось интересным, поэтому я решил присоединиться», — объяснил он.

После регистрации Флэк получил общие указания от сотрудников проекта и пароль к веб-сайту, где задавались вопросы о будущих событиях, имеющих значение для разведывательного сообщества. В конце каждого вопроса от Флэка требовалось оценить вероятность достижения прогноза.

Поскольку Флэк не имел предварительных знаний практически ни по одной теме, относящейся к прогнозу, при задании таких вопросов, как «Выйдет ли конкретная страна из ЕС в следующем году?» и «Сколько ещё стран сообщит о вспышке лихорадки Эбола в ближайшие полгода? », Флэк просто зашёл в гугл и начал искать материал по теме.

Когда он закончил вводить свои ответы на вопросы, появившиеся в интернет-форме, он нажал кнопку «Готово» и отправил ответы в исследовательский орган американского разведывательного сообщества. Сотрудники разведки, получившие их, восприняли ответы с предельной серьёзностью. Они проанализировали их и проверили их правильность с течением времени.

Но Флэк не придавал этому большого значения и уж точно не волновался и не переживал по этому поводу. «Возможно, навык, который я развил в идентификации птиц, способность быть уверенным, что птица, которую я вижу, это именно она, а не другая, также помогла мне в предсказании», — размышлял он над этой возможностью.

Среди родных и знакомых Флэк не считался вундеркиндом, но в разведывательном сообществе — его предсказания пользовались большим уважением. Флэк довольно хорош в этом — он смог предсказать глобальные события, которые произойдут в будущем, с достаточно высокой вероятностью, лучше, чем профессиональные аналитики, имеющие доступ к секретной информации. Флэк сказал мне, что входит в первые два процента проекта. Его прогнозы были на 60% лучше, чем у других 3000 участников, и на 30% лучше, чем прогнозы профессиональных аналитиков из разведывательного сообщества.

После атаки на сатирический еженедельник Charlie Hebdo в Париже в начале 2015 года Тетлок попросил группу суперпрогнозистов, участвовавших в проекте, включая Флэка и Mейланда, оценить вероятность ещё одной такой атаки во Франции, Германии, Нидерландах, Дании, Испании, Португалии или Италии в период с 21 января по 31 марта 2015 года. Флэк объяснил мне, как он работал над этим прогнозом:

«Я попросил товарищей по команде получить общую информацию об этом событии, а затем искал подробности в новостях. У меня есть степень магистра математики, поэтому из всех деталей, которые собираю, я попытался построить математическую модель для предсказания».

Другой суперпрогнозист, инженер-программист на пенсии, начал изучать, сколько исламских террористических актов было в мире в прошлом, чтобы установить более широкую структуру вопроса – сказал мне Тетлок. Затем он изучил детали конкретных рамок, в которых был поставлен вопрос: сколько исламских террористических актов произошло в конкретных странах за последние пять лет, какие меры безопасности приняты в разных странах, и то, как вторжение ИГИЛ в Ирак и Сирию изменило карту терроризма.

После взвешивания всех данных и с учётом короткого промежутка времени, к которому относился вопрос, он получил 34-х процентную вероятность того, что будет ещё одна атака. Это было исходное сырье. Затем он представил свой ответ другим суперпрогнозистам, объяснил, как он к нему пришёл, и сравнил с их ответами.

Был также суперпрогнозист, который создал онлайн-базу данных, содержащую сотни источников информации, размеченных по темам, географическим районам и идеологическим тенденциям. Он продолжал читать противоречивые анализы и разные мнения, противоречащие друг другу. Другой предсказатель всегда смотрел со стороны на вывод, к которому он пришёл, и спрашивал себя: «Убедился бы я, если бы кто-то другой представил мне этот вывод? Нет ли в нём дыр?»

Флэк также задействовал аналогичную технику. Он сказал мне, что в какой-то момент начал приучать себя приводить доводы против себя. «Я представляю, что другой коллега по группе сказал бы о моём аргументе».

Несмотря на это после окончания турнира в 2015 году Флэк покинул проект по личным причинам. Тетлок остался с командой суперпрогнозистов, в том числе и с Мейландом, и должен был решить, что делать — распустить команду или сосредоточиться на улучшении её возможностей.

Будущее Путина

В конце концов Тетлок решил превратить проект в частную компанию, а участников — в профессионалов. Весь вопрос о любительстве орнитологов, домохозяек, студентов и юристов, участвующих только из интереса, хотя и талантливых в своих предсказаниях, стал неактуален. Как только коммерческая компания была создана, суперпрогнозисты должны были тратить больше времени и приходить к будущим дискуссиям более компетентно.

Генеральным директором частной компании был назначен человек по имени Уоррен Хэтч, который ранее работал в корпорации Morgan-Stanley, но был привлечён к проекту прогнозирования из-за своего академического образования в области политики и истории.

«Сначала я не был так хорош в прогнозировании, — говорит мне Хэтч в интервью. – Позже я начал исследовать, что делают другие суперпрогнозисты, и я начал учиться у них».

Мейланд — втор детективных книг и один из суперпрогнозистов, переживших переходный период, рассказывал мне, что его тоже всё больше и больше затягивало в профессию.

«Один из вопросов, над которым я сейчас работаю, — говорит Майланд, — перестанет ли Путин быть президентом России до 1 января 2023 года из-за беспрецедентных санкций, введённых против России, и его плана вторжения в Украину.

Я ожидаю, что по состоянию на 25 марта 2022 года существует двухпроцентная вероятность того, что этот сценарий произойдёт.

Когда я начал работать над этим вопросом три недели назад, то рассмотрел ряд аспектов: во-первых, низкую вероятность успешных революций в автократических странах, чья экономика сильно разрушена. Об этом свидетельствуют Ким Чен Ын (Северная Корея), Башар Асад (Сирия) и Николас Мадуро (Венесуэла), они тому доказательство.

Во-вторых, многие граждане России поддерживают решение Путина вторгнуться в Украину и разделяют чувство унижения и разочарования по поводу неудачного хода событий вследствие распада СССР.

Также важно помнить, что Путин имеет полный контроль над СМИ, которые «кормят» граждан цензурированной информацией. Путин также без колебаний убьёт или посадит в тюрьму оппонентов, прежде чем они успеют накопить достаточно сил, чтобы угрожать ему. А новые “президентские” выборы в России, которые могут дать шанс оппозиционерам, состоятся только в марте 2024 года».

Когда я спросил Хэтча, как они выбирают своих «суперпрогнозистов», он назвал мне три критерия сортировки:

«Во-первых, они должны быть точными в своём прогнозе как минимум на год. У них должна быть запись из 50 – 100 вопросов, в которых они более точны в предсказании, чем другие. Кроме того, поскольку наш прогноз сделан с точки зрения вероятности (например, 30-процентная вероятность для определённого события), они должны объяснить, как они пришли к результату своего прогноза, поскольку люди, занимающие должности лиц, принимающих решения, не принимают решение, основываясь исключительно на числе вероятности.

Им нужно обоснование, мыслительный процесс, стоящий за числом. Анализ мыслительного процесса, который объясняет окончательное число, имеет решающее значение. И третий критерий классификации состоит в том, что суперпрогнозисты должны прекрасно сотрудничать между собой. Конечно, каждый должен стремиться дать лучший прогноз, но делается это при взаимной поддержке и сотрудничестве».

Эти суперпрогнозисты всё же лучше аналитиков разведки и прочих экспертов?

«После турнира, организованного разведывательным сообществом, не было экспертов или аналитиков, которые хотели бы соревноваться с нами в прогнозировании. Если будет возможность, мы были бы рады провести ещё один турнир. В настоящее время в компании работает 180 суперпрогнозистов, разбросанных по всему миру. Каждый из них является экспертом как минимум в одной области, а обычно в нескольких областях, и все они говорят как минимум на двух языках. Среди них математики, инженеры-химики, инженеры-программисты и искусствоведы. Многие из них, как и я, несколько раз меняли специализацию, чтобы иметь знания в ряде областей. Например, я начал стажировку по истории России, а сейчас я предприниматель».

Какую самую важную черту личности вы видите сегодня в суперпрогнозистах?

«Во-первых, быть непредубеждёнными. Без этой черты они не могли бы быть суперпрогнозистами. Во-вторых, суперпрогнозист обращается не только к настоящему, но и к аналогичным событиям из прошлого. Например, когда вставал вопрос, применит ли Путин химоружие на Украине, суперпрогнозисты анализировали, что происходило в этом контексте в Сирии, или узнавали, как вела себя Россия после вторжения в Грузию (2008 г.), и как она вела себя после вторжения в Чечню (2000 г.).

Каждый случай был разным, и суперпрогнозисты совмещали и принимали этот диссонанс, и от него взвешивали вероятность. Плохие прогнозисты, с другой стороны, обращаются только к настоящему. «Они процитируют то, что сказал Путин, или что сказал Лавров, и сошьют историю, которая звучит хорошо, но без нюансов».

Хэтч объясняет, как сотрудничают суперпрогнозисты.

«У нас есть общая платформа, на которой каждый делится знаниями, которые он собрал в контексте вопроса, и что он думает о вероятности того, что событие произойдёт. Среднее значение всех вероятностей передаётся алгоритму, который взвешивает его, и это придает вес прогнозу по конкретному вопросу. В последнее время мы также начали включать машинное обучение в окончательный расчёт».

Я говорю Мейланду, что самая важная черта, по словам его генерального директора, — это «непредубеждённость», и спрашиваю, что это значит для него.

«Как и у всех, у меня есть «пакет», который я ношу с собой, — объясняет он. – У меня есть определённые политические взгляды, определённые религиозные убеждения, я живу в США, принадлежу высокому уровню среднего класса, и всё это влияет на мою точку зрения. Но очень важно понимать, что это не универсальная перспектива. У вас должна быть возможность отключиться от своего личного мира, что многим сложно сделать. Иногда очень сложно дать предсказание, которое идёт вразрез с вашими желаниями и стремлениями. Я думаю, что суперпрогнозисты немного лучше умеют различать границу между нашими личными убеждениями и реальностью, хотя мы тоже иногда ошибаемся».

С «непредубеждённостью» Майланд подсчитал, что вероятность вторжения Путина в Украину достаточно высока.

«Сначала я посмотрел, что Путин сказал об Украине. И вместо того, чтобы просто смотреть общие статьи, я внимательно изучил конкретные вещи, которые Путин сказал за последние 20 лет. Это привело меня к письму, которое он написал прошлым летом на тему, о которой говорил раньше в 2007 г. В письме, опубликованном в интернете и предназначенном для граждан России, Путин объясняет, почему он считает Украину частью России.

Также весной 2021 года на границе с Украиной наблюдалось усиление российской армии, после чего она отошла. Но мне было ясно, что Путин угрозами не добился того, чего хотел, и на самом деле он хотел Украину как протекторат. Далее я рассмотрел случаи из истории: как действовал Путин, когда аннексировал Крымский полуостров (2014 г.), как он действовал со своей армией в Сирии и Чечне. «Когда я рассмотрел все факторы в октябре или ноябре 2021 года, я предсказал, что Россия вторгнется в Украину с 50-ти процентной вероятностью».

Есть прогнозисты, которые всегда остаются очень «дипломатичными» в своих оценках и употребляют термины типа «с другой стороны» или «тем более». Вы поступаете также?

«Важно понимать, что даже с вопросами, на которые есть чёткий ответ, прогнозисты всегда должны проверять свои предположения и изучать дополнительные сценарии, которые, даже если они считают необоснованными, всё же находятся в пределах досягаемости. Таким образом, у них есть много «с другой стороны». «Вот я работаю над вопросом: «Северный поток-2″ (газопровод из России в Германию).

Начнёт ли он поставлять природный газ в Германию до 2024 года? Этот вопрос возник ещё до вторжения в Украину и вызвал много споров». После вторжения и реакции Германии большинство прогнозистов, в том числе и я, считают, что вероятность того, что это действительно произойдёт, составляет один процент или меньше. Но я также добавляю к своему ответу «с другой стороны», существует вероятность того, что Путина свергнут до 2024 года, и политическая карта изменится таким образом, который трудно предсказать на данный момент».

Из ближайших прогнозов суперпрогнозисты прогнозируют 88-процентную вероятность того, что до 25 мая 2022 года Зеленский не сбежит из Украины и не перестанет быть президентом. Этот прогноз основан на исторических примерах Ирака и Чечни. Кроме того, они указывают на то, что полная оккупация Украины в этот период и, в частности, способность Кремля контролировать Украину, далеко не бесспорны.

На вопрос «Начнёт ли какая-либо страна официальные процедуры для вступления в НАТО в этом году?» Суперпрогнозисты предсказывают, что существует 69-процентная вероятность (по состоянию на 16 марта), что ни одна страна не начнёт официальные процедуры для вступления в НАТО в этом году. Однако они подчёркивают, что вторжение России в Украину может изменить расчёты риска во многих странах и повлиять на вероятность.