Най-точните 2% прогностици ставаха все по-точни: предсказването е умение, не късмет

Между 2011 и 2014 г. IARPA, изследователската агенция на американското разузнаване, организира три турнира по прогнозиране. Пет университетски екипа се състезават кой ще предскаже по-точно геополитически събития: кой ще е президент на Русия, ще проведе ли Северна Корея нов ядрен опит, колко бежанци ще напуснат Сирия.

Печели екипът на Филип Тетлок и Барбара Мелърс от Университета на Пенсилвания. Всяка година започват с между 2200 и 3900 прогностици, набрани от професионални сдружения, изследователски центрове и научни блогове. Резултатите са публикувани от Мелърс и колеги в списание Perspectives on Psychological Science през май 2015 г.

Стратегията, която печели, е проста за описване: в края на всяка година отделят най-точните 2% и ги слагат да работят заедно в отделни екипи. Наричат ги суперпрогностици.

Ако точността беше късмет, най-добрите от първата година щяха да се върнат към средното през втората. Те станаха по-точни. Два пъти подред.

Как изобщо се оценява едно предсказание

Тук е половината от идеята. Обикновено предсказанията се правят така, че да не могат да се проверят: „напрежението в региона ще се засили“. Затова IARPA поставя условие всеки въпрос да мине през тест за яснота, тоест да е формулиран така, че после да няма спор какво се е случило и кой е бил прав.

Отговорите не са „да“ или „не“, а вероятност в проценти. Оценяват се по резултат на Брайър: средната сума от квадратите на разликите между предсказаната вероятност и това, което се е случило. Скалата е от 0 (най-добре) до 2 (най-зле). Ако кажеш 75% за нещо, което се случва, получаваш 0,125.

Квадратът е важната част. Той наказва увереността в грешката много по-тежко от предпазливата грешка. Тоест системата не награждава смелите изказвания, а точното премерване на несигурността. Прилича на бас, в който залогът расте с квадрата на самочувствието ти.

За да не могат прогностиците да изглеждат добре, като си избират лесните въпроси, изследователите стандартизират резултатите вътре във всеки въпрос. Мерят се един срещу друг на един и същ въпрос, не срещу абсолютна скала.

Какво откриха

Осреднено за втората и третата година, стандартизираният резултат на суперпрогностиците е минус 0,34, при минус 0,14 за следващите по успех и 0,04 за всички останали. По-ниското е по-добро. По друг показател, способността да отличат случващото се от неслучващото се, суперпрогностиците стигат 96% срещу 75% за останалите.

Най-силният резултат обаче не е това предимство, а че то не изчезва. Статистиката очаква връщане към средното: който е бил на върха по стечение на обстоятелствата, слиза следващата година. Точно това се случва на другите две групи. Суперпрогностиците вървят в обратната посока и през втората, и през третата година.

Две подробности изключват удобните обяснения. Дори прогнози, направени в първите 4 минути след влизане в системата и в първите 24 часа след появата на въпроса, тоест практически без време за проучване, са по-точни при суперпрогностиците. И обучението, и работата в екип са изпитани със случайно разпределение на участниците, тоест като истински опит с контролна група.

Има и една почти комична подробност. Суперпрогностиците използват числа като 17%, 28% и 83%. Останалите закръглят на 10%. Самите автори внимават тук и изрично отбелязват, че по-финото деление не значи автоматично по-голяма точност, затова го проверяват отделно. Но картината е показателна: едните мислят с грубата решетка на езика, другите с по-фина.

Изводът на авторите е премерен: суперпрогностиците са отчасти открити и отчасти създадени. Част от предимството идва от начина на мислене, част от обучение, мотивация и добра среда.

Какво не знаем и какво се преувеличава

Около това изследване се е натрупало едно число, което си заслужава да се разглоби. Постоянно се цитира, че суперпрогностиците са с около 30% по-точни от разузнавателни анализатори с достъп до класифицирана информация. Твърдението идва от репортаж на американското радио NPR от 2 април 2014 г. и няма рецензирана публикация зад себе си. Данните на анализаторите са класифицирани, тоест сравнението не може да бъде проверено независимо от никого. Може да е вярно. Просто не е установено.

Има и ограничения, които идват от самата конструкция. Прогностиците са доброволци с висше образование, набрани от научни блогове и професионални сдружения, тоест не са напречен разрез на обществото. Въпросите са геополитически и с хоризонт месеци, а не години. Оставали са отворени средно по 102 дни. Дали същото умение работи при въпроси с хоризонт десетилетие, турнирът не отговаря, защото не го е питал.

И една вътрешна уговорка, която авторите спазват, а популярните преразкази обикновено не. Обучението и екипната работа са изпитани със случайно разпределение, затова за тях може да се говори като за причина. Самото звание суперпрогностик обаче е подбор по минала успеваемост, а подборът не е опит. Че тези хора не се върнаха към средното, е силно доказателство за умение. Не е доказателство, че умението може да се предаде на всекиго.