Taggarkiv: tournament

03
Jul | 18:43

Vem är framsynt?

Skulle det påverka ditt arbete om du bättre kunde förutspå framtiden? Skulle det påverka dig annorlunda om du tvärtom visste att just du inte alls kan förutspå framtiden?

Inte ett verktyg för att spana in i framtiden (kikare)

Inte ett verktyg för att spana in i framtiden

Mycket av det vi tänker och gör styrs av en idé om hur framtiden kommer se ut. I mitt eget jobb utvecklar vi insatser för utvalda områden och aktörer som anses strategiskt viktiga. Motivet är oftast en idé om framtiden, att då kommer det utvalda området att ha en större betydelse än andra områden.

På många sätt styrs våra liv av en uppfattning av vad som kommer ske. Ikväll framför TV:n, var uppmärksam på hur stor andel av nyheterna som bygger på tankar om framtiden.

Vi har tidningsbilagor som nästan uteslutande handlar om vem som kommer vinna SM. Inom politiken och på debattsidorna har vi prognoser om vem som leder landet inom kort eller vad som kommer hända om inte vissa beslut tas. Framtidsprognoser är också en ekonomisk verksamhet i sig och det finns personer som anlitas som experter på framtiden.

Ett avsnitt av podcasten Hidden Brain handlar om att göra prognoser, Degrees of Maybe: How We Can All Make Better Predictions. Avsnittet tar upp superforecasters, personer som är de bästa på att göra göra bedömningar av framtiden (har inget att göra med tyckonomin eller det debattindustriella komplextet). Jag tycker avsnittet är värt att lyssna på.

Forecasting tournaments are level-playing-field competitions that reveal which individuals, teams, or algorithms generate more accurate probability estimates on which topics. This article describes a massive geopolitical tournament that tested clashing views on the feasibility of improving judgmental accuracy and on the best methods of doing so. The tournament’s winner, the Good Judgment Project, outperformed the simple average of the crowd by (a) designing new forms of cognitive-debiasing training, (b) incentivizing rigorous thinking in teams and prediction markets, (c) skimming top talent into elite collaborative teams of “super forecasters,” and (d) fine-tuning aggregation algorithms for distilling greater wisdom from crowds. Tournaments have the potential to open closed minds and increase assertion-to-evidence ratios in polarized scientific and policy debates.

Vän av ordning ställer sig så klart frågan, vad vet forskningen?

Phil Tetlock är psykolog och har studerat hur bra prognosmakare är på att göra prognoser. Phil berättar om Archie Cochrane (1909–1988) som tyckte att han och hans läkarkolleger inte alltid hade fakta på sin sida när de förskrev behandlingar. Detta kom också från egen erfarenhet – han själv fick en cancerdiagnos av en ledande och trovärdig cancerexpert, och Archie valde att omedelbart genomgå en operation. Det skulle senare visa sig att han inte hade cancer utan att diagnosen var felaktig.

Archie menade att man borde ha fakta på sin sida vid viktiga beslut och inte använda ”magkänslan”. Även beprövad praxis kan leda en fel. Han satte upp ett experiment om huruvida patienter som haft hjärtattack tillfriskade bäst genom att stanna kvar längre på sjukhuset eller genom att snabbt skickas hem. Det var ett känsligt experiment som fick omfattande kritik. Patienter kommer dö pga experimentet sas det. Archie genomförde försöket i alla fall, och visade i en graf att det var som experterna och beprövad erfarenhet sa, att patienter som fick återhämta sig i hemmiljö avled i högre utsträckning. Experterna var upprörda och menade att det hela var oetiskt och att försöket måste avslutas omedelbart. Ojdå sa en lurig Archie, jag hade vänt grafen på fel håll… experimentet visade tydligt att patienter som skickas hem överlever längre.

In every way that people, firms, or governments act and plan they are making implicit forecasts about the future. [The Economist]

Artikeln Who’s good at forecasts? utvecklar att allt vi funderar över omfattar ett mått av prognos, men att vi saknar kunskap och uppföljning om prognoserna vi använde stämde. En strategi som vi människor istället ofta använder oss av är att ersätta en omöjlig, komplex fråga med en enklare. Vi vet inte vilken politiker som är bäst så istället byter vi (omedvetet) ut frågan, exempelvis, till har denna kandidat rätt i någon fakta om skolan? Från det svaret drar vi sedan en slusats om kandidatens lämplighet i övrigt. Denna förenklade strategi förklarar varför personer ibland befodras till positioner/områden som de inte behärskar. Nobelprisvinnaren Daniel Kahneman kallar fenomenet för attribute substitution. Att inse att sådan intuition kan leda oss fel kan hjälpa oss undvika vissa sämre beslut.

En oväntad sak som podden tar upp är att det finns något som heter Forecast Tournaments. Det är precis vad det låter som – en tävling för att i detalj mäta hur bra individers framtidsprognoser är. Det som tävlingarna visar är att traditionella ämnesexperter inte vinner, inte ens när experterna har tillgång till obegränsade mängder information (exempelvis via avlyssning och andra hemliga källor). I en av Phil Tetlocks tävlingar deltog 284 experter från ekonomi, politik, säkerhet och media. Man samlade in 28,000 prognoser. Resultatet var att experten presterade i snitt i nivå med slumpen. Prognoser är svårt.


En video med professor Barbara Mellers vars lag har vunnit IARPAs prognostävling tre år i följd.

Mer omfattande tävlingar arrangeras av Intelligence Advanced Research Projects Activity (IARPA) i jakt på bättre prognosmetoder och -verktyg runt globala händelser. Typiska behovsägare i deras nätverk är säkerhetstjänster och höga beslutsfattare vilket innebär att områden man tävlar i rör väpnade konflikter, politiska val, pandemier och flyktingströmmar.

IARPAs tävlingar lockar 5000 deltagare och man samlar över en miljon prognoser. Poängen med tävlingarna är att hitta signifikant korrekta prognoser. Det visar sig att 2% av deltagarna kan precis det, s.k. superforecasters. Till nästa tävling satte man ihop en ny grupp, bestående enbart av superforecasters och lät dom jobba tillsammans. Deras förmåga att göra prognoser var helt överlägsen – They beat the unweighted average (wisdom-of-overall-crowd) by 65%; beat the best algorithms of four competitor institutions by 35-60%; and beat two prediction markets by 20-35%.

Poängen är inte att människor gör fel eller att prognosmakare inte står till svars för dåliga underlag. Det intressanta är att det finns kunskap om hur man gör bra prognoser. Det finns strategier för hur man kan ta reda på om prognoserna är bra eller inte. Genom att prognosmakare arbetar i grupp ökar prestandan. Så lite som en timmes utbildning i sannolikhetsteori ökar också prestandan hos alla. Det finns en Wisdom of the crowd även i områden där ingen förväntar sig det (tänk säkerhet). Egenskapen är delvis samma som inom innovationstävlingar – dvs om man öppnar upp för ”crowden” så kan bra saker hända. Det går att skapa superforecasters, personerna är alltså inte födda med unika egenskaper utan använder bara bättre metoder och ägnar mer uppmärksamhet åt detaljer. 17% inte samma sak som 20% i deras värld.

Man kan läsa mer om Forecast Tournaments, och kanske även delta i en tävling på Good Judgement Open. 40% av er läsare kommer surfa in på den sidan. Det är min prognos, och jag uttalar mig nu som expert.

Om blogg.vinnova.se
Bloggen ägs, utvecklas och förvaltas av Vinnova, Sveriges innovationsmyndighet. Vi stärker Sveriges innovationskraft för hållbar tillväxt och samhällsnytta.

Genom Vinnovas blogg vill vi ha en öppen dialog med vår omvärld, belysa våra sakfrågor och ta till vara på frågor och åsikter om oss.

Läs mer »
Facebook
Twitter