FFI arrangerte en tre år lang spørrekonkurranse med 1375 deltagere for å finne ut hvor presist det er mulig å forutsi utvikling innen forsvars- og sikkerhetspolitikk. Nå er de første resultatene her.
Forsvarsplanlegging og etterretningsvurderinger baserer seg på antagelser om hvordan verden vil utvikle seg. Men er det egentlig mulig å vite slikt på forhånd?
I 2017 startet FFI-forsker Alexander W. Beadle en prediksjonsturnering for å finne ut hvor presist det er mulig å forutsi forsvars- og sikkerhetspolitikk. Han ville også finne ut hva som kjennetegner dem som i størst grad klarer å forutsi slike hendelser.
Resultatet er et av verdens største datasett med prediksjoner av internasjonal politikk. Den eneste turneringen av tilsvarende størrelse som har blitt gjennomført tidligere, er Good Judgment Project (GJP), som ble arrangert av amerikansk etterretning fra 2011 og 2015. GJPs funn anses i dag som den ledende forskningen på området.
– FFIs turnering har gitt oss en unik mulighet til å etterprøve det siste vi vet om mulighetene for å forutsi forsvars- og sikkerhetspolitiske hendelser, sier Alexander W. Beadle. Han har analysert de foreløpige resultatene i en ny forskningsrapport.
FFI-RAPPORT 2022FFIs prediksjonsturnering – datagrunnlag og foreløpige resultaterAlexander William BeadleLes merLast ned
Funnene vil beskrives mer detaljert i tre artikler som vil bli publisert på Stratagem og på ffi.no de neste ukene. Beadle skal jobbe videre med dataene i en doktorgradsavhandling.
Vanskelig å treffe bedre enn tilfeldig gjetning
Resultatene tyder på at vi skal ta prediksjoner om framtiden med en klype salt.
– Deltagerne i turneringen slet med å treffe bedre enn tilfeldig gjetning, selv på relativt kortsiktige spørsmål, sier Beadle.
Dette var i utgangspunktet overraskende. I GJP-turneringen var hovedfunnet at det er mulig å forutsi internasjonal politikk relativt godt. Ifølge Beadle skyldes imidlertid dette måten treffsikkerheten ble beregnet på i GJP-turneringen.
– Hvis vi kun måler treffsikkerheten basert på prediksjoner som gjøres ett bestemt tidspunkt, slik Etterretningstjenesten gjør i sine årlige trusselvurderinger og Forsvarsdepartementet gjør når de beskriver de sikkerhetspolitiske rammebetingelsene i Forsvarets langtidsplaner, ligger treffsikkerheten nær tilfeldig gjetning i begge turneringer.
Utdanningsnivå, relevant erfaring og spisskompetanse fremstår som irrelevant i prediksjonssammenheng.
Ekspertene, som vi normalt hører på, treffer riktignok litt bedre enn forsvars- og sikkerhetspolitisk interesserte amatører, men forskjellene er små i praksis. Det mest overraskende er at eksperter ikke treffer bedre på spørsmål innenfor sine egne områder enn eksperter med kompetanse på helt andre temaer.
– Utdanningsnivå, relevant erfaring og spisskompetanse fremstår som irrelevant i prediksjonssammenheng, konkluderer Beadle.
– Dette er et paradoks, siden det er nettopp disse kriteriene vi ofte bruker til å velge hvem vi hører på og til å skille mellom eksperter i andre sammenhenger.
Individuelle egenskaper henger sammen med treffsikkerhet
At ekspertene ikke skiller seg positivt ut betyr imidlertid ikke at det ikke finnes personer som er mer treffsikre enn andre. FFIs turnering bekrefter nemlig tidligere funn om at treffsikkerhet er en reell evne som varierer på individuelt nivå.
Høyere prediksjonsevne i turneringen henger sammen med en rekke individuelle egenskaper. Deltagere med god kognitiv kontroll, god tallforståelse, generelt politisk kunnskapsnivå og større grad av fordomsfri tekning er flinkere til å treffe på prediksjonene. Kognitiv kontroll – eller refleksjonsevne – handler om evnen til å unngå mentale snarveier som kan lede til gale svar, forklarer Beadle.
Personer med høyere scores på tester av disse egenskapene scorer oftere høyt også på hukommelse, reaksjonstid og risikovurdering.
– Dette er også egenskaper som kan måles på forhånd gjennom psykologiske tester og som kan hjelpe oss til å identifisere personer som har bedre forutsetninger enn andre for å treffe best mulig, understreker Beadle.
FFIs prediksjonsturnering
Det ble stilt 240 spørsmål i løpet av turneringen. På alle spørsmålene ble deltagerne bedt om å oppgi hvor sannsynlig (i prosent) de mente hvert utfall var. Treffsikkerheten deres ble basert på hvor gode de var til å oppgi høye sannsynligheter til hendelsene som faktisk skjedde og lave til dem som ikke skjedde.
Spørsmålene varierte fra rene ja/nei spørsmål, til oppgaver der deltagerne ble bedt om å oppgi sannsynlighetene for flere ulike utfall. Tidsperspektivene varierte fra noen måneder til flere år.
Eksempler på spørsmål:
Vil russiske militære fly krenke norsk luftrom det neste året?
Hva blir utfallet av Brexit?
Hvor mange NATO-land vil bruke 2 % av BNP på forsvar i 2024?
Vil Trump vinne det neste presidentvalget?
Her kan du finne resultatlisten og mer info om prediksjonsturneringen.
Treffsikkerhet handler også om metode
I tillegg til de personlige egenskapene var det også forskjeller mellom deltagerne basert på hvordan de tenkte når de forsøkte å predikere utfall.
Beadle har sett nærmere hvordan deltagerne gikk frem når de forsøkte å predikere i selve turneringen. Han fant noen «tenkemåter» som er forbundet med bedre treffsikkerhet
- Lete etter informasjon fra flere kilder
- Bruke grunnfrekvens (tenke statistikk og sannsynlighet)
- Bruke referanseklasser (empiri, se på hvordan utfallene har fordelt seg ved tilsvarende type hendelser tidligere)
- Ekstrapolasjon (fremskriving, hva skjer hvis dagens utvikling fortsetter)
Et av de mest overraskende funnene er at det ikke var forskjeller mellom hvor godt grunnlag deltagerne selv mente de hadde for å predikere hvert spørsmål og hvor godt de faktisk traff. Deltagernes treffsikkerhet var nemlig lik på spørsmålene hvor de oppgav at de bare gjettet og på spørsmålene hvor de følte seg helt sikre på prediksjonene sine.
Lytt til «superforcastere»
Et langt mer optimistisk funn fra både FFIs og GJPs turneringer er at det finnes en gruppe personer som er vesentlig bedre enn andre. Disse kan vi kalle «superforecastere». De treffer tilnærmet så godt som det synes å være mulig å forutsi sikkerhetspolitiske hendelser noen måneder og et par år i forveien.
– I dag baserer vi oss ofte på råd fra eksperter som vi ikke kjenner prediksjonsevnen til. Ved å basere oss på prediksjonene til superforecastere i turneringer som dette, kan vi forvente en høyere treffsikkerheten enn vi kan ved kun å basere oss på eksperter, sier Beadle.
Under halvparten av superforecasterne i FFIs undersøkelse var forsvars- og sikkerhetspolitiske eksperter. I stedet kjennetegnes de av litt høyere scores på de individuelle egenskapene som henger sammen med bedre treffsikkerhet generelt.
– Turneringer fremstår derfor som et relativt effektivt virkemiddel for å forbedre treffsikkerheten til dagens prediksjoner, også i den virkelige verdenen, avslutter Beadle.
Og vinneren ble…?
Her kan du finne resultatlisten og mer info om prediksjonsturneringen.
De tre beste i turneringen er alle ansatt ved FFI, men jobber med vidt ulike emner. Den med suverent best score, Simen Rustad, er matematiker og jobber med sensorer og kunstig intelligens FFI. Han tror mattebakgrunnen hjalp i begrenset grad.
– Det handler nok mer om evnen til å systematisere og sette sammen informasjon fra ulike kilder, sier Rustad.
– Hvordan tenkte du da du skulle svare?
– Jeg var forsiktig med å være for bastant. Det er som kjent umulig å vite noe sikkert om fremtiden. Hvis du var skråsikker og bommet ble du straffet hardt i scoringssystemet i prediksjonsturneringen. Ellers gjaldt det å få litt oversikt, se på statistikk fra tidligere hendelser og tenke på erfaringer fra sammenlignbare hendelser. Alle spørsmålene kom med en forklaring og litt statistikk eller bakgrunnsinformasjon. Jeg gikk som regel videre for å hente inn mer informasjon før jeg svarte.
Rustad mener han underveis i turneringen lærte seg mye om hvordan det var lurt å svare for å få god score.
– Det hjalp på resultatet at jeg var med og svarte på spørsmål hele veien fra start til slutt. Og så passet jeg på å lese spørsmålene nøye for å forstå hva de innebar. Hva var det egentlig det ble spurt om? De var ganske spesifikt stilt, men det var nok mulig å misforstå noen av spørsmålene hvis man ikke leste dem nøye.
FFI-RAPPORT 2022Tilleggsdokumentasjon til foreløpige resultater fra FFIs prediksjonsturneringAlexander William BeadleLes merLast ned
