Superforecasting by Philip E. Tetlock and Dan Gardner

The Art and Science of Prediction

Buy book - Superforecasting by Philip E. Tetlock and Dan Gardner

What exactly is the subject of the Superforecasting book?

Superforecasting (2015), based on decades of study and the findings of a large, government-sponsored forecasting tournament, explains how to improve the accuracy of your forecasts, whether you're attempting to foresee changes in the stock market, politics, or your hverdagen.

Who is the target audience for the Superforecasting book?

• Those that are interested in learning how forecasting works
• Thinkers who are able to think critically
• Businesspeople that wish to enhance their forecasting abilities

Who are Philip E. Tetlock and Dan Gardner, and what do they do?

Phil Tetlock, the Annenberg University Professor at the University of Pennsylvania, is a political scientist and psychologist who specializes in political psychology. He is the founder and director of the Good Judgment Project, a forecasting research that has resulted in more than 200 papers published in peer-reviewed journals.
Dan Gardner is a journalist, author, and speaker who lives in New York City. Besides being the author of the well acclaimed books Risk: The Science and Politics of Fear and Future Babble, Gardner has also spoken on a variety of topics throughout the world for governments and companies like Google and Siemens.

Hvad er der nøjagtigt for mig? Learn how to create accurate predictions by watching this video.

Forecasts and predictions are made on a wide range of topics, including the weather, the stock market, next year's budget, and who will win this weekend's football game, among many others. However, these are not the only topics about which we make predictions. As a result of our obsession with predicting, we get upset when events do not unfold in the manner in which we had anticipated them. So, can predictions be made that are more accurate than they are today? They have the ability. Within a few months, we'll be able to produce superforecasts that are trimmed and realigned with each new piece of information, and then evaluated and improved after the predicted event has occurred. In these notes, we'll look at the difficult but fascinating skill of producing the ultimate predictions, which is both hard and interesting.

Here you'll learn why the former CEO of Microsoft anticipated the iPhone's market share; how a forecaster foretold the autopsy of Yasser Arafat; and why groups of forecasters are more effective than individuals in predicting the future.

Forecasting has certain limits, but that should not be used as an excuse to reject it.

Forecasting is something we do on a regular basis, whether we're planning our next career move or making a financial investment decision. In essence, our predictions are a reflection of our hopes for what the future will bring. Forecasting, on the other hand, is restricted since even small occurrences may have unanticipated effects. We live in a complicated world where even a single individual may cause catastrophic consequences. Take, for example, the Arab Spring. Mohamed Bouazizi, a Tunisian street seller, set himself on fire because he was humiliated by corrupt police officers. This was the beginning of a chain reaction.

Der findes en teoretisk grund til, hvorfor det er vanskeligt at forudse sådanne forekomster i første omgang. Når det kommer til ikke -lineære systemer som Jordens atmosfære, kan selv ændringer i små små have en betydelig indflydelse, ifølge den amerikanske meteorolog Edward Lorenz. Chaos Theory (også kendt som Butterfly Effect) er teorien, der forklarer dette fænomen. Hvis vindens retning ændres med mindre end en brøkdel af en grad, kan de langsigtede vejrmønstre ændres dramatisk, ifølge nogle estimater. For at sige det på en anden måde, kan klappen af ​​en sommerfugls vinge i Brasilien udløse en tornado til at rive over Texas.

Bare fordi forudsigelse har sine grænser, bør vi imidlertid ikke opgive det helt. Tag for eksempel Edward Lorenzs område af meteorologi. Når vejrforudsigelser udstedes et par dage i forvejen, kan de betragtes som rimeligt nøjagtige. Hvorfor? Af den enkle grund, at vejrprognoser vurderer nøjagtigheden af ​​deres forudsigelser efter begivenheden. De får et bedre kendskab til, hvordan vejret fungerer som et resultat af at sammenligne deres forudsigelse med de faktiske vejrforhold. Men spørgsmålet med denne tilgang er, at individer på andre områder sjældent vurderer nøjagtigheden af ​​deres forudsigelser! For at forbedre vores prognoser skal vi først øge dens nøjagtighed, og så skal vi blive mere seriøse med at sammenligne det, vi forudsagde med det, der virkelig finder sted. Og det kræver en ægte forpligtelse til måling.

Undgå at bruge tvetydigt sprog og stræbe efter at være så specifik som muligt.

Hvis du tænker over det, virker måling af forudsigelser som en no-brainer: samle prognoserne, evaluere deres korrekthed, gøre beregningerne og voila! Det er dog ikke så enkelt overhovedet. Betydningen af ​​den oprindelige forudsigelse skal forstås, før den kan bestemmes, om det var nøjagtigt. Overvej sagen om Microsoft CEO Steve Ballmer, der forudsagde, at iPhone ikke ville få en betydelig del af markedet i april samme år. Når du overvejer størrelsen af ​​Apples markedsværdi, virkede Ballmers forudsigelse latterlig, og folk lo faktisk af ham. Et andet vægtpunkt var det faktum, at Apple ejede 42 procent af det amerikanske smartphone -marked, som er en åbenlyst betydelig andel af den samlede industri. Men vent et øjeblik, lad os lytte til, hvad han virkelig sagde.

Han sagde, at ja, iPhone kan muligvis tjene en masse indtægter, men at den aldrig ville være i stand til at fange en betydelig del af det verdensomspændende mobiltelefonmarked (hans forudsigelse: mellem to og tre procent). I stedet ville softwaren udviklet af hans firma, Microsoft, vokse til at dominere markedet. Og i større eller mindre grad blev denne prognose til virkelighed. I tredje kvartal af 2013 svævede ifølge Garner IT -statistikken iPhone's verdensomspændende andel af mobiltelefonsalget omkring seks procent, hvilket er meget mere end hvad Ballmer forventede - men ikke så meget. I mellemtiden blev Microsofts software brugt i langt de fleste mobiltelefoner, der blev solgt over hele kloden på det tidspunkt. Prognoser bør også undgå at bruge tvetydigt sprog og i stedet stole på numeriske data for at forbedre nøjagtigheden.

When predicting, it is customary to use ambiguous terms such as "could," "may," or "likely." However, research has shown that individuals attach various interpretations to phrases such as these. In order to communicate probability correctly, forecasters should use percentages or other numerical measures to describe the likelihood of an event. When American intelligence agencies such as the NSA and the CIA stated that Saddam Hussein was concealing weapons of mass destruction, the allegation was shown to be false, it was a catastrophic failure for the United States government. If these intelligence agencies had computed with more accuracy and applied percentages, the United States may not have attacked Iraq in 2003. The odds of Iraq possessing WMDs were 60 percent, but there was still a 40 percent possibility that Saddam didn't have any — a weak rationale for going to war, to put it mildly –

If you wish to increase the accuracy of your predictions, keep track of your results.

So, how can we prevent making catastrophic mistakes like those that occurred with the WMDs? Clearly, we need to improve the accuracy of our predictions. Let's have a look at some of the methods for doing this. The most effective method is to maintain score. To accomplish this, the author's research team created the government-sponsored Good Judgment Project, which drew thousands of volunteers who answered more than one million questions over the period of four years, resulting in the publication of the book. The researchers believed that by utilizing scoring, they would be able to increase forecast accuracy.

Questions such as "Will Tunisia's president escape to a comfortable exile in the next month?" and "Will the euro fall below $1.20 in the next twelve months?" were answered by participants. Afterwards, each forecaster gave a likelihood rating to each participant's forecast, modified it as necessary after reading pertinent news, and, when the predicted time came around, assigned each prediction a Brier score, which indicated how accurate the forecast was. The Brier score, which was named after Glenn W. Brier, is the most often used way of determining the accuracy of a prediction. The lower the number, the more accurate the prediction; for example, a flawless forecast receives a score of one hundred and fifty-one. A random estimate will result in a Brier score of 0.5, while a forecast that is totally incorrect will result in a maximum Brier score of 2.0.

The question that is being asked has an impact on how to interpret the Brier score. Despite the fact that you have a Brier score of 0.2, which seems to be excellent, your prediction may turn out to be disastrous! Let's pretend we're making weather predictions. If the weather in Phoenix, Arizona is constantly hot and sunny, a forecaster could simply anticipate hot and sunny weather and get a Brier score of zero, which is obviously better than a score of 0.2. When it comes to forecasting the weather in Springfield, Missouri, which is known for its unpredictable weather, you would be considered a world-class meteorologist even if your score was just 0.02.

Superforecasters begin by breaking down issues into smaller pieces in order to better understand them.

Is it true that all superforecasters are brilliant thinkers who have access to top-secret intelligence? Nej slet ikke. So, how can they make such precise forecasts about the future, you may wonder. In order to solve a topic, a superforecaster must first break down apparently intractable difficulties into manageable sub-problems. This is referred to as Fermi-style reasoning. Enrico Fermi, a scientist who played a key role in the development of the atomic bomb, was able to predict with remarkable precision things like, for example, the number of piano tuners in Chicago, despite the fact that he did not have a single piece of information at his disposal.

Han opnåede dette ved at skelne mellem det kendte og det ukendte, som er det første skridt, som Superforecasters har taget. For eksempel, da Yasser Arafat, lederen af ​​den palæstinensiske befrielsesorganisation, døde af en uforklarlig grund, spekulerede mange mennesker om, at han var blevet forgiftet. Men dette var ikke tilfældet. Derefter, i 2012, opdagede forskere farligt høje mængder polonium-210-et radioaktivt stof, der kan være dødbringende, hvis de indåndes-i hans ejendele. Det var på grund af denne konstatering, at teorien om, at han var blevet forgiftet, fik trækkraft, og hans lig blev udgravet og undersøgt i både Frankrig og Schweiz. Da de blev spurgt, om forskere ville opdage øgede mængder polonium i Yasser Arafats krop som en del af Good Judgment -projektet, svarede prognosemænd bekræftende. Bill Flack, en frivillig forudgående, behandlede spørgsmålet i form af Enrico Fermi og nedbrød fakta.

Først og testning og kom til den konklusion, at det kunne detekteres under visse omstændigheder. Senere overvejede Flack muligheden for, at Arafat havde palæstinensiske modstandere, der måske har forgiftet ham, såvel som muligheden for, at postmortem -rapporten var blevet besat for at skylde Israel for hans død. Han forudsagde, at polonium ville blive opdaget i Arafats krop med 60 procent sandsynlighed. Han havde ret. Som et resultat begyndte Flack med at etablere de grundlæggende elementer, før han gik videre til de mere komplekse antagelser, hvilket er nøjagtigt, hvad en god prognaster ville gøre.

Start med den ydre visning, og skift derefter til det indre synspunkt for en mere præcis forudsigelse.

Fordi hvert scenarie er anderledes, bør du undgå at tage SNAP -beslutninger og afsætte dom i en sag for tidligt. For at tackle ethvert problem effektivt er det nødvendigt at vedtage et objektivt perspektiv, der involverer at bestemme, hvad basisrenten er. Det er dog ikke helt klart. For at illustrere skal du overveje situationen for en italiensk familie, der bor i et lille hjem i Amerikas Forenede Stater. De har to job: Faderen er en bogholder, og moderen arbejder på deltid på en børnepasningsfacilitet sammen. Foruden sig selv bor deres barns bedstemor også i hjemmet med dem.

Det er muligt, at hvis du blev spurgt om, hvad oddsene var, at denne italienske familie ville erhverve et kæledyr, ville du forsøge at finde ud af ved øjeblikkeligt at gribe videre til familiens eller deres levende omstændigheder. Du ville dog ikke kvalificere dig som en superforecaster i sådanne tilfælde! En superforecaster ville ikke begynde med at undersøge detaljerne. I stedet ville hun starte med at finde ud af, hvilken andel eller "basisrate" af amerikanske hjem, der ejer et kæledyr. Hun ville derefter gå derfra. Ved hjælp af Google kan du muligvis finde ud af, hvilken procentdel af befolkningen dette er på et par sekunder. Dette er udsigten udefra. Når du har gjort det, kan du se ting indefra. Dette giver dig oplysninger, der giver dig mulighed for at ændre basisrenten korrekt.

Fra den italienske familie giver den italienske familie et første skøn: Der er en 62 procent sandsynlighed for, at familien har et kæledyr, ifølge eksemplet. Derefter bliver du mere præcis og ændrer det nummer, du har valgt. For eksempel kan du se på procentdelen af ​​italienske husstande i Amerika, der holder et kæledyr. Forestillingen om forankring er kernen i begrundelsen for det udvendige perspektiv. Et anker er det første tal, der tegnes, før der foretages ændringer. Hvis du på den anden side starter med de mindre detaljer, er din prognose langt mere tilbøjelig til at være tusinder af miles væk fra ethvert anker eller nøjagtigt tal.

Fortsæt med at holde sig ajour, selv efter at have nået din oprindelige konklusion, og foretag justeringer af dine forudsigelser i lyset af nye kendsgerninger.

Når processen er begyndt, har vi set, hvordan Superforecasters får tingene i gang, men når du først har lavet din første prognose, kan du ikke blot læne dig tilbage og se, om du havde ret. Ethvert nyt stykke viden kræver opdatering og ændring af din tidligere dom. Kan du huske Bill Flack? Efter at have forudsagt, at Polonium ville blive fundet i Yasser Arafats krop, opretholdt han et ur på nyhederne og reviderede sin forudsigelse, hver gang han mente, at det var nødvendigt, ifølge de nyeste oplysninger. Det schweiziske studieteam hævdede derefter, at der var behov for mere test, og at resultaterne ville blive annonceret senere, på trods af at Flacks oprindelige forudsigelse var blevet foretaget år tidligere. Fordi Flack havde foretaget en omfattende undersøgelse af polonium, var han klar over, at holdet havde opdaget polonium, og at der var behov for yderligere test for at bestemme kilden til polonium. Som et resultat øgede Flack sin forudsigelse til 65 procent.

Som det viste sig, opdagede det schweiziske hold Polonium i Arafats krop, hvilket resulterede i Flecks sidste Brier -score på 0,36 point. I betragtning af spørgsmålets kompleksitet er dette en fremragende præstation. Du skal dog udvise forsigtighed. Selvom ny viden kan være gavnlig, kan det også være skadeligt, hvis den er fejlagtigt fortolket. Ifølge et eksempel spurgte Intelligence Advanced Research Projects Activity (IARPA) fra den amerikanske regering, om der ville være mindre arktisk havis den 15. september 2014, end der var foregående år. Doug Lorch, en superforecaster, kom til den konklusion, at der var en 55 procent sandsynlighed for, at svaret ville være bekræftende. På den anden side modtog Lorch en måned gammel rapport fra Sea Ice Prognose-netværket, der påvirkede ham tilstrækkeligt til at hæve sin forudsigelse fra 90 procent til 95 procent, et betydeligt skift baseret på et enkelt stykke information.

Da 15. september 2014 til sidst ankom, var der mere arktisk is, end der var foregående år. Lorchs første forudsigelse gav dette en 45 procent chance for at opstå, men efter hans revision faldt sandsynligheden til en skånsom fem procent. Det er nødvendigt at adskille delikate nuancer fra unødvendig information for at gøre dygtig opdatering. Vær ikke bange for at ændre din mening, men tænk nøje over, om frisk viden er nyttig eller ikke, før du træffer en beslutning.

At arbejde i grupper kan være fordelagtigt i at forudsige, men kun hvis det gøres korrekt.

Måske er du bekendt med udtrykket "Groupthink." Udtrykket "teamånd" blev skabt af psykolog Irving Janis, der teoretiserede, at individer i små grupper kan generere teamånd ved ubevidst at generere almindelige illusioner, der forstyrrer kritisk ræsonnement. Interferens er forårsaget af individer, der er bange for konflikt og i stedet bare er enige med hinanden. At afvige fra normen er imidlertid en kilde til ægte værdi. Uafhængig tale og tænkning er store fordele i ethvert holdmiljø, men mere i sport. Som et resultat valgte studieteamet ved Good Judgment Project at undersøge, om samarbejde kan forbedre nøjagtigheden eller ej. Den måde, de opnåede på, var ved at udvikle online -fora, som prognosemænd, der blev tildelt forskellige grupper, kunne interagere med hinanden.

Fra starten tilbød studieteamet indsigt i gruppedynamik og advarede onlinegrupperne mod at falde i fælden med gruppetænkning. Det første års konklusioner kom ind, og de viste, at de i gennemsnit var dem, der arbejdede i grupper, var 23 procent mere nøjagtige end dem, der arbejdede alene. Det andet år besluttede studieteamet at sætte superforcasters i grupper snarere end almindelige prognosemænd, og de opdagede, at de overgik de sædvanlige grupper med en betydelig margin. Imidlertid blev gruppens dynamik også påvirket. Elaine Rich, en superforecaster, udtrykte utilfredshed med resultatet. Alle var meget høflige, og der var lidt kritisk debat om modstridende synspunkter eller modargumenter. I et forsøg på at afhjælpe situationen gik organisationerne over og over for at demonstrere, at de accepterede konstruktiv feedback.

Præcisionsspørgsmål, der skubber individer til at genoverveje deres argumenter, er en anden teknik til forbedring af samarbejdsydelsen. Dette er selvfølgelig ikke et nyt koncept, da store instruktører har øvet præcist spørgsmålstegn siden Socrates og grækerne. Præcisionsundersøgelse indebærer at gå videre i detaljerne i et argument, for som ved at bede om betydningen af ​​et bestemt ord. Selv hvis der er stærke meningsforskelle om emnet, udsætter dette forhør begrundelsen bag konklusionen, der åbner døren til yderligere forskning.

Resumé af bogen Superforecasting i sin helhed.

Den vigtigste lektion i denne bog er, at Superforecasting ikke er begrænset til computere eller til genier. Et træningsbart talent, det indebærer bevisindsamling, scorekeeping, holder sig selv op til hastighed på nye fakta og har evnen til at være tålmodig. Råd, der kan sættes i gang: Keeving med den seneste udvikling sætter dig et skridt foran konkurrencen. Superforcasters holder sig oppe på nyheder, der er vigtige for deres forudsigelser på langt hyppigere basis end regelmæssige prognosemænd. Et forslag til at holde øje med ændringer er at oprette meddelelser for dig selv, f.eks. Via brugen af ​​Google Alerts, for at holde dig informeret. Disse vil underrette dig, så snart friske oplysninger om det aktuelle emne stilles til rådighed ved at sende dig en e -mail. Yderligere læsning anbefales: Mark Buchanan gør en prognose. Prognose er en kritik af nutidig økonomisk teori, der afslører de vigtigste fejl i teorien. Mark Buchanan, en fysiker, ser nøje på de grundlæggende videnskabelige antagelser, der understøtter vores økonomiske viden og ved hjælp af ivrige analytiske evner, demonstrerer, hvordan de er forkerte. I det andet afsnit af bogen diskuterer Buchanan en række videnskabelige gennembrud, der efter hans mening i sidste ende ville hjælpe med at forbedre den moderne økonomiske teori.

Køb bog - Superforecasting af Philip E. Tetlock og Dan Gardner

Skrevet af BrookPad Team baseret på Superforecasting af Philip E. Tetlock og Dan Gardner