Lika säkert som att algoritmer i genomsnitt är bra mycket effektivare i jämförelse med människor att väga ihop information för att förutsäga händelser, är det lika säkert att människor väljer sig själva framför algoritmer, forskarna kallar det algoritmisk aversion.
Redan på 1950-talet (Meehl, 1954) visade forskning att den algoritmiska tolkningen är överlägsen den mänskliga när det gäller att förutsäga beteenden. Sedan har forskning visat att detta gäller på områden, för att nämna några, som att förutsäga studieframgång, kriminella beteenden, medicinska diagnoser, köpbeteende, och inte minst att förutsäga vem som är bäst lämpad för jobbet. Som Camerer and Johnson, 1991 uttrycker det.
”Expert judgments have been worse than those of the simplest
statistical models in virtually all domains that have been studied”
Algoritmen har, förutom en överlägsen effektivitet, en betydligt större kostnadseffektivitet jämfört med den mänskliga tolkningen, algoritmen är således både smartare och billigare. När en algoritmen väl är på plats så är kostnaden per kandidat i tex rekrytering avsevärt lägre jämfört med den mänskliga tolkningen där informationen för varje enskild kandidat så att säga tolkas separat. Genom dagens explosion av meta analyser, Big Data och Machine learning är jag övertygad om att morgondagens rekryterare kommer få förändrade arbetsuppgifter. Jag kallar det Evidensbaserat urval (EBU™), smartare och billigare.
Men varför väljer vi inte algoritmen framför människan. Forskaren Berkeley J. Dietvorst har undersökt detta i några publicerade studier (Tack till John Hermiz på Assessio som delade informationen med mig) som jag kommer sammanfatta nedan. För att sedan diskutera resultatet utifrån egna erfarenheter från undervisning och rekryteringsuppdrag.
I en studie (Dietvorst, Simmons, & Massey, 2014) visar det sig att personer förlorar förtroende för algoritmer i större utsträckning i jämförelse med om beslutsfattaren är en människa, även om det visar sig att människan gör fler fel i jämförelse med algoritmen, detta benämner forskaren algoritmsk aversion (motvilja, ovilja, antipati, avsmak, avsky). I flera experiment testade forskarna hur personer väljer mellan algoritmen eller sig själv eller någon annan expert som beslutsfattare. I samtliga fall förlorade personerna förtroendet för algoritmen så fort de upptäckte att den inte alltid gjorde rätt. Försökspersonerna hade betydligt större tålamod med människan som beslutsfattare trots att de visste att algoritmen i längden var ett bättre val
I en annan experimentell studie av Dietvorst, Simmons, & Massey (2016) visar det sig att försökspersonerna blev mer vänligt inställda till algoritmen om de fick vara med och ändra i algoritmen. Bland försökspersonerna räckte det att ändra ”lite” i algoritmen för att bli mer positiva.
Personer som fick vara med att påverka viktningen av informationen befann sig mer positiva till algoritmen i jämförelse med dem som endast fick samma algoritm som räknade ut resultatet utan att de kunde påverka algoritmen. Forskarna konstaterar att det i praktiken kan vara bättre att låta personer påverka algoritmen, även om det blir sämre, eftersom alternativet är att inte använda algoritmen och förlita sig på sin egen förmåga, detta skulle ändå leda till en sämre förutsägelse eftersom man helt skulle strunta i algoritmen.
Egna tankar
Studierna verifierar min egen empiri på området. Att applicera en logisk modell, dvs argumentera för att algoritmer vinner över människan med stöd i forskning visar sig endast fungera på en handfull individer.
Ett exempel från en lektion illustrerar aversionen mot algoritmer. Efter ca 15 minuter in i lektionen, där jag argumenterar för ett mekaniskt (läs algoritmiskt) tillvägagångssätt i rekrytering, räcker en student upp handen, och innan jag hinner avbryta min påbörjade mening säger studenten:
”Jag vet vad du kommer säga nu Anders, men jag kommer inte tro på vad du säger”
Och jag tror inte den negativa inställningen (läs aversionen) var till mig som personen utan forskningsresultatet som jag i nästa powerpoint bild skulle visa.
Den första studien ”make sense”. Generellt har de flesta människor svårt att förstå, känna, och ta till sig, även om det är logiskt, att algoritmer är bättre att använda för att fatta beslut istället för människans magkänsla.
Det finns dock situationer när människor litar på datorn. Tänk dig situationen när du kommer fram med en vagn med varor i din lokala ICA butik, du lägger upp varorna till hen som sitter i kassan, hen skannar in varorna och på displayen kan du läsa 1253,10 SEK. Inte skulle du ifrågasätta detta och säga att din erfarenhet säger dig att det snarare skulle landa på 1100 SEK, nej du litar fullt på algoritmen i datorn (som är en enkel summering av kronor) och slänger fram ditt kontokort. Du har även kvittot så du kan kontrollräkna om du vill (där lägger du också in ett nyttoperspektiv, är det värt att stanna upp kön för att du har en känsla av att något är fel).
Så när algoritmen ”nästan” aldrig gör fel och vi vet hur vi kan kontrollera den, då litar vi på algoritmen. Det är annorlunda när algoritmen ibland gör fel, som när svåra förutsägelser ska göras, tex i rekryteringar. Då förlitar vi oss gärna på den egna magkänslan, det kan hända när vi spelar på lotto (även om vi vet att det rent statistiskt nästan är omöjligt att vinna så satsar vi 50 kronor), och det händer i rekryteringar, när HR personal handskas med rekryteringsärenden. Inom spelberoende forskningen benämns detta som tankefälla (Jonsson et al, 2003), dvs en övertro på att vår egna tankar är de rätta om chansen att vinna, dvs träffa rätt (i spel är tankefällan, eftersom jag inte vunnit förut kommer jag vinna nästa gång). Rekryteringsbranschen idag är inne i en stor tankefälla, i detta fall bygger tankefelet på att jag är bättre än algoritmen, dvs en övertro på att människan kan slå algoritmen, medan all forskning pekar på motsatsen.
Den andra studien där försökspersonerna tillåts ändra i algoritmen gör mig dock lite tveksam till hur det kommer att fungera i praktiken. Låt oss ta ett rekryteringsexempel. Du som leverantör av en urvalstjänst har utvecklat en algoritm för att med ett personlighetstest förutsäga vilka som är bäst säljare. Validiteten är inte perfekt men du vet att den kommer slå människans förmåga att väga ihop samma resultatet. Uppdragsgivaren (kunden) hör vad du säger, men är tveksam. Då erbjuder du att kunden själv får bestämma (inom vissa frihetsgrader) hur informationen i personlighetstestet ska vägas samman, du tillåter med andra ord att det ändras i den algoritm som är den bästa möjliga givet den information du har för handen. Med andra ord du måste ljuga för kunden, eller åtminstone undanhålla viktig information från kunden för att få kunden att ”köpa” algoritmen. Är detta i linje med de etiska riktlinjer vi sätter upp, nej jag tycker inte det.
Men låt säga att vi ändå gör så, vi låter kunden ändra i algoritmen, vad händer då. För uppdragsgivare händer inte så mycket, eftersom validiteten i testet inte är så hög kommer den sannolikt att få ungefär lika duktiga säljare. Problemet är istället att kandidaten kan diskrimineras. Den senaste algoritmen jag utvecklade bygger på nästa 1 miljon människors resultat på personlighetstest. När jag bygger algoritmen vet jag att detta är den bästa möjliga sammanfogningen av information från testresultatet. När jag applicerar algoritmen får jag en rangordning av 50 olika kandidater, jag vill kalla 10 till intervju. Eftersom logiken säger att de med högsta sammanvägda resultatet ska kallas till intervju måste jag sätta ett gränsvärde. Detta innebär i sin tur att någon kommer på plats 10 och någon kommer på plats 11. Skulle jag låta kunden ”ändra” lite i ekvationen är sannolikheten att dessa personer byter plats. För kunden spelar detta ingen roll, kunden får intervjua ungefär lika duktiga säljare, men får kandidaten som sorteras bort blir den en negativ effekt när kunden tillåts ändra i algoritmen för att det ”känns bra” för hen.
Slutkommentar
I en klassisk studie av Dawes (1971) om studenturval vid ett universitet visas det sig att en mycket enkel algoritm (med betyg) slog expertgruppen av lärare, som förutom betyg hade en längre intervju samt kandidaternas referenser och vilken skola kandidaten hade gjort sin grundutbildning vid som underlag för beslut. Algoritmen visade sig både effektivare och billigare att använda som urvalsinstrument. Tror ni att de ändrade förfaringssätt? Svar Nej.
Att algoritmer slår människor är idag ett faktum. I en studie fann vi att en algoritm som tilläts träna lite på ett IQ test nådde upp till ett IQ runt 130, dvs bra mycket högre än en medelpresterande människa (Strannegård, Nizamani, Sjöberg, & Engström, 2013). Det formligen exploderar på detta område just nu. Matematiker, statistiker och psykologer jobbar nu tillsammans för att utveckla algoritmer som lär sig själva genom erfarenhet, detta kommer ändra spelplanen för många yrkesgrupper. En del yrken kommer försvinna och en del kommer ändra karaktär, det här är bara början.
Referenser
Dawes. R. (1971). A Case Study of Graduate Admissions: Application of Three Principles of Human Decision Making. American Psychologist, 26, 180-88.
Camerer., C. & Johnson. E .(1991). The process-performance paradox in expert judgment: How can experts know so much and predict so badly? In: K Anders Ericsson and J Smith (eds). Toward a general theory of expertise. (pp. 195-217). Cambridge University Press: Cambridge.
Dietvorst., Simmons., & Massey, (2014). Algorithm aversion: People erroneously avoids algorithms after seeing them err. Journal of Experimental Psychology: General.
Dietvorst., Simmons., & Massey, (2016). Overcoming algorithms aversion: people will use imperfect algorithms if they can (even slgihtly) modify them. Journal of Experimental Psychology: General.
Jonsson, J., Andrén, A., Nilsson, T., Svensson, O., Munck, I., Kindstedt, A., & Rönnberg, S. (2003). Spelberoende i Sverige – vad kännetecknar personer med spelproblem. Stockholm: Statens folkhälsoinstitut.
Meehl, P. E. (1954). Clinical versus statistical prediction. Minneapolis, MN: University of Minnesota.
Strannegård, C , Nizamani, A,R. , Sjöberg, A., and Engström, F. (2013). Bounded kolmogorov complexity based on cognitive models. Artificial General Intelligence, 5, 130–139.
Hej!
Jag tänker att samma sak gäller självkörande fordon. En enda, lindrig, olycka hände för ett tag sedan (var det i somras kanske?) och hela teknologin börjar ifrågasättas, trots att det än så länge fungerat bättre statistiskt sett.
Hänger detta kanske ihop med upplevelsen av att själv kunna välja? Jag tänker på studier (kommer tyvärr inte ihåg var jag läste det och om det var vettig forskning) där t.ex. amerikanska företag som infört sjukvårdsförsäkringar med tvång hamnat i konflikt med sina anställda, medan de som har försäkringen som standard men med möjlighet att avsäga sig den får fler medarbetare med försäkring och alla är nöjda.
Hur är det förresten med intervjuer och referenstagning i förhållande till personlighetsinventarier/tester för att upptäcka potentiellt negativa beteenden vid rekryteringar? En manipulativ person kan ju ge ett mycket gott intryck och luras vid en intervju, men de kan ju även ”lura” testerna. Eller?
Finns alltid risk att personer förställer sig, det är spelets regler. Därför bör flera källor av data samlas in oberoende av varandra.