Psykologikonferens i Sydafrika

I år skippade jag SIOP och åkte istället till en konferens i Skukuza, Sydafrika, där jag är inbjuden att prata internationella standards, och hur vi använder dessa i Europa, samt hur evidensbaserad urval fungerar i praktiken. Nedan kommer några av mina anteckningar från konferensen. 

Kolla in hela programmet här

Skukuza är det huvudlägret för Kruger National Park i Sydafrika (ca 6 timmars bilresa från Johannesburg), det är den största ”campen” i Kruger National Park. Det ligger på södra stranden av Sabie-floden i Mpumalanga-provinsen. Konferensanläggningen är i Skukuza som ligger alltså inne i krugerparken, det är alltså vilda djur bara några 100 meter från anläggningen (och apor innanför skyddstängslet). Igår vandrade 20 elefanter förbi vårt hus på eftermiddagen!

Jvr är de som anordnar denna konferens, konferensen som berör alla typer av bedömningar i arbetslivet. Jvr är leverantör av en mängd olika psykologiska test som används på den arbetspsykologiska marknaden. Sammanlagt är det 140 deltagare på konferensen och dessa deltagare får lyssna på föreläsningar om emotionell intelligens, ledarskap, personlighet och mycket mycket mer.

Första dagen bjöd på ett inledningstal där Mmasekgoa Maire-Mwamba pratade om utvecklingen i Botswana från 1966, deras ”independence day”, då fanns det endast 12 personer som avslutat universitetsstudier i hela landet. Idag finns det flera högutbildade i Botswana, där övervägande delen av befolkningen är under 25 år! Bra ledarskap har utvecklat detta land tillsammans med fynd av diamanter och en ständigt utvecklande arbetsmarknad, men det är en lång väg kvar tills vi är nöjda, avslutade Mmasekgoa.

Nästa talare var Hazel Wehldon CEO på Multi Health Systems MHS, UK. MHS är en stor testleverantör av psykologiska test, både inom arbetspsykologi men också inom skola och psykologiskt klinisk verksamhet. Hennes tal handlade om skillnaden mellan entreprenörer och ledare. Hazel konstaterade att endast 50% av entreprenörer som kommer på nya affärsmöjligheter är kvar i verksamheten efter 5 år, och efter 10 år är endast 20% kvar. En del av förklaringen, menar Hazel) är att det är helt olika egenskaper som krävs av en entreprenör i jämförelse med en leda.

Efter detta lyssnade jag på Darin Nei från Hogan Assessment. Darin berättade om hur Hogan jobbar med kompetensmodeller. Genom att analysera HPI och HDS (två personlighetstest) tillsammans med experters bedömning av vad som är viktigt för att vara en bra ledare vill Darin komma åt vilka kompetenser som är viktigast för att vara en bra ledare. Teoretiskt visade Darin att detta bör vara olika kompetenser, dock fick han inte så mycket stöd för detta i sina statistiska analyser.  Frågan kom upp vad en egentligen kompetens är? Darin medgav att det kan innehålla allt, och att anledningen att Hogan använder kompetensbegreppet är därför att kunder gillar det…..

Sedan var det min tur, jag pratade om hur ”EFPA review model of psychological test” och ISO 10667 fungerar i Sverige och övriga europa. I båda fallen är det psykologer som drivit på utvecklingen att ta fram riktlinjer hur bra bedömningar ska genomföras. Efter att jag i ca 25 minuter gått igenom uppbyggnaden av dessa standards berättade jag för publiken hur dessa båda standards kan användas praktiskt där utmaningen är att anställa ca 700 chefer på 1,5 år till Nya Karolinska. Jag fick applåder så jag gissar att några tyckte det var intressant.

Bob Hogan hade en keynote. Alltid underhållande att lyssna på Bob Hogan. Hogan pratade om sitt favoritområde, ledarskap. Han började att prata om personlighet och hur dessa fem dimensioner kan förutsäga ett gott ledarskap. Detta sker genom att ledarens personlighet påverkas genom att det påverkar beteende, som i sin tur påverkar värderingar i organisationen som påverkar beslut. Det viktigaste faktorn för en bra ledare är att medarbetare litar på hen, dvs känner att detta är en människa som medarbetarna kan ge förtroende till att fatta svåra beslut. Karismatiskt ledarskap är en myt menar Hogan, karismatiskt ledarskap betyder egentligen ett narcisstiskt ledarskap. Och anställer du en narcisstisk chef kommer det förr eller senare sluta i katastrof. Karisma funkar när du ska sälja saker, men inte när du ska leda andra. Och som vanligt avslutade Hogan med att påpeka att den verkligt effektiva ledaren är den chef som inte tar plats utan snarare låter sina team medlemmar ta ledningen.

Nu är det semester för mig, nu ska jag kolla in BIG FIVE, på riktigt.

EFPA Certifieringsutbildning i arbetspsykologisk testning i Göteborg

OBS FULLT. ÅTERKOMMER SNART MED NYTT DATUM

Syftet med denna utbildning är att ge deltagarna teoretiska och praktiska kunskaper i arbetspsykologisk testning som leder till en internationell certifiering enligt efpa (läs mer om efpa här).

Målgrupp
Utbildningen vänder sig till personalvetare, psykologer, ekonomer, m.fl. som arbetar med psykologisk testning vid rekrytering.

Mål med utbildningen
Denna utbildning kommer att ge dig som testanvändare de kunskaper om psykologiska test och testanvändning i arbetslivet som kan leda fram till en certifiering i enlighet med de kriterier som är fastställda av European Federation of Psychologists’ Association.

Innehåll i utbildningen

  1. Styrkor och svagheter hos arbetspsykologiska test
  2. Kvalitet i arbetspsykologiska test
  3. Tolkning av testresultat
  4. Återkoppling och hantering av testresultat
  5. Rättvisa och diskriminering
  6. Personalekonomi, urvalsprocesser och ekonomisk nytta
  7. Arbetspsykologiska kriterier
  8. Begåvning och begåvningstest
  9. Personlighet och personlighetstest

Tid och information
Utbildningen genomförs under två heldagar. I priset ingår en e-learningsmodul där du på distans kan sköta inlärningen mellan kurstillfällena.

Dag 1. 19 maj 2017, klockan 09.00 – 16.00.
Dag 2. 16 juni 2017, klockan 09.00 – 16.00.

Dag 3. Examination anordnas av Stiftelsen för Tillämpad Psykologi (STP) den 30 juni 2017.

Plats
Campus Nya Varvet, Fredrik Bloms Väg 25, Västra Frölunda
Kursledare
Docent Anders Sjöberg och leg psykolog Eva Bergvall.
Kurslitteratur
Mabon, H (2014). Arbetspsykologisk testning. Stockholm. Assessio. ISBN 978-91-7418-366-5. Artikelnummer 778-000.
Kostnad
25.000 exklusive moms (inkl kostnad för kurslitteratur och e-learning). Examination sker i STP:s regi (kostnad tillkommer).
Intresseanmälan
info@psychometrics.se eller ring 0732056048.

Forskare pratar psykologi: Framtidens rekrytering

EVENEMANG

Datum: 10 april 2017 18:00 10 april 2017 19:00
Plats: ABF-huset, Sveavägen 41, Hjärtat-scenen på entréplanet

Stockholms universitet och ABF Stockholm fortsätter sin serie ”Forskare pratar psykologi”, med aktuella forskningsföreläsningar. Framstående psykologiforskare berättar om de senaste rönen inom sina fält. Den 10 april 2017 är det docent Anders Sjöberg som talar om framtidens rekrytering. Fri entré. Välkommen!

Anders Sjöberg, docent

Anders Sjöberg, docent

Rekrytering och urval i arbetslivet har studerats under lång tid där psykologisk kunskap varit en bidragande faktor till en effektiv och rättvis urvalsprocess. Denna föreläsning spänner över 120 års forskning och tillämpning i ämnet, från de första försöken att finna vilka personliga egenskaper som är väsentliga för att förutsäga arbetsprestation, genom 1970-talets skeptiska inställning till psykologisk kunskap i ämnet, fram till dagens tillämpning.

Föreläsningen avslutas med ett resonemang om hur forskning gällande artificiell intelligens kan bidra till framtidens rekryterings- och urvalsprocesser.

Läs mer om Anders Sjöberg.

Sök mer information i ABFs kalendarium.

Tid och plats: Måndag den 10 april, kl. 18.00. ABF-huset, Sveavägen 41.

Fri entré!

Välkommen!

Expertrollen för tolkning av psykologiska test är överskattad

Evidensbaserat urval EBU™ bygger på den senaste empiriska forskningen om hur tillförlitlig information om kandidater ska vägas samman till ett beslutsunderlag. EBU™ ska förutsäga (predicera) framtida relevanta beteenden på arbetsplatsen. EBU™ kan genom en helt automatiserat validerad process ge rekryteraren ett skarpt beslutsunderlag. Detta tillvägagångssätt är effektivt eftersom det är både snabbt och billigt.

Detta hotar naturligtvis vissa företag som idag tar betalt för att med expertrollens hjälp intala sina kunder att deras kunskap att väga ihop information utgör en tillgång utöver olika instruments validitet. Ett bra exempel på detta är ett inlägg av Michael Söderling på Sandhals som förespråkar en expertmodell för tolkning av testresultat.

Läs hela bloggen här

Jag håller med om följande punkter i bloggen

  • Personlighets- och begåvningstest ska användas tillsammans för att komma fram till ett beslutsunderlag
  • Som kund ska du fråga om ett tests validitet och reliabilitet

Om vi sedan ställer de andra saker Michael tar upp i bloggen mot den samlade evidensen från forskningen om urval, blir jag lite fundersam.

Bloggen börjar med att likställa test med att hålla skarpladdade vapen i handen. Och att dessa vapen måste handhas av en kunnig person (läs Michael själv som expert). Detta uttrycks i meningen ”min bedömning kan ha ett avgörande inflytande på en persons fortsatta karriär”.

Detta är ingen ny retorik utan speglar expertens övertro på sin egen förmåga att fatta beslut om förutsägelse långt fram i tiden. Det visades först av Paul Meehl då han redan på 50-talet visade att att psykologer och psykiatriker förlorade mot en enkel summering av testresultat när olika psykologiska åkommor skulle förutsägas. Kahneman fick nobelpriset 2002 för att genom sin forskarkarriär bevisat att experter har ofta fel när det ska se ”in i framtiden”. 2013 visade Nathan R. Kuncel & Co i en meta-analys att den mekaniska bedömningen var effektivare än expertenmodellen för att fatta urvalsbeslut, både inom skolans värld och arbetslivet.

Att inte branschen förändras av forskningsresultat kan utläsas i Frank Schmidts kända citat från från 2006 när han intervjuades i SIOPS tidskrift (TIP).

Some years back I realized that personnel selection had become a churning arena of constant irrationality. There is a huge disconnect between what we know to be true from research and what people pretend to be true. There is a serious corruption of scientific truth caused by legal and ideological intrusions into the field of selection and the failure of the profession to respond appropriately to these intrusions (Schmidt, 2006).

Michael går sedan vidare och förklarar skillnaden mellan expertmodellen och mekaniska modellen att väga ihop information från ett psykologiskt test.

Detta uttrycks i nedan citat.

”Ska man endast titta på testresultatet och göra sannolikhetsberäkningar eller ska man utifrån testresultatet skapa hypoteser och testa hypoteserna i ett utforskande samtal med kandidaten?”

Om vi nu betraktar EBU™ som en mekanisk modell och vad Sandahls sysslar med i sin personbedömning som en expertmodell är problemet att Sandahls aldrig har förkastat eller bekräftat sin hypotes, åtminstone går det inte att läsa någonstans. I EBU™ har vi en hypotes, sedan tar vi forskningsresultat och kan antingen bekräfta eller förkastas vår hypotes, eller ännu bättre, vi kan till och med säga hur rätt/fel vi har (sannolikhetsberäkningen). Således är detta exakt samma vetenskapliga grundsyn, hypotestestning. Skillnaden är att EBU™ har ett generellt svar, experten ändrar sig hela tiden.

Håller med Michael att detta är en laddad fråga inom psykologkåren, inte minst pga att psykologer i sina etiska regler ska jobba evidensbaserat. Är det verkligen etiskt korrekt att som psykolog intala en kund att vara expert, utan att nånsin kunna belägga hur rätt man har som expert. Tveksamt enligt mig.

Sedan tar Michael liknelsen med läkaren som bara går på testresultat eller också pratar med patienten.

Mekanisk bedömning av testresultat (och andra resultat) hindrar inte att man träffar kandidaten, tvärtom det ger mer tid över att intervjua kandidaten, ge en beskrivning till kandidaten om hens testresultat, berätta om företaget, ställa andra arbetsrelaterade frågor som inte har med testresultatet att göra och mycket mer.

EBU™ säger endast: bedöm inte testresultatet på ett annorlunda sätt efter att slutpoängen räknats ut. That’s it.

Var själv hos läkaren häromdan och pratade om mitt knä, han berättade om testresultatet (röntgenresultatet), detta tog 5 minuter, han ändrade INTE på testresultatet.

Jag tror att Michael missuppfattat vad EBU™ är (vilket är konstigt eftersom hans företag säljer tjänsten). Detta går att finna på Sandahls hemsida.

Evidensbaserat urval (EBU) ger en bedömning av generell potential för ledarskap. Det är en evidensbaserad, kvantitativ metodik som används som screeningverktyg i urvalsprocesser och som har prognostisk validitet. Metoden bygger på den senaste forskningen om urval och metaanalyser om vilka personlighetsfaktorer som visat sig ha betydelse för ledarskap och arbetsprestation. Resultatet av EBU är lämpligt att använda för att exempelvis rangordna och nivåbestämma kandidater i urvalsprocesser.

Behöver Michael och några andra på Sandhals vidareutbildning i EBU™så bjuder jag på 1 dags utbildning, det är bara säga till.

 

Kompensatorisk beräkning av testpoäng vid rekrytering

Nedan förklarar jag skillnaden mellan två mekaniska tillvägagångssätt att kombinera information från ett personlighetstest och ett IQ test, gränsvärde modellen och den kompensatoriska modellen. Även om ett test visar goda psykometriska egenskaper leder detta inte per automatik till att rätt beslut tas, eftersom tomrummet mellan testningen och beslutet lämnar öppet för tolkning och därmed förvrängning av testresultatet.

Att samla information med hjälp av personlighetstest och begåvningstest är naturligtvis inte tillräckligt för att kunna fatta ett urvalsbeslut. Informationen från testen (tex från ett Big Five test och ett IQ test) behöver värderas/tolkas/vägas samman till en sammantagen bedömning som utgör grunden för rangordningen av kandidaterna. Detta gäller oavsett vilket eller vilka (urvals-) verktyg som används för att samla informationen. Detsamma gäller för CV granskning, intervjuer och andra metoder, men i detta exempel tänker jag på testpoäng på ett personlighetstest som resulterar i 5 olika testpoäng och ett IQ test som resulterar i 1 testpoäng, sammanlagt 6 testpoäng som på något sätt ska vägas samman till en testpoäng, denna testpoäng kan sedan vara en del av ett urvalsbeslut. Det är ett vanligt tillvägagångssätt att rekryteraren använder psykologiska test, med dokumenterat god validitet i testpoängen men att urvalsbesluten är invalida på grund av det som sker mellan testpoängen och beslutet, alltså själva sammanvägningen av testpoängen inte är maximal. För att råda bot mot detta kommer jag nedan argumentera att använda en sk kompensatorisk modell istället som vad många använder idag, en modell med olika gränsvärden, sk cut-off värden. Först ger jag ett exempel på cut-off modellen, sedan kommer ett exempel på en kompensatorisk modell.

Gränsvärde
I gränsvärde modellen anges gränsvärden för samtliga testpoäng på våra test. Tänk er att testpoängen kan variera mellan 0 och 10 poäng. Vi benämner faktorerna enligt vår personlighet- och begåvningsmodell (AG, ES, CO, EX, OP, IQ). Rekryteraren måste här bestämma vid vilka värden varje kandidat ska gå vidare. Varje faktor behandlas här separat. Vi kan börja med AG som mäter personens Sociala Stil (eng, Agreeableness, AG) där höga poäng betyder att personen har sympatisk framtoning när hen umgås med andra, medan en låg poäng betyder att personen upplevs lite mer hårdhudad. Här bestämmer vi att på det här jobbet ska en person ha minst mede sympatiska medarbetare, vi sätter gränsvärdet till 5. Sedan går vi vidare till nästa faktor, Emotionells Stabilitet (ES). Här bedömer vi inte att det behövs mer än 3 poäng. Sedan fortsätter vi genom alla faktorer vilket resulterar i följande gränsvärden.

  • AG 5
  • ES 3
  • CO 7
  • EX 0
  • OP 3
  • IQ 5

Att varje faktor behandlas var för sig blir tydligt om vi tänker oss en kandidat som får, AG=4, ES=10, CO=10, EX=5, OP=10, IQ=10. Denna person är en begåvad person som är ytterst målmedveten (några av de viktigaste faktorerna för att förutsäga arbetsprestation), men på grund av en 4:a på AG kommer denna person inte rekommenderas för jobbet.
Fördelen med denna modell är att det ofta är lätt att förklara för chefer som ska ta urvalsbeslut, men den har några väldigt ogynnsamma antaganden som i praktiken sällan uppfylls.

För det första så antas det att alla testpoäng är helt oberoende av varandra, vilket inte uppfylls i praktiken. Även om testpoängen heter olika saker betyder det inte att testpoängen är oberoende varandra, det finns ett samband mellan faktorerna. Tex finns det ett positivt samband mellan målmedvetenhet (eng, Conscientiousness, CO) och AG, vilket vi inte tar hänsyn till i modellen. Med andra ord när vi accepterar resultatet som ett gränsvärde tror vi att vi bara väljer på AG, medan i praktiken tar vi också beslut på CO.

För det andra antar denna modell att vi vet exakt var gränsvärdet ska sättas. Detta är alltid gjort med väldigt mycket subjektivitet för vi vet sällan hur en enskild nivå exakt påverkar ett beteende på arbetsplatsen. Att sätta exakta gränsvärden kan fungera när det gäller fysisk styrka (tex man måste kunna bära en viss tyngd) eller kunskap (baskunskap i programmering), men jag skulle säga aldrig när det gäller personlighet och begåvningstest.

För det tredje, enligt min mening den allvarligaste bristen, tillåter man inte att vissa faktorer kan kompensera varandra. Ett exempel från forskningen är hur målmedvetenhet (CO) och IQ samvarierar för att för att förutsäga lärande. En person med relativt låg IQ kan lära sig lika mycket som en person med relativt högre IQ, men en förutsättning för detta är att personen med lågt IQ ligger högt på CO, målmedvetenhet. I cut-off modellen tillåts inte detta hända, eftersom man behandlar en faktor i taget.

Kompensatoriska modellen
I den kompensatorisk modellen finns det inte för varje enskild testpoäng något gränsvärde. Istället reduceras, i detta exempel, 6 olika testpoäng till en slutpoäng, ibland kallad lämplighetspoäng. Denna lämplighetspoäng jämförs mellan individer och den person som har högst poäng rekommenderas till arbetet givet det du mäter, dvs i detta exempel personlighet och begåvning.

Vikterna för respektive testpoäng är framtagna så att de representerar de optimala vikterna för respektive faktor (prediktor) och varje specifikt kriterie (tex arbetsprestation). Det innebär att vikterna maximalt nyttjar informationen i varje prediktor i förhållande till den empiriska kravprofilen. Detta uppnås bland annat genom att varje beräkning av lämplighetspoäng tar hänsyn till att prediktorerna i viss mån samvarierar (överlappar) med varandra. Graden av samvariation mellan prediktorer estimeras för varje lämplighetspoäng genom empiriska studier och beskrivs för varje enskild slutpoäng. Att vikterna är optimala medför per definition att andra vikter för samma prediktorer inte kan höja den prediktiva validiteten utan enbart sänka den. Med andra ord, avviker vi från de optimala vikterna sänks validiteten i tolkningen av testpoängen.

Sambanden, eller korrelationerna mellan prediktorerna krävs av två skäl: dels för att kunna estimera de optimala vikterna för den aktuella profilen (kriteriet) och därmed maximera träffsäkerheten (validiteten) i det beslutsunderlag som profilerna genererar. Korrelationerna mellan prediktorerna sammanställs i en så kallad korrelationsmatris, denna matris används sedan i en regressionsanalys som estimerar sambanden med kriteriet (det vill säga vikterna). Korrelationerna mellan prediktorerna behövs också för att kunna leverera beslutsunderlag som bygger på en kompensatorisk modell (det vill säga att till exempel låga poäng på en skala CO till viss del kan kompenseras med höga poäng på IQ). Notera att det kompensatoriska förhållningssättet brukar tillskrivas den intuitiva tolkningen – att den implicita tolkningen hanterar och justerar just detta – trots att den i själva verket omöjliggör ett kompensatorisk förhållningssätt eftersom den intuitiva tokningen inte leder till samma viktning för varje individ. Se exemplet nedan när alla faktorer viktas i till en slutlig poäng.

  • AG * 1
  • ES * 2
  • CO * 3
  • EX * 1
  • OP * 1
  • IQ * 6

Genom att multiplicera med varje testpoäng med en siffra (en konstant) så blir varje kandidat bedömd med samma måttstock. En kandidat kan kompensera poäng med andra poäng.
Fördelen med denna modell är:

  • ingen enskild faktor sorterar bort individer
  • låga poäng på en faktor kan kombineras med höga på en annan faktor
  • varje kandidat blir bedömd på samma premisser

Det går även att kombinera gränsvärden med en kompensatorisk modell. Gränsvärden kan används av logistiska skäl, tex när det är låga urvalskvoter, dvs många sökande till få platser. Då kan gränsvärden användas genom att ställa ”låga” krav i början av urvalsprocessen eller i slutet av processen. Gränsvärden kan också användas i slutet av urvalsprocessen när en kompensatorisk modell valt bort de lämpligaste kandidaterna. Detta kommer jag berätta om i kommande inlägg på psychometrics. Vill du läsa mer om hur kompensatoriska modellen fungerar i Evidensbaserat urval ((EBU™), klicka här.

 

Lästips

Dawes, R. M., & Corrigan, B. (1974). Linear models in decision making. Psychological Bulletin, 81, 95-106.

Dawes, R. M. (1979). The robust beauty of improper linear models in decision making. American Psychologist, 7, 571-582.

Freyd, M. (1926). The statistical viewpoint in vocational selection. Journal of Applied Psychology, 4, 349-356.

Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 1, 19-30.

Kleinmuntz, B. (1990). Why we still use our heads instead of formulas: Toward an integrative approach. Psychological Bulletin, 3, 296-310.

Meehl, P. E. (1954). Clinical versus statistical prediction. A theoretical analysis and a review of evidence. Minneapolis; University of Minnesota Press.

Meehl, P. E. (1986). Causes and effects of my disturbing little book. Journal of Personality Assessment, 50, 370-375.

Newman, D.A., Jacobs, R. R., & Bartram, D. (2007). Choosing the best method for local validity estimation: Relative accuracy of meta-analysis versus a local study versus bayes-analysis. Journal of Applied Psychology. 92, 1394-1413.

Schmidt, F. L., Shaffer. J. A., & Oh, I. S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personell Psychology, 61, 827-868

Viswesvaran, C., Ones, D. S., & Schmidt, F. L. (1996). Comparative analysis of the reliability of job performance ratings. Journal of Applied Psychology, 81, 557-574.

Viteles, M. S. (1925). The clinical viewpoint in vocational selection. Journal of Applied Psychology, 2, 131-138.

Aversion mot algoritmer vid urvalsbeslut, ny forskning och egna tankar om framtidens rekrytering

Lika säkert som att algoritmer i genomsnitt är bra mycket effektivare i jämförelse med människor att väga ihop information för att förutsäga händelser, är det lika säkert att människor väljer sig själva framför algoritmer, forskarna kallar det algoritmisk aversion.

Redan på 1950-talet (Meehl, 1954) visade forskning att den algoritmiska tolkningen är överlägsen den mänskliga när det gäller att förutsäga beteenden. Sedan har forskning visat att detta gäller på områden, för att nämna några, som att förutsäga studieframgång, kriminella beteenden, medicinska diagnoser, köpbeteende, och inte minst att förutsäga vem som är bäst lämpad för jobbet. Som Camerer and Johnson, 1991 uttrycker det.

”Expert judgments have been worse than those of the simplest
statistical models in virtually all domains that have been studied”

Algoritmen har, förutom en överlägsen effektivitet, en betydligt större kostnadseffektivitet jämfört med den mänskliga tolkningen, algoritmen är således både smartare och billigare. När en algoritmen väl är på plats så är kostnaden per kandidat i tex rekrytering avsevärt lägre jämfört med den mänskliga tolkningen där informationen för varje enskild kandidat så att säga tolkas separat. Genom dagens explosion av meta analyser, Big Data och Machine learning är jag övertygad om att morgondagens rekryterare kommer få förändrade arbetsuppgifter. Jag kallar det Evidensbaserat urval (EBU™), smartare och billigare.

Men varför väljer vi inte algoritmen framför människan. Forskaren Berkeley J. Dietvorst har undersökt detta i några publicerade studier (Tack till John Hermiz Assessio som delade informationen med mig) som jag kommer sammanfatta nedan. För att sedan diskutera resultatet utifrån egna erfarenheter från undervisning och rekryteringsuppdrag.

I en studie (Dietvorst, Simmons, & Massey, 2014) visar det sig att personer förlorar förtroende för algoritmer i större utsträckning i jämförelse med om beslutsfattaren är en människa, även om det visar sig att människan gör fler fel i jämförelse med algoritmen, detta benämner forskaren algoritmsk aversion (motvilja, ovilja, antipati, avsmak, avsky). I flera experiment testade forskarna hur personer väljer mellan algoritmen eller sig själv eller någon annan expert som beslutsfattare. I samtliga fall förlorade personerna förtroendet för algoritmen så fort de upptäckte att den inte alltid gjorde rätt. Försökspersonerna hade betydligt större tålamod med människan som beslutsfattare trots att de visste att algoritmen i längden var ett bättre val

I en annan experimentell studie av Dietvorst, Simmons, & Massey (2016) visar det sig att försökspersonerna blev mer vänligt inställda till algoritmen om de fick vara med och ändra i algoritmen. Bland försökspersonerna räckte det att ändra ”lite” i algoritmen för att bli mer positiva.

Personer som fick vara med att påverka viktningen av informationen befann sig mer positiva till algoritmen i jämförelse med dem som endast fick samma algoritm som räknade ut resultatet utan att de kunde påverka algoritmen. Forskarna konstaterar att det i praktiken kan vara bättre att låta personer påverka algoritmen, även om det blir sämre, eftersom alternativet är att inte använda algoritmen och förlita sig på sin egen förmåga, detta skulle ändå leda till en sämre förutsägelse eftersom man helt skulle strunta i algoritmen.

Egna tankar

Studierna verifierar min egen empiri på området. Att applicera en logisk modell, dvs argumentera för att algoritmer vinner över människan med stöd i forskning visar sig endast fungera på en handfull individer.

Ett exempel från en lektion illustrerar aversionen mot algoritmer. Efter ca 15 minuter in i lektionen, där jag argumenterar för ett mekaniskt (läs algoritmiskt) tillvägagångssätt i rekrytering, räcker en student upp handen, och innan jag hinner avbryta min påbörjade mening säger studenten:

”Jag vet vad du kommer säga nu Anders, men jag kommer inte tro på vad du säger”

Och jag tror inte den negativa inställningen (läs aversionen) var till mig som personen utan forskningsresultatet som jag i nästa powerpoint bild skulle visa.

Den första studien ”make sense”. Generellt har de flesta människor svårt att förstå, känna, och ta till sig, även om det är logiskt, att algoritmer är bättre att använda för att fatta beslut istället för människans magkänsla.

Det finns dock situationer när människor litar på datorn. Tänk dig situationen när du kommer fram med en vagn med varor i din lokala ICA butik, du lägger upp varorna till hen som sitter i kassan, hen skannar in varorna och på displayen kan du läsa 1253,10 SEK. Inte skulle du ifrågasätta detta och säga att din erfarenhet säger dig att det snarare skulle landa på 1100 SEK, nej du litar fullt på algoritmen i datorn (som är en enkel summering av kronor) och slänger fram ditt kontokort. Du har även kvittot så du kan kontrollräkna om du vill (där lägger du också in ett nyttoperspektiv, är det värt att stanna upp kön för att du har en känsla av att något är fel).

Så när algoritmen ”nästan” aldrig gör fel och vi vet hur vi kan kontrollera den, då litar vi på algoritmen. Det är annorlunda när algoritmen ibland gör fel, som när svåra förutsägelser ska göras, tex i rekryteringar. Då förlitar vi oss gärna på den egna magkänslan, det kan hända när vi spelar på lotto (även om vi vet att det rent statistiskt nästan är omöjligt att vinna så satsar vi 50 kronor), och det händer i rekryteringar, när HR personal handskas med rekryteringsärenden. Inom spelberoende forskningen benämns detta som tankefälla (Jonsson et al, 2003), dvs en övertro på att vår egna tankar är de rätta om chansen att vinna, dvs träffa rätt (i spel är tankefällan, eftersom jag inte vunnit förut kommer jag vinna nästa gång). Rekryteringsbranschen idag är inne i en stor tankefälla, i detta fall bygger tankefelet på att jag är bättre än algoritmen, dvs en övertro på att människan kan slå algoritmen, medan all forskning pekar på motsatsen.

Den andra studien där försökspersonerna tillåts ändra i algoritmen gör mig dock lite tveksam till hur det kommer att fungera i praktiken. Låt oss ta ett rekryteringsexempel. Du som leverantör av en urvalstjänst har utvecklat en algoritm för att med ett personlighetstest förutsäga vilka som är bäst säljare. Validiteten är inte perfekt men du vet att den kommer slå människans förmåga att väga ihop samma resultatet. Uppdragsgivaren (kunden) hör vad du säger, men är tveksam. Då erbjuder du att kunden själv får bestämma (inom vissa frihetsgrader) hur informationen i personlighetstestet ska vägas samman, du tillåter med andra ord att det ändras i den algoritm som är den bästa möjliga givet den information du har för handen. Med andra ord du måste ljuga för kunden, eller åtminstone undanhålla viktig information från kunden för att få kunden att ”köpa” algoritmen. Är detta i linje med de etiska riktlinjer vi sätter upp, nej jag tycker inte det.

Men låt säga att vi ändå gör så, vi låter kunden ändra i algoritmen, vad händer då. För uppdragsgivare händer inte så mycket, eftersom validiteten i testet inte är så hög kommer den sannolikt att få ungefär lika duktiga säljare. Problemet är istället att kandidaten kan diskrimineras. Den senaste algoritmen jag utvecklade bygger på nästa 1 miljon människors resultat på personlighetstest. När jag bygger algoritmen vet jag att detta är den bästa möjliga sammanfogningen av information från testresultatet. När jag applicerar algoritmen får jag en rangordning av 50 olika kandidater, jag vill kalla 10 till intervju. Eftersom logiken säger att de med högsta sammanvägda resultatet ska kallas till intervju måste jag sätta ett gränsvärde. Detta innebär i sin tur att någon kommer på plats 10 och någon kommer på plats 11. Skulle jag låta kunden ”ändra” lite i ekvationen är sannolikheten att dessa personer byter plats. För kunden spelar detta ingen roll, kunden får intervjua ungefär lika duktiga säljare, men får kandidaten som sorteras bort blir den en negativ effekt när kunden tillåts ändra i algoritmen för att det ”känns bra” för hen.

Slutkommentar
I en klassisk studie av Dawes (1971) om studenturval vid ett universitet visas det sig att en mycket enkel algoritm (med betyg) slog expertgruppen av lärare, som förutom betyg hade en längre intervju samt kandidaternas referenser och vilken skola kandidaten hade gjort sin grundutbildning vid som underlag för beslut. Algoritmen visade sig både effektivare och billigare att använda som urvalsinstrument. Tror ni att de ändrade förfaringssätt? Svar Nej.

Att algoritmer slår människor är idag ett faktum. I en studie fann vi att en algoritm som tilläts träna lite på ett IQ test nådde upp till ett IQ runt 130, dvs bra mycket högre än en medelpresterande människa (Strannegård, Nizamani, Sjöberg, & Engström, 2013). Det formligen exploderar på detta område just nu. Matematiker, statistiker och psykologer jobbar nu tillsammans för att utveckla algoritmer som lär sig själva genom erfarenhet, detta kommer ändra spelplanen för många yrkesgrupper. En del yrken kommer försvinna och en del kommer ändra karaktär, det här är bara början.

Referenser

Dawes. R. (1971). A Case Study of Graduate Admissions: Application of Three Principles of Human Decision Making. American Psychologist, 26, 180-88.

Camerer., C. & Johnson. E .(1991). The process-performance paradox in expert judgment: How can experts know so much and predict so badly? In: K Anders Ericsson and J Smith (eds). Toward a general theory of expertise. (pp. 195-217). Cambridge University Press: Cambridge.

Dietvorst., Simmons., & Massey, (2014). Algorithm aversion: People erroneously avoids algorithms after seeing them err. Journal of Experimental Psychology: General.

Dietvorst., Simmons., & Massey, (2016). Overcoming algorithms aversion: people will use imperfect algorithms if they can (even slgihtly) modify them. Journal of Experimental Psychology: General.

Jonsson, J., Andrén, A., Nilsson, T., Svensson, O., Munck, I., Kindstedt, A., & Rönnberg, S. (2003). Spelberoende i Sverige – vad kännetecknar personer med spelproblem. Stockholm: Statens folkhälsoinstitut.

Meehl, P. E. (1954). Clinical versus statistical prediction. Minneapolis, MN: University of Minnesota.

Strannegård, C , Nizamani, A,R. , Sjöberg, A., and Engström, F. (2013). Bounded kolmogorov complexity based on cognitive models. Artificial General Intelligence, 5, 130–139.

Skänk en slant till Rädda barnen och bidra till forskning om personlighet? 


Just nu söker vi deltagare till ett forskningsprojekt om personlighet vid Uppsala och Stockholms universitet. Deltagandet sker genom att besvara två frågeformulär som sammanlagt tar ca 40 minuter att genomföra. Inte nog med att du bidrar till forskning så får du som tack för medverkan en skriftlig återkoppling om din personlighet från ett kvalitetssäkrat internationellt personlighetstest.

Som tack för din medverkan skänks 50 kronor till Rädda Barnen.

 

 

 

Frågeformulären besvaras online och kräver inga förkunskaper. Som tack för medverkan får du en övergripande återkoppling om din personlighet i form av en skriftlig rapport direkt efter du genomfört testet. Återkopplingen kan användas i utvecklande syfte inför framtida yrkesliv eller för att öka din självinsikt.

Är du intresserad och vill medverka?

Maila Alex Tidgård och märk mailet ”Uppsats”:

alex.tidgard@assessio.se

Naturligtvis kommer forskningsresultatet att publiceras här på psychometrics.se under hösten 2017.

Observera. All data kommer att avidentifieras innan dataanalys och kommer inte kunna spåras till någon enskild individ. All data behandlas på gruppnivå.

Forskare pratar psykologi: Framtidens rekrytering 10 april kl 18.00-19.00

Framtidens rekrytering

Datum: 10 april 2017 18:00 – 10 april 2017 19:00 
Plats: ABF-huset, Sveavägen 41, Hjärtat-scenen på entréplanet.

Stockholms universitet och ABF Stockholm fortsätter sin serie ”Forskare pratar psykologi”, med aktuella forskningsföreläsningar. Framstående psykologiforskare berättar om de senaste rönen inom sina fält. Den 10 april 2017 är det docent Anders Sjöberg som talar om framtidens rekrytering. Fri entré. Välkommen!

Sammanfattning
Rekrytering och urval i arbetslivet har studerats under lång tid där psykologisk kunskap varit en bidragande faktor till en effektiv och rättvis urvalsprocess. Denna föreläsning spänner över 120 års forskning och tillämpning i ämnet, från de första försöken att finna vilka personliga egenskaper som är väsentliga för att förutsäga arbetsprestation, genom 1970-talets skeptiska inställning till psykologisk kunskap i ämnet, fram till dagens tillämpning. Föreläsningen avslutas med ett resonemang om hur forskning gällande artificiell intelligens kan bidra till framtidens rekryterings- och urvalsprocesser.Sök mer information i ABFs kalendarium.Tid och plats: Måndag den 10 april, kl. 18.00. ABF-huset, Sveavägen 41.

Fri entré!

Välkommen!

<\/body>