Psychometrics Sweden & Assessment Engine

Nedan förklarar jag skillnaden mellan två mekaniska tillvägagångssätt att kombinera information från ett personlighetstest och ett IQ test, gränsvärde modellen och den kompensatoriska modellen. Även om ett test visar goda psykometriska egenskaper leder detta inte per automatik till att rätt beslut tas, eftersom tomrummet mellan testningen och beslutet lämnar öppet för tolkning och därmed förvrängning av testresultatet.

Att samla information med hjälp av personlighetstest och begåvningstest är naturligtvis inte tillräckligt för att kunna fatta ett urvalsbeslut. Informationen från testen (tex från ett Big Five test och ett IQ test) behöver värderas/tolkas/vägas samman till en sammantagen bedömning som utgör grunden för rangordningen av kandidaterna. Detta gäller oavsett vilket eller vilka (urvals-) verktyg som används för att samla informationen. Detsamma gäller för CV granskning, intervjuer och andra metoder, men i detta exempel tänker jag på testpoäng på ett personlighetstest som resulterar i 5 olika testpoäng och ett IQ test som resulterar i 1 testpoäng, sammanlagt 6 testpoäng som på något sätt ska vägas samman till en testpoäng, denna testpoäng kan sedan vara en del av ett urvalsbeslut. Det är ett vanligt tillvägagångssätt att rekryteraren använder psykologiska test, med dokumenterat god validitet i testpoängen men att urvalsbesluten är invalida på grund av det som sker mellan testpoängen och beslutet, alltså själva sammanvägningen av testpoängen inte är maximal. För att råda bot mot detta kommer jag nedan argumentera att använda en sk kompensatorisk modell istället som vad många använder idag, en modell med olika gränsvärden, sk cut-off värden. Först ger jag ett exempel på cut-off modellen, sedan kommer ett exempel på en kompensatorisk modell.

Gränsvärde
I gränsvärde modellen anges gränsvärden för samtliga testpoäng på våra test. Tänk er att testpoängen kan variera mellan 0 och 10 poäng. Vi benämner faktorerna enligt vår personlighet- och begåvningsmodell (AG, ES, CO, EX, OP, IQ). Rekryteraren måste här bestämma vid vilka värden varje kandidat ska gå vidare. Varje faktor behandlas här separat. Vi kan börja med AG som mäter personens Sociala Stil (eng, Agreeableness, AG) där höga poäng betyder att personen har sympatisk framtoning när hen umgås med andra, medan en låg poäng betyder att personen upplevs lite mer hårdhudad. Här bestämmer vi att på det här jobbet ska en person ha minst mede sympatiska medarbetare, vi sätter gränsvärdet till 5. Sedan går vi vidare till nästa faktor, Emotionells Stabilitet (ES). Här bedömer vi inte att det behövs mer än 3 poäng. Sedan fortsätter vi genom alla faktorer vilket resulterar i följande gränsvärden.

• AG 5
• ES 3
• CO 7
• EX 0
• OP 3
• IQ 5

Att varje faktor behandlas var för sig blir tydligt om vi tänker oss en kandidat som får, AG=4, ES=10, CO=10, EX=5, OP=10, IQ=10. Denna person är en begåvad person som är ytterst målmedveten (några av de viktigaste faktorerna för att förutsäga arbetsprestation), men på grund av en 4:a på AG kommer denna person inte rekommenderas för jobbet.
Fördelen med denna modell är att det ofta är lätt att förklara för chefer som ska ta urvalsbeslut, men den har några väldigt ogynnsamma antaganden som i praktiken sällan uppfylls.

För det första så antas det att alla testpoäng är helt oberoende av varandra, vilket inte uppfylls i praktiken. Även om testpoängen heter olika saker betyder det inte att testpoängen är oberoende varandra, det finns ett samband mellan faktorerna. Tex finns det ett positivt samband mellan målmedvetenhet (eng, Conscientiousness, CO) och AG, vilket vi inte tar hänsyn till i modellen. Med andra ord när vi accepterar resultatet som ett gränsvärde tror vi att vi bara väljer på AG, medan i praktiken tar vi också beslut på CO.

För det andra antar denna modell att vi vet exakt var gränsvärdet ska sättas. Detta är alltid gjort med väldigt mycket subjektivitet för vi vet sällan hur en enskild nivå exakt påverkar ett beteende på arbetsplatsen. Att sätta exakta gränsvärden kan fungera när det gäller fysisk styrka (tex man måste kunna bära en viss tyngd) eller kunskap (baskunskap i programmering), men jag skulle säga aldrig när det gäller personlighet och begåvningstest.

För det tredje, enligt min mening den allvarligaste bristen, tillåter man inte att vissa faktorer kan kompensera varandra. Ett exempel från forskningen är hur målmedvetenhet (CO) och IQ samvarierar för att för att förutsäga lärande. En person med relativt låg IQ kan lära sig lika mycket som en person med relativt högre IQ, men en förutsättning för detta är att personen med lågt IQ ligger högt på CO, målmedvetenhet. I cut-off modellen tillåts inte detta hända, eftersom man behandlar en faktor i taget.

Kompensatoriska modellen
I den kompensatorisk modellen finns det inte för varje enskild testpoäng något gränsvärde. Istället reduceras, i detta exempel, 6 olika testpoäng till en slutpoäng, ibland kallad lämplighetspoäng. Denna lämplighetspoäng jämförs mellan individer och den person som har högst poäng rekommenderas till arbetet givet det du mäter, dvs i detta exempel personlighet och begåvning.

Vikterna för respektive testpoäng är framtagna så att de representerar de optimala vikterna för respektive faktor (prediktor) och varje specifikt kriterie (tex arbetsprestation). Det innebär att vikterna maximalt nyttjar informationen i varje prediktor i förhållande till den empiriska kravprofilen. Detta uppnås bland annat genom att varje beräkning av lämplighetspoäng tar hänsyn till att prediktorerna i viss mån samvarierar (överlappar) med varandra. Graden av samvariation mellan prediktorer estimeras för varje lämplighetspoäng genom empiriska studier och beskrivs för varje enskild slutpoäng. Att vikterna är optimala medför per definition att andra vikter för samma prediktorer inte kan höja den prediktiva validiteten utan enbart sänka den. Med andra ord, avviker vi från de optimala vikterna sänks validiteten i tolkningen av testpoängen.

Sambanden, eller korrelationerna mellan prediktorerna krävs av två skäl: dels för att kunna estimera de optimala vikterna för den aktuella profilen (kriteriet) och därmed maximera träffsäkerheten (validiteten) i det beslutsunderlag som profilerna genererar. Korrelationerna mellan prediktorerna sammanställs i en så kallad korrelationsmatris, denna matris används sedan i en regressionsanalys som estimerar sambanden med kriteriet (det vill säga vikterna). Korrelationerna mellan prediktorerna behövs också för att kunna leverera beslutsunderlag som bygger på en kompensatorisk modell (det vill säga att till exempel låga poäng på en skala CO till viss del kan kompenseras med höga poäng på IQ). Notera att det kompensatoriska förhållningssättet brukar tillskrivas den intuitiva tolkningen – att den implicita tolkningen hanterar och justerar just detta – trots att den i själva verket omöjliggör ett kompensatorisk förhållningssätt eftersom den intuitiva tokningen inte leder till samma viktning för varje individ. Se exemplet nedan när alla faktorer viktas i till en slutlig poäng.

• AG * 1
• ES * 2
• CO * 3
• EX * 1
• OP * 1
• IQ * 6

Genom att multiplicera med varje testpoäng med en siffra (en konstant) så blir varje kandidat bedömd med samma måttstock. En kandidat kan kompensera poäng med andra poäng.
Fördelen med denna modell är:

• ingen enskild faktor sorterar bort individer
• låga poäng på en faktor kan kombineras med höga på en annan faktor
• varje kandidat blir bedömd på samma premisser

Det går även att kombinera gränsvärden med en kompensatorisk modell. Gränsvärden kan används av logistiska skäl, tex när det är låga urvalskvoter, dvs många sökande till få platser. Då kan gränsvärden användas genom att ställa ”låga” krav i början av urvalsprocessen eller i slutet av processen. Gränsvärden kan också användas i slutet av urvalsprocessen när en kompensatorisk modell valt bort de lämpligaste kandidaterna. Detta kommer jag berätta om i kommande inlägg på psychometrics. Vill du läsa mer om hur kompensatoriska modellen fungerar i Evidensbaserat urval ((EBU™), klicka här.

Lästips

Dawes, R. M., & Corrigan, B. (1974). Linear models in decision making. Psychological Bulletin, 81, 95-106.

Dawes, R. M. (1979). The robust beauty of improper linear models in decision making. American Psychologist, 7, 571-582.

Freyd, M. (1926). The statistical viewpoint in vocational selection. Journal of Applied Psychology, 4, 349-356.

Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 1, 19-30.

Kleinmuntz, B. (1990). Why we still use our heads instead of formulas: Toward an integrative approach. Psychological Bulletin, 3, 296-310.

Meehl, P. E. (1954). Clinical versus statistical prediction. A theoretical analysis and a review of evidence. Minneapolis; University of Minnesota Press.

Meehl, P. E. (1986). Causes and effects of my disturbing little book. Journal of Personality Assessment, 50, 370-375.

Newman, D.A., Jacobs, R. R., & Bartram, D. (2007). Choosing the best method for local validity estimation: Relative accuracy of meta-analysis versus a local study versus bayes-analysis. Journal of Applied Psychology. 92, 1394-1413.

Schmidt, F. L., Shaffer. J. A., & Oh, I. S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personell Psychology, 61, 827-868

Viswesvaran, C., Ones, D. S., & Schmidt, F. L. (1996). Comparative analysis of the reliability of job performance ratings. Journal of Applied Psychology, 81, 557-574.

Viteles, M. S. (1925). The clinical viewpoint in vocational selection. Journal of Applied Psychology, 2, 131-138.

Lika säkert som att algoritmer i genomsnitt är bra mycket effektivare i jämförelse med människor att väga ihop information för att förutsäga händelser, är det lika säkert att människor väljer sig själva framför algoritmer, forskarna kallar det algoritmisk aversion.

Redan på 1950-talet (Meehl, 1954) visade forskning att den algoritmiska tolkningen är överlägsen den mänskliga när det gäller att förutsäga beteenden. Sedan har forskning visat att detta gäller på områden, för att nämna några, som att förutsäga studieframgång, kriminella beteenden, medicinska diagnoser, köpbeteende, och inte minst att förutsäga vem som är bäst lämpad för jobbet. Som Camerer and Johnson, 1991 uttrycker det.

”Expert judgments have been worse than those of the simplest
statistical models in virtually all domains that have been studied”

Algoritmen har, förutom en överlägsen effektivitet, en betydligt större kostnadseffektivitet jämfört med den mänskliga tolkningen, algoritmen är således både smartare och billigare. När en algoritmen väl är på plats så är kostnaden per kandidat i tex rekrytering avsevärt lägre jämfört med den mänskliga tolkningen där informationen för varje enskild kandidat så att säga tolkas separat. Genom dagens explosion av meta analyser, Big Data och Machine learning är jag övertygad om att morgondagens rekryterare kommer få förändrade arbetsuppgifter. Jag kallar det Evidensbaserat urval (EBU™), smartare och billigare.

Men varför väljer vi inte algoritmen framför människan. Forskaren Berkeley J. Dietvorst har undersökt detta i några publicerade studier (Tack till John Hermiz på Assessio som delade informationen med mig) som jag kommer sammanfatta nedan. För att sedan diskutera resultatet utifrån egna erfarenheter från undervisning och rekryteringsuppdrag.

I en studie (Dietvorst, Simmons, & Massey, 2014) visar det sig att personer förlorar förtroende för algoritmer i större utsträckning i jämförelse med om beslutsfattaren är en människa, även om det visar sig att människan gör fler fel i jämförelse med algoritmen, detta benämner forskaren algoritmsk aversion (motvilja, ovilja, antipati, avsmak, avsky). I flera experiment testade forskarna hur personer väljer mellan algoritmen eller sig själv eller någon annan expert som beslutsfattare. I samtliga fall förlorade personerna förtroendet för algoritmen så fort de upptäckte att den inte alltid gjorde rätt. Försökspersonerna hade betydligt större tålamod med människan som beslutsfattare trots att de visste att algoritmen i längden var ett bättre val

I en annan experimentell studie av Dietvorst, Simmons, & Massey (2016) visar det sig att försökspersonerna blev mer vänligt inställda till algoritmen om de fick vara med och ändra i algoritmen. Bland försökspersonerna räckte det att ändra ”lite” i algoritmen för att bli mer positiva.

Personer som fick vara med att påverka viktningen av informationen befann sig mer positiva till algoritmen i jämförelse med dem som endast fick samma algoritm som räknade ut resultatet utan att de kunde påverka algoritmen. Forskarna konstaterar att det i praktiken kan vara bättre att låta personer påverka algoritmen, även om det blir sämre, eftersom alternativet är att inte använda algoritmen och förlita sig på sin egen förmåga, detta skulle ändå leda till en sämre förutsägelse eftersom man helt skulle strunta i algoritmen.

Egna tankar

Studierna verifierar min egen empiri på området. Att applicera en logisk modell, dvs argumentera för att algoritmer vinner över människan med stöd i forskning visar sig endast fungera på en handfull individer.

Ett exempel från en lektion illustrerar aversionen mot algoritmer. Efter ca 15 minuter in i lektionen, där jag argumenterar för ett mekaniskt (läs algoritmiskt) tillvägagångssätt i rekrytering, räcker en student upp handen, och innan jag hinner avbryta min påbörjade mening säger studenten:

”Jag vet vad du kommer säga nu Anders, men jag kommer inte tro på vad du säger”

Och jag tror inte den negativa inställningen (läs aversionen) var till mig som personen utan forskningsresultatet som jag i nästa powerpoint bild skulle visa.

Den första studien ”make sense”. Generellt har de flesta människor svårt att förstå, känna, och ta till sig, även om det är logiskt, att algoritmer är bättre att använda för att fatta beslut istället för människans magkänsla.

Det finns dock situationer när människor litar på datorn. Tänk dig situationen när du kommer fram med en vagn med varor i din lokala ICA butik, du lägger upp varorna till hen som sitter i kassan, hen skannar in varorna och på displayen kan du läsa 1253,10 SEK. Inte skulle du ifrågasätta detta och säga att din erfarenhet säger dig att det snarare skulle landa på 1100 SEK, nej du litar fullt på algoritmen i datorn (som är en enkel summering av kronor) och slänger fram ditt kontokort. Du har även kvittot så du kan kontrollräkna om du vill (där lägger du också in ett nyttoperspektiv, är det värt att stanna upp kön för att du har en känsla av att något är fel).

Så när algoritmen ”nästan” aldrig gör fel och vi vet hur vi kan kontrollera den, då litar vi på algoritmen. Det är annorlunda när algoritmen ibland gör fel, som när svåra förutsägelser ska göras, tex i rekryteringar. Då förlitar vi oss gärna på den egna magkänslan, det kan hända när vi spelar på lotto (även om vi vet att det rent statistiskt nästan är omöjligt att vinna så satsar vi 50 kronor), och det händer i rekryteringar, när HR personal handskas med rekryteringsärenden. Inom spelberoende forskningen benämns detta som tankefälla (Jonsson et al, 2003), dvs en övertro på att vår egna tankar är de rätta om chansen att vinna, dvs träffa rätt (i spel är tankefällan, eftersom jag inte vunnit förut kommer jag vinna nästa gång). Rekryteringsbranschen idag är inne i en stor tankefälla, i detta fall bygger tankefelet på att jag är bättre än algoritmen, dvs en övertro på att människan kan slå algoritmen, medan all forskning pekar på motsatsen.

Den andra studien där försökspersonerna tillåts ändra i algoritmen gör mig dock lite tveksam till hur det kommer att fungera i praktiken. Låt oss ta ett rekryteringsexempel. Du som leverantör av en urvalstjänst har utvecklat en algoritm för att med ett personlighetstest förutsäga vilka som är bäst säljare. Validiteten är inte perfekt men du vet att den kommer slå människans förmåga att väga ihop samma resultatet. Uppdragsgivaren (kunden) hör vad du säger, men är tveksam. Då erbjuder du att kunden själv får bestämma (inom vissa frihetsgrader) hur informationen i personlighetstestet ska vägas samman, du tillåter med andra ord att det ändras i den algoritm som är den bästa möjliga givet den information du har för handen. Med andra ord du måste ljuga för kunden, eller åtminstone undanhålla viktig information från kunden för att få kunden att ”köpa” algoritmen. Är detta i linje med de etiska riktlinjer vi sätter upp, nej jag tycker inte det.

Men låt säga att vi ändå gör så, vi låter kunden ändra i algoritmen, vad händer då. För uppdragsgivare händer inte så mycket, eftersom validiteten i testet inte är så hög kommer den sannolikt att få ungefär lika duktiga säljare. Problemet är istället att kandidaten kan diskrimineras. Den senaste algoritmen jag utvecklade bygger på nästa 1 miljon människors resultat på personlighetstest. När jag bygger algoritmen vet jag att detta är den bästa möjliga sammanfogningen av information från testresultatet. När jag applicerar algoritmen får jag en rangordning av 50 olika kandidater, jag vill kalla 10 till intervju. Eftersom logiken säger att de med högsta sammanvägda resultatet ska kallas till intervju måste jag sätta ett gränsvärde. Detta innebär i sin tur att någon kommer på plats 10 och någon kommer på plats 11. Skulle jag låta kunden ”ändra” lite i ekvationen är sannolikheten att dessa personer byter plats. För kunden spelar detta ingen roll, kunden får intervjua ungefär lika duktiga säljare, men får kandidaten som sorteras bort blir den en negativ effekt när kunden tillåts ändra i algoritmen för att det ”känns bra” för hen.

Slutkommentar
I en klassisk studie av Dawes (1971) om studenturval vid ett universitet visas det sig att en mycket enkel algoritm (med betyg) slog expertgruppen av lärare, som förutom betyg hade en längre intervju samt kandidaternas referenser och vilken skola kandidaten hade gjort sin grundutbildning vid som underlag för beslut. Algoritmen visade sig både effektivare och billigare att använda som urvalsinstrument. Tror ni att de ändrade förfaringssätt? Svar Nej.

Att algoritmer slår människor är idag ett faktum. I en studie fann vi att en algoritm som tilläts träna lite på ett IQ test nådde upp till ett IQ runt 130, dvs bra mycket högre än en medelpresterande människa (Strannegård, Nizamani, Sjöberg, & Engström, 2013). Det formligen exploderar på detta område just nu. Matematiker, statistiker och psykologer jobbar nu tillsammans för att utveckla algoritmer som lär sig själva genom erfarenhet, detta kommer ändra spelplanen för många yrkesgrupper. En del yrken kommer försvinna och en del kommer ändra karaktär, det här är bara början.

Referenser

Dawes. R. (1971). A Case Study of Graduate Admissions: Application of Three Principles of Human Decision Making. American Psychologist, 26, 180-88.

Camerer., C. & Johnson. E .(1991). The process-performance paradox in expert judgment: How can experts know so much and predict so badly? In: K Anders Ericsson and J Smith (eds). Toward a general theory of expertise. (pp. 195-217). Cambridge University Press: Cambridge.

Dietvorst., Simmons., & Massey, (2014). Algorithm aversion: People erroneously avoids algorithms after seeing them err. Journal of Experimental Psychology: General.

Dietvorst., Simmons., & Massey, (2016). Overcoming algorithms aversion: people will use imperfect algorithms if they can (even slgihtly) modify them. Journal of Experimental Psychology: General.

Jonsson, J., Andrén, A., Nilsson, T., Svensson, O., Munck, I., Kindstedt, A., & Rönnberg, S. (2003). Spelberoende i Sverige – vad kännetecknar personer med spelproblem. Stockholm: Statens folkhälsoinstitut.

Meehl, P. E. (1954). Clinical versus statistical prediction. Minneapolis, MN: University of Minnesota.

Strannegård, C , Nizamani, A,R. , Sjöberg, A., and Engström, F. (2013). Bounded kolmogorov complexity based on cognitive models. Artificial General Intelligence, 5, 130–139.

Just nu söker vi deltagare till ett forskningsprojekt om personlighet vid Uppsala och Stockholms universitet. Deltagandet sker genom att besvara två frågeformulär som sammanlagt tar ca 40 minuter att genomföra. Inte nog med att du bidrar till forskning så får du som tack för medverkan en skriftlig återkoppling om din personlighet från ett kvalitetssäkrat internationellt personlighetstest.

Som tack för din medverkan skänks 50 kronor till Rädda Barnen.

Frågeformulären besvaras online och kräver inga förkunskaper. Som tack för medverkan får du en övergripande återkoppling om din personlighet i form av en skriftlig rapport direkt efter du genomfört testet. Återkopplingen kan användas i utvecklande syfte inför framtida yrkesliv eller för att öka din självinsikt.

Är du intresserad och vill medverka?

Maila Alex Tidgård och märk mailet ”Uppsats”:

alex.tidgard@assessio.se

Naturligtvis kommer forskningsresultatet att publiceras här på psychometrics.se under hösten 2017.

Observera. All data kommer att avidentifieras innan dataanalys och kommer inte kunna spåras till någon enskild individ. All data behandlas på gruppnivå.

Idag i DN uttalar jag mig om varför personlighetstest ska användas i början av urvalsprocessen. Nedan kommer förtydligande och en hänvisning till forskningsstödet i varje uttalande.

Det är ganska svårt att mäta personlighet av en mängd olika orsaker. Resultatet är ganska osäkert. Störst effekt får man om man använder ett personlighetstest tidigt i processen, som ett screeningsförfarande, säger Anders Sjöberg, psykolog och forskare vid Stockholms universitet.

Med svårt menar jag här att det behövs väldigt många frågor i ett test för att få reliabilitet i måttet på personlighet. Reliabiliteten sätter gränsen för hur valid en mätning är, i rekryteringssammanhang sambandet mellan personlighet och arbetsprestation. Eftersom personlighetsmätningen sällan kommer över .30 i validitet har den mest verkan om man så tidigt som möjligt adminstrerar ett personlighetstest.

Om ett test ska bedömas hur effektivt det är är det tre begrepp som behöver uppskattas, baskvot (BK), urvalskvot (UK) och validitet (val). Baskvot anger andelen goda presterar som skulle lyckas om rekryteraren slumpade in kandidaterna. Urvalskvoten anger hur många kandidater det är som testas i förhållande till hur mångas som ska väljas ut. Och validiteten anger sambandet mellan i detta fall ett personlighetstest och arbetsprestation. Sambandet mellan urvalskvot, baskvot och ett urvalsförfarandes validitet generar tillsammans det som forskarna Taylor och Russell (1939) kallar framgångskvot. Med framgångskvot avses den andel kandidater som efter en viss anställningstid visar sig klara jobbet på ett tillfredsställande sätt (över genomsnittet). Denna kvot bör naturligtvis vara så hög som möjligt; det ideala är att 100 % av de nyanställda klarar jobbet på ett bra sätt, vilket skulle motsvara en framgångskvot på 1.00. Taylor och Russell räknade med hjälp av en statistisk teori ut sambandet mellan urvalskvot, baskvot och framgångskvot i kombination med olika validiteter i urvalsförfaranden. Med hjälp av den så kallade Taylor-Russell tabellen (Sjöberg, Sjöberg & Forssén, 2007) kan man avläsa under vilka kombinationer av urvalskvot och baskvot som olika nivåer på validiteten genererar högst framgångskvot. Generellt kan man säga
att ju högre validitet, desto högre framgångskvot, men vid extremt låg eller hög baskvot, eller hög urvalskvot har en ökning av validiteten – som resonemanget ovan visar – begränsad effekt.

Om man tillämpar detta på ett exempel med 500 sökande till de 50 jobb som säljare, kan man räkna ut att urvalskvoten är 10 %, (50/500 = .10). Baskvoten är uppskattad till 50 % eller .50 (dvs om man slumpade in sökande skulle hälften överprestera. Om den urvalsmetod som används har en validitet på noll (validiteten kan variera mellan 0 och 1.00), kommer detta förfarande att generera en framgångskvot på 50%. I klarspråk innebär detta att hälften, 50 %, av de som anställs kommer att prestera bra, och att hälften inte kommer att bidra med en tillfredsställande arbetsprestation.

Det är dock sällan man låter slumpen styra vilka man anställer; oftast används någon form av systematisk urvalsmetod, som till exempel ett personligetstest som mäter målmedvetenhet. Validiteten i denna typ av test kan uppskattas ligga runt .20 (Sjöberg & Sjöberg, Näswall & Sverke, 2014) vilket enligt Taylor-Russell tabellen skulle generera en framgångskvot på 64 %. Således, genom att höja validiteten från 0 till .20 så identifierar man ytterligare en bra säljare till förmån för en mindre bra (.64 x 10). Använder man en urvalsmetod, tex ett begåvningstest med ännu högre validitet, kanske runt .40, får man en framgångskvot på 78% (se markering i tabellen). Inte så dumt för ett test som har en valditet på .40.

Validiteten är således viktig, men det gynnsamma förhållande har ett stort inflytande av den låga urvalskvoten. Om man istället höjer denna, vilket är fallet med tex second opinion, där urvalkvoten kanske är 50-100% istället för 10% så får vi inte samma nytta av validiteten. Istället för 78% rätt sjunker den till 63% rätt rekryteringar. Alltså ”störst effekt får man om man använder ett personlighetstest tidigt i processen, som ett screeningsförfarande”

Många använder testerna på fel ställen i rekryteringsprocessen, de används i slutet när de i stället borde användas i början. Om testerna används i början kan man göra bättre urval och få in personer som kanske annars diskrimineras.

Test är förhållandevis bra på att inte diskriminera eftersom det har visat sig att de inte mäter (beömer) diskrimineringsgrundade faktorer (kön, könsöverskridande identitet eller uttryck, etnisk tillhörighet, religion eller annan trosuppfattning, funktionsnedsättning, sexuell läggning och ålder). Test mäter istället personliga egenskaper som visat sig viktiga för att förutsäga arbetsprestation. Det betyder att om du använder test tidigt i processen kan jämställdheten gynnas. Att screena på CV och personlighetsbrev har visat sig öka diskrimineringen.

Jag rekommenderar aldrig att man ska använda testet som en second opinion i slutet av rekryteringen. Det kan kosta mellan 25.000 och 30.000 kronor per rekrytering, men det är bortkastade pengar om någon tolkar personlighetstesterna så sent i processen. Då är det bättre att slumpa. Slumpen diskriminerar åtminstone inte och det är bra mycket billigare jämfört med att testa, säger Anders Sjöberg.

Med samma argument som ovan avseende urvalskvoten är det bortkastad tid och pengar att införa ett test med så låg validitet som personlighetstest sist i processen. En metod som kostar mycket pengar bör ha en väldigt hög validitet för att göra nytta. Det har inte personlighetstest som mäter normalpersonlighet. Kan tänka mig att det att ett kognitvt test tillsammans med ett test som mäter avvikande tendenser (tex antisociala drag) kan ingå i en second opinion, men den låga urvalskvoten gör det ändå svårt att argumentera för ett sådan test när bara två kandidater återstår i urvalsprocessen. Med tanke på den sannolikt höga baskvoten så kan det vara bortkastat tid.

När det gäller slumpen så är den en underskattad metod vid urval. Då slumpen garanterat inte diskriminerar och den är väldigt billig att använda. All urvalsverksamhet handlar om att slå slumpen. I korrelationen mellan test och prestation (som kan variera mellan -1 och +1) anger vi hur långt från slumpen testet kan ta oss. Tyvärr finns det risk att vi sänker validiteten när vi använder testresultat som diskussionsunderlag inför ett urvalsbeslut (se nedan). Det är en stor risk att vi då tar in ovidkommande information som bidrar till diskriminering.

Han förklarar vidare: om två personer fått göra ett personlighetstest och den ena kandidaten har åtta poäng för en särskild egenskap och den andra personen har sju, innebär det inte att den som har åtta poäng nödvändigtvis är bättre. Det beror på att det finns en ganska hög felmarginal, vilket gör att den kandidaten som ligger lägre egentligen kan ha högst poäng.

Detta är reliabiliten i mätningen, dvs om varje kandidat skulle göra om testet så skulle resultatet variera. I personlighetstest finns det mätfel, dessa måste tas hänsyn till i tolkningen av 1 testpoäng. I ett test som kan variera mellan 0-10 är ofta felmarginalen 1-2 poäng, om du testar få personer sent i processen gör den höga baskvoten att det kommer vara liten skillnad mellan kandidaterna det finns då risk att små skillnader övertolkas.

Men om du gör personlighetstester på många personer i början av en process kommer du att få en del personer som har låga poäng och en del personer som har höga poäng inom en egenskap som till exempel emotionell stabilitet. Då kan du välja bort dem med extremt låga poäng, för de kommer sannolikt att få det jobbigt som chef, säger Anders Sjöberg.

Under gynnsamma förhållande, dvs låg urvalskvot kommer det finnas många testpoäng att välja på.

Om personlighetstester görs i slutet av en process ska rekryteraren inte titta på testresultatet förrän efter sista intervjun och väga samman de olika delarna var för sig, anser både Mattias Elg och Anders Sjöberg. Men det görs sällan, många använder personlighetstesterna som ett diskussionsunderlag.
– Då förstör man validiteten i testet, det blandas ihop med det som sägs under intervjun. Jag tror att 90 procent av testerna används fel. Men branschen har inga incitament att ändra sig eftersom man tjänar pengar på detta, säger Anders Sjöberg.

Det är inget fel att tjäna pengar på en god urvalsprocess. Men tyvärr så tolkas särskilt personlighetstest på ett felaktigt sätt.

Tolkning, eller sammanvägning, av testresultat (och all annan information som samlas in om kandidater i urvalssammanhang) kan ske på två väsensskilt olika sätt. Det vanligaste sättet att tolka testresultat på i praktiskt urvalsarbete är genom så kallad intuitiv tolkning (Viteles, 1925). Utgångspunkten för intuitiv tolkning är en kravprofil som definierar hur arbetsprestation manifesteras för det tilltänkta arbetet eller rollen. Denna typ av traditionella kravprofiler är oftast fastställda och uttryckta i kvalitativa termer, till exempel i beskrivningar av önskvärda egenskaper eller beteenden. Vid intuitiv tolkning ses testresultat i regel som en del av en helhet och det är personbedömaren (eller en grupp av personbedömare) som avgör om och på vilket sätt testresultat, och annan information, ska vägas in den sammantagna bedömningen. Det är också personbedömaren (eller gruppen) som genom en implicit mental process gör den faktiska sammanvägningen för varje kandidat och sätter denna i relation till kravprofilen. Processer som inrymmer intuitiv tolkning resulterar sällan i en explicit rangordning av kandidater. Intentionen är istället att de kandidater som genom ovanstående beskrivna process uppfattas passa eller ”matcha” kravprofilen bäst ska erbjudas anställning.

Det andra sättet att tolka eller sammanväga information på är genom så kallad mekanisk tolkning (Freyd, 1926). Detta förfaringsätt innebär:

• att det finns en i förväg fastställd specifikation för vad som ska tolkas – tidsperspektivet är centralt; specifikationen formuleras inte efter att informationen samlats in och den ska inte, utan explicit medvetenhet ändras efter hand.
• att specifikationen är explicit – alltså uttalad och dokumenterad så att intressenter kan ta del av den, och om så skulle ske; bevaka ändringar i specifikationen.
• att specifikationen beskriver logiken för tolkningen/samman-vägningen – det kan handla om en enkel summering av måtten man bestämt på förhand men det kan också vara avancerade algoritmer med ett stort antal komponenter baserade på evidens och där hänsyn tagits till i vilken utsträckning de olika informationsbitarna de facto överlappar i förhållande till kriteriet som ska prediceras.
• att tolkningen/sammanvägningen de facto görs mekaniskt – med till exempel en miniräknare eller motsvarande som garanterar konsistens över kandidater och som inte lämnar utrymme för subjektivitet eftersom det oundvikligen leder till att kandidaterna bedöms på olika premisser.

Vid mekanisk tolkning så är det alltså inte upp till den professionella personbedömaren att utifrån egen förmåga fastställa kravprofil (innehåll eller viktning), att väga ihop information (som till exempel testresultat och utfall från en intervju), matcha denna mot kravprofilen, eller att rangordna kandidater. Detta sker genom en standardiserad mekanisk process.

Redan på 1950-talet visade forskning att den mekaniska tolkningen är överlägsen den intuitiva när det gäller att förutsäga beteenden (Meehl, 1954), det vill säga att predicera exempelvis arbetsprestation. I en metaanalys fann Redan på 1950-talet visade forskning att den mekaniska tolkningen är överlägsen den intuitiva när det gäller att förutsäga beteenden (Meehl, 1954), det vill säga att predicera exempelvis arbetsprestation. I en metaanalys fann Grove, Zald, Lebow, Snitz & Nelson (2000) att av 136 studier, som ingick i analysen, så var 63 till den mekaniska tolkningens fördel, 8 studier visade att den intuitiva tolkningen var överlägsen, och 65 studier visade att metoderna leder till likvärdiga nivåer vad gäller prediktiv validitet.

Och det är just i skillnaden mellan det intuitiva och mekaniska förhållningssättet, inte i hur man viktar de olika informationsbitarna, som visat sig påverka validiteten allra mest (Sawyer, 1966; Grove etal., 2000). Det innebär att jakten på de perfekta vikterna, eller att förkasta mekanisk tolkning med hänvisning till att vikterna inte nått perfektion, saknar logisk grund. Forskning visar tydligt att givet samma information så leder mekanisk tolkning till högre prediktion jämfört med intuitiv tolkning (Kuncel, Klieger, Connelly & Ones, 2013).

Den mekaniska tolkningen har, förutom en överlägsen prediktiv validitet, en betydligt större kostnadseffektivitet jämfört med den intuitiva tolkningen (Highhouse, 2008). När en ekvationen väl är på plats så är kostnaden per kandidat avsevärt lägre jämfört med den intuitiva tolkningen där informationen för varje enskild kandidat så att säga tolkas separat.

Replikerbarheten och transparensen i den mekaniska tolkningen möjliggör dessutom systematisk utvärdering och därmed kontinuerligt arbete med förbättringar. Exempelvis kan viktningar förfinas och bli mer reliabla och valida i takt med att det empiriska underlaget ökar. Motsvarande är inte möjligt med den intuitiva tolkningen eftersom subjektiviteten hos bedömaren ständigt ändrar viktningen utan att ta hänsyn till kriteriet. Replikerbarheten och transparensen garanterar att kandidater jämförs på samma sätt utifrån samma premisser; att hänsyn tas till relevant information och inte minst att irrelevant information utesluts från tolkningen.

Replikerbarheten och transparensen möjliggör också spårbarhet. Inte minst i praktiska urvalssituationer är det lämpligt att kunna besvara frågan om varför en kandidat erbjuds tjänsten och inte en annan. Att logiskt kunna härleda processen som lett fram till beslutet och därmed på begäran kunna bevisa hur processen fram till beslutet gått till är en annan följd av spårbarheten.

Ovanstående kan tyckas vara självklarheter och är kanske även den intentionella essensen i intuitiv tolkning men faktum är att den intuitiva tolkningen har svårt att göra anspråk på dessa punkter. Med sitt ostandardiserade format ger den intuitiva tolkningen utrymme och möjlighet till att relevant information inte vägs in, att irrelevant information vägs in, att viktningen sker på ett mindre korrekt sätt, och den medför oundvikligen att bedömningsgrunderna varierar mellan kandidater. I praktiken leder det till medveten eller omedveten särbehandling av olika slag vilket ökar risken för diskriminering.

Trots den mekaniska tolkningens överlägsenhet så är den sällan implementerad fullt ut i praktiskt urvalsarbete; intuitiv tolkning utgör standardförfarandet inom praktiskt urvalsarbete idag även om intresset och efterfrågan för standardiserade och evidensbaserade lösningar så som mekaniska tolkningsmodeller har ökat på senare år.

Referenser

Mount, M. K., & Judge, T. A. (2001). Personality and job performance at the beginning of the new millennium: What do we know and where do we go next? International Journal of Selection and Assessment, 9, 9–30.

Barrick, M. R., & Mount, M. K. (2005). Yes, personality matters: Moving on to more important matters. Human Performance, 18, 359–372.

Borman, W. C., & Motowidlo, S. J. (1993). Expanding the criterion domain to include elements of contextual performance. In N. Schmitt, & W. C. Borman (Eds.), Personnel selection in organizations (pp. 71–98). San Francisco, CA: Jossey-Bass.

Freyd, M. (1926). The statistical viewpoint in vocational selection. Journal
of Applied Psychology, 4, 349–356.

Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S. (2014, August 18). A meta-analysis of the relationship between general mental ability and nontask performance. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/a0037547

Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 1, 19–30.

Highhouse, S. (2008). Stubborn reliance on intuition and subjectivity in employee selection. Industrial and Organizational Psychology, 1, 333–342.

Hunter, J. E., Schmidt, F. L., & Le, H (2006). Implications of direct and indirect range restriction for meta-analysis methods and findings. Journal of Applied Psychology, Vol. 91, No. 3, 594–612.

Hurtz, G. M., & Donovan, J. J. (2000). Personality and job performance: The Big Five revisited. Journal of Applied Psychology, 85, 869–879.

Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology, 98, 1060–1072.

Le, H., & Schmidt, F. L., (2006). Correcting for Indirect range restriction in meta-analysis: testing a new meta-analytic procedure. Psychological Methods, 11, 416–438.

Meehl, P. E. (1954). Clinical versus statistical prediction. Minneapolis, MN: University of Minnesota.

Mount, M. K., & Barrick, M. R. (1995). The Big Five personality dimensions: Implications for research and practice in human resources management. Research in Personnel and Human Resources Management, 13, 153–200.

Rotundo, M., & Sackett, P. R. (2002). The relative importance of task, citizenship, and counterproductive performance to global ratings of job performance: A policy-capturing approach. Journal of Applied Psychology, 87, 66–80.

Sackett, P. R., & DeVore, C. J. (2001). Counterproductive behaviours at work. In N. Anderson, D. S. Ones, H. K. Sinangil, & V. Viswesvaran (Eds.), International Handbook of Work Psychology (Vol. 1, pp. 145–164). London, UK: Sage Publications.

Salgado, J. F. (1997). The five-factor model of personality and job performance in the European Community. Journal of Applied Psychology, 82, 30–43.

Salgado, J. F. (2003). Predicting job performance using FFM and non-FFM personality measures. Journal of Occupational and Organizational Psychological, 76, 323–346.

Sawyer, J. (1966). Measurement and prediction, clinical and statistical. Psychological Bulletin, 66, 178–200.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262–274.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavian Journal of Psychology, DOI: 10.1111/j.1467-9450.2012.00956.x

Sjöberg, A., Sjöberg, S., & Forssén, K. (2006). Predicting Job Performance. Manual. Stockholm: Assessio International.

Taylor, H. C., & Russell, J. T. (1939). The relationship of validity coefficients to the practical effectiveness of tests in selection. Journal of Applied Psychology, 23, 565–578.

Viswesvaran, C., Schmidt, F. L., & Ones, D. S. (2005). Is there a general factor in ratings of job performance? A meta-analytic framework for disentangling substantive and error influences. Journal of Applied Psychology, 90, 108–131.

Viswesvaran, C., & Ones, D. S. (2000). Perspectives on models of job performance. International Journal of Selection and Assessment, 8, 216–226.

Viteles, M. S. (1925). The clinical viewpoint in vocational selection. Journal of Applied Psychology, 9, 131–138.