Personbedömning, senaste forskningsresultatet för praktiker

Ett återkommande tema på psychometrics har varit jämförelsen mellan mekanisk och klinisk tolkning av testpoäng. Enligt min mening lär sig testanvändare att använda tex personlighetstest på ett felaktigt sätt. Istället för att använda testpoängen, som är validerad, är det upp rekryteraren att själv tolka testpoängen tillsammans med ytterligare information som bedömaren har om kandidaten, sk klinisk tolkning Jag har hört hårresande resonemang från personbedömare där man helt enkelt ska vända på skalor, beroende på situationen (en etta kan ibland tolkas som ett åtta etc etc). Denna aktivitet kallas ofta personbedömning, där bedömaren är den centrala komponenten. Det konstiga är att det är alltid diskussion om testets validitet, aldrig om bedömarens validitet. Nu har en artikel publicerats där det sker jämförelser med vad som händer när bedömaren gör sin tolkning av testpoäng, och det är inte rolig läsning för alla konsulter som tjänar pengar på att lägga sin hand på personlighetsprofiler, detta resultat borde vara en väckarklocka för alla testförsäljare som har fördjupningskurser på sin personlighetsinventorier och kunder som betalar pengar för dessa kurser.

Min uppfattning, sedan många år, är att det är bortkastad tid och bortkastade pengar att använda personlighetstest i bedömningen om man inte helt överlåter tolkningen till en statistisk formel. Att som personbedömare ”tolka” profiler tillsammans med annan information sänker enligt min mening reliabiliteten i bedömningen som i sin tur sänker validiteten. Det är allmänt känt att personlightetstest ungefär ger en validitet runt .20-.30 i urvalssammanhang när uppgiften för personbedömaren är att förutsäga arbetsprestation (Sjöberg, Sjöberg & Näswall, 2012). Det är inte lika hög validitet som intellligenstest, där validiteten för medelkomplexa arbetet ligger runt .60 (Sjöberg, Sjöberg & Näswall, 2012). Men till trots sin relativa låga validitet är det ofta värt att använda ett personligetstest om det tolkas mekaniskt tillsammans med annan information om kandidaten. Däremot vet vi med säkerhet att går bedömaren ifrån den standardiserade testpoängen och ger sin egen tolkning sjunker validietetn dramatiskt (kolla gärna Sjöberg et al, 2014, där har ni viktningen av Big Five och Intelligens).

Nu har det kommit ny forskning som jämför hur en klinisk tolkning fungerar om man använder eller låter bli att använda sig av olika standardiserade metoder. Låt oss titta närmare på en nyligen publicerad meta analys av ämnet personbedömning (Morris, Daisely, Wheeler, & Boyer, 2014). I denna studie jämförs validiteten i personbedömningen när olika instrument ingår som underlag för den sk holistiska, kliniska bedömningen. Sammanfattande kan man säga detta,

Bedömningen blir bättre om man i den kliniska bedömningen inkluderar ett intelligenstest

Bedömningen blir INTE bättre om man i den kliniska bedömningen inkluderar ett personlighetstest (detta ger stöd för ovan resonemang)

Bedömningen blir INTE bättre om man i den kliniska bedömningen inkluderar ett standardiserat sätt att läsa CV

Bedömningen blir INTE bättre om man i den kliniska bedömningen inkluderar en intervju

Nu är det så att i de allra flesta fall jag känner till används således standardiserade metoder på ett felaktigt sätt. Istället för att evidensbaserat tolka testpoängen så slängs det bort enorma resurser på att ”lära” sig tolka bedömningsinformation. När det gäller personlighetstest är det faktiskt så att tendensen är att det blir bara sämre om dessa blandas ihop med annan information med den kliniska metoden. Nedan ser du ett diagram som visar hur du minskar validiteten om du tar med ett standardiserat instrument eller intervju i din kliniska bedömning.

Slutsatsen som författarna drar är

”As such, the consistency of the assessment battery may be less important than the structure of the judgment and information integration process. If assessors are not using information in a consistent fashion, it does not matter if the input is the same” (sid13)

I praktiken betyder detta resultat.

• Använd standardiserade instrument och metoder, men överlåt tolkningen och viktningen av data till en statistisk formel.
• Och naturligtvis, ta alltid med ett intelligenstest i din bedömningen, till och med när du sysslar med klinisk tolkning så funkar det fortfarande.
• Intervjun är klart överskattad
• Som kund kan du sluta betala för den kliniska tolkningen, summera bara ihop dina testpoäng och välj de som har högst poäng.

Referenser

Morris, S.B., Daisley, R.L., Weehler, M., Boyer, P. (2014). A meta analysis of the relationship between individual assessments and job performance. Journal of applied psychology, Online publication.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology, 53, 368–373.