Kompetensspecialister, kan man lita på dem?

Kompetensmodeller översvämmar bedömningsmarknaden. Den senaste jag kom i kontakt med var en kompetensmodell som kunde skilja på 60 olika kompetenser! Kompetenser kan enligt förespråkarna mätas med test eller till och med bedömas i intervjuer där kandidaten själv får prata om sina förmågor och kompetensspecialisten kan med en närmaste precis säkerhet bedöma hur kompetent kandidaten är för just det arbete hen söker.

Många företag hänvisar till en kompetensmodell. Innan man börjar urvalsprocessen diskuteras vilka kompetenser som är viktigast för att klara jobbat för att sedan kunna ”matcha bedömningsresultatet”. När det matchas så ska den berömda helheten bedömas, som defineras av kompetensspecialisten som ”samverkan mellan olika kompetensområden”  (vad nu det är?). Nedan ser du exempel på några kompetenser som brukar bedömas.

• Social förmåga
• Drivkraft
• Ledarskap
• Samarbetsförmåga

Det är inte ovanligt att kompetensspecialister hjälper uppdragsgivaren att bedöma vilka kompetenser som passar just för den specifika rekryteringen. Som jag tidigare har sagt är det så att dessa specialister inte är överens om vad som är viktigast vilket ger en låg reliabilitet (psychometrics, blogg, 2013) i de flesta fallen.

Men, låt säga att det går att rangordna kompetenserna tillförlitligt (hög reliabilitet), funkar kompetensbaserad rekrytering (validitet)? Nja, det är lite krångligare än så, för reliabilietet i bedömningen betyder inte att det automatiskt är validitet i bedömningen.

Kevin Murphy & Co (se referenser nedan) har i en rad artiklar kommit fram till följande:

• Alla bedömningar av olika kompetenser har ett positivt samband med varandra (dvs är du bra på en sak är du ofta bra på en annan sak, och tvärtom)
• Detta faktum betyder att det spelar det ingen roll hur kompetensspecialisterna rangordnar kompetenserna.

I en artikel publicerad 2013 genomförs en valideringsstudie där de bedömda kompetensernas samband med arbetsprestation beräknas utifrån tre olika scenarior:

1. Där kompetensspecialister (eng subject matter experts) plockar fram de viktigaste kompetenserna för jobbet
2. Där kompetensspecialister plockar fram de minst viktigaste kompetenserna för jobbet
3. Där kompetenserna slumpas fram i rangordning

Resultatet är helt enligt Murphy & Co hypotes, det spelar ingen roll vilket scenario du väljer, det blir i stort sätt samma validitet för scenario 1 (viktigast), 2 (minst viktigast) och 3 (slumpen).

Detta kan tycka ologiskt, men det kallas för Wilks theorem på statistiskt språk och går naturligtvis att härleda enligt formler (Murphy, Deckert, Kinney, & Kung, 2013).

I själva verket var det så i denna studie (Murphy et al, 2013) att det scenario som hade högst validitet var de kompetenser som valdes av en slumpgenerator! (inget bra säljargument för kompetensspecialister)

Det positiva i det hela är att det spelar ingen roll vad kompetensspecialisten säger, så länge kompetenserna har ett positivt samband sinsemellan och ett positivt samband med kriteriet, det blir samma personer du kommer att välja. Men att betala för att kompetensspecialisten ska bedöma vad som är viktigast kan bli en kostsam historia, att singla slant är betydligt billigare än att ägna tid och pengar att diskutera vad som är viktigast, men som en HR person sa till mig för några år sedan.

– Jag hör vad du säger Anders, men det känns så bra.

Referenser

Murphy, K. R. (2009a). Content validation is useful for many things, but validity isn’t one of them. Industrial and Organizational Psychology: Perspectives on Science and Practice, 2, 453–464.

Murphy, K. R. (2009b). Is content-related evidence useful in validating selection tests? Industrial and Organizational Psychology: Perspectives on Science and Practice, 2, 517–526.

Murphy, K. R. (2009c). Validity, validation and values. The Academy of Management Annals, 3, 421–461.

Murphy, K. R., Dzieweczynski, J. L., & Zhang, Y. (2009). Positive manifold limits the relevance of content-matching strategies for validating selection test batteries. Journal of Applied Psychology, 94, 1018–1031.

Murphy, K. R., Deckert. P. J., Kinney, T. B., & Kung. M. C. (2013). Subject matter expert judgments regarding the relative importance of competencies are not useful for choosing the test batteries that best predict performance. International Journal of Selection and Assessment, 21, 419-429