Varför gör alla strukturerade intervjuer?

Anders SjöbergOkategoriseradeSkriv en kommentar

Intervju är den klart mest frekvent använda metoden vid urval. Ofta får jag höra av kollegor i branschen att de gör strukturerad intervju och att forskningen minsann säger det är bra, för det har meta-analyser visat. När det sägs är det två påståenden som bör få stöd. För det första, att metoden verkligen är en strukturerad intervju, på samma sätt som forskningen menar, och att den meta analys de refererar till kan fungera som stöd för beviskedjan.

Schmidt & Hunters (1998) meta analys över 85 års forskning är den mest citerade meta analysen om urvalsmetoder någonsin. Många refererar till den men få har läst den. Och det är förståeligt då den är späckad av forskningsinformation som många svimmar av bara de öppnar första sidan. Istället har (och det har jag själv bidragit till) förenklingar gjorts i form av enkla diagram och powerpointbilder som personer i branschen visar och drar slutsatser om, slutsatser som inte för utvecklingen framåt avseende evidensbaserade urvalsmetoder. En sådan slutsats är att den strukturerade intervjun (som alla påstår sig göra) är lika valid som ett begåvningstest; .51 i validitet för båda metoderna. Den ostrukturerade intervjun (som ingen längre verkar genomföra) har en validitet på .37.

Först och främst var inte Schmidt & Hunters artikel 1998 en ny meta analys när den kom, det är en sammanställning av en mängd olika meta analyser där författarna, som alltid i dessa sammanhang, behövt ta svåra beslut vilka koefficienter som ska redovisas. Bakom varje siffra finns det en mängd andra siffror som kommer från själva orginalanalysen. De beslut om vilka siffror som ska ingå i tabellen finns sammanfattat under tabellen i en enorm fotnot, en fotnot som få bryr sig om.

Nu tillbaka till påståendet att den strukturerade intervjun som alla verkar göra har en validitet på .51. Där kan man läsa att denna siffra är hämtat från McDaniel, Whetzel, Schmidt & Maurer (1994). Men där finns massa siffror! och Schmidt & Hunter har valt, vilket inte argumenteras varför, den siffra som är högst. Det är den validitet som är från de studier som var designade just för att undersöka validiten i en specifik intervju, alltså studier som redan i designen var forskningsrelaterade. Att Schmidt & Hunter har valt denna siffra är inte fel på något sätt, men när personer pratar om detta som en självklarhet blir det naturligtvis intressant att utröna om det finns några andra resultat vi behöver känna till så att uppdragsgivare inte “köper grisen i säcken”?

Hela meta analysen baseras på ett urval av 25 244 individer, medan de siffrorna som finns publicerad 1998 har endast 531 individer för den ostrukturerad och 3069 individer för den strukturerade intervjun. Om vi istället leker med tanken att istället dela upp hela urvalet i strukturerad intervju och ostrukturerad, ja då blir det lite andra siffror att ta hänsyn till, .44 för den strukturerade intervjun och .33 för den ostrukturerade intervjun.

Ok, men vilka siffror ska man lita på. Ja, så är det är med forskningen, DET BEROR PÅ! Forskningen kring detta område kommer aldrig att nå till sanningen, det ligger i sin natur att all bra forskning är ett ständigt vridande på argument för och emot saker och ting. I sak ändrar inte ovanstående resonemang något, den strukturerade intervjun verka vara lite mer träffsäker i jämförelse med den ostrukturerade intervjun. Men det som ytterligare behöver belysas är att dessa resultat senare har beräknats om, med en bättre statistisk metod som bättre tar hand om problemet med beskuren spridning i denna typ av studier (Le & Schmidt, 2006), dvs det faktum att de personer som ingår i studierna som ligger till grund för dessa mått på validitet ofta är pre-selekterade på psykologiska egenskaper som mäts med metoderna. Och då är de korrigerade måtten på valliditet, .44 (för den strukturerade intervjun) och .41 för den ostrukturade intervjun, en försumbar skillnad i kriterierelaterad validitet. Sålunda stämmer inte argumentet längre att den strukturede intervjun är “så mycket bättre”.

Men betyder det att vi helt enkelt kan strunta att strukturera våra intervjuer, slänga bort våra intervjumallar och ägna oss åt löst sammanfattande samtal i en anställningsintervju? Knappast. Förmodligen är det så att de intervjuer som forskarna kallar för ostrukturerade i själva verket är strukturerade och de strukturerade intervjuerna är helt styrda intervjuer som i stort sätt istället kan besvaras i enkät med fasta svarslaternativ.

När sedan anställningsintervjun jämförs med tex begåvningstestning där den kriterierelaterade validiteten ligger på .65 (för medelkomplexa arbeten; Schmidt, Shaffer. & Oh, 2008) måste hänsyn tas till att begåvningstesten som används för att mäta begåvnining på marknaden (tex BasIQ och Ravens matriser) har hög korrelation, dvs oberoende vilket test vi använder så mäter de ett och samma begrepp (generell begåvning). Anställningsintervjuerna som genomförs på företag X och Y har vi inte en aning hur väl de överenstämmer i mätningen, och inte heller hur de är relaterade till de intervjuer som genomförts i forskningen. Ett begåvningstest mäter ett psykologisk begrepp som vi hyfsat väl känner till (IQ), anställningsintervjun har ingen innehållvaliditet utan att en empirsik undersökning genomförs. Därför blir påståendet att “vi genomför strukturerade intervjuer och då vet vi att det har en viss validitet”, innehållslöst

För att få ett innehåll i ett sådant påstående som kan vägleda en uppdragsgivare i val av leverantör kan man gå till ISO 10667 och kontrollera vilka krav som ställs på både uppdragsgivare och leverantörer av anställningsintervjuer. Dock säger inte ISO 10667 hur saker ska göra, utan bara vad som ska göras. Nedan kommer några saker som leverantören av anställningsintervjun bör göra;

1) Genomför en studie där reliabiliteten kartläggs, är reliabiliteten god (låt säga över .70) kan det anses att intervjun uppfyller kravet på att kvala in som en mer eller mindre strukturerad intervju.

2) Genomför en valideringsstudie, där poängsättningen på intervjun jämförs mede ett mått på prestation (tex bedömning av av närmaste chef korreleras med poängen på intervjun).

1 är ett “krav” och 2 är ett “bör”, tycker jag.

Och detta är de frågor som uppdragsgivaren ska ställa innan bedömningstjänsten upphandlas.

1) Hur har ni bedömt tillförlitligheten i er intervju?

2) Hur vet jag som uppdragsgivare att den intervju som ni utför har ett samband med det jag vill förutsäga?

Kan inte leverantören svara på detta, välj inte den leverantören. Kan leverantören svara upp mot dessa krav så köper ni tjänsten.

Referenser

McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Mauer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. Journal of Applied Psychology, 79, 599-616.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research fi ndings. Psychological Bulletin, 2, 262–274.

Schmidt, F. L., Shaffer. J. A., & Oh, I. S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personnel Psychology, 61, 827-868.

 

 

Dela detta inlägg

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *