För några veckor sedan fick jag frågan om vilken reliabilitet som gäller för intervjuer vid urval. Som jag tidigare nämnt så säger sig många sig använda strukturerade intervjuer för att det har en hög validitet, dvs förutsäger arbetsprestation. En övre gräns för validiteten i detta sammanhang är den sk interbedömarvaliditeten, dvs hur överensstämmelsen är mellan två olika intervjuer/intervjuare. Om reliabiliteten är låg så är inte två intervjuare överens och då är resultatet opålitligt. Ur ett kandidatperspektiv är det naturligtvis ohållbart att ett urvalsbeslut är beroende vilken intervjuare man får.
Redan 1995 genomfördes en metanalys som berör reliabiliteten i anställningsintervjun. Det övergripande resultatet visade på en enorm variation i reliabilitet med ett medelvärde på .70 (.39-1.00). I detta värde ingick alla typer av urvalsintervjuer, men det intressantaste resultatet är att intervjun som de flesta använder sig av – en ostrukturerad sådan – hamnade så lågt som .37. Den strukturerade intervjun (med fasta frågor och svarsalternativ) låg på .59. Den mest frekvent använda intervjun (i denna studie) med en frågebank där intervjuaren själv väljer frågor och där följdfrågor tillåts, hamnade på .56. Detta torde vara det som många hänvisar till är en strukturerad intervju. Så slutsatsen är att det trots den goda intentionen hos rekryterare när de använder sig av kompetensbaserade strukturerade intervjuer är att reliabiliteten är tämligen låg. Det positiva som tas upp i forskningen är att det går att träna upp förmågan, att reliabiliteten ökar om du använder dig av fler intervjuare och kombinerar informationen mekaniskt (inte diskuterar resultatet av intervjuerna). Även en noggrann arbetsanalys ökar reliabiliteten. Detta resultat måste naturligtvis diskuteras i ljuset av kostnaden för intervjun, och ibland måste det ifrågasättas om intervjun ska användas för urvalsbeslut?
För ett antal år sedan var jag inblandad i en studie där jag beräknade reliabiliteteten mellan två oberoende intervjuare vi urvalet till läkarlinjen vid Karolinska Institutet, sammanlagt 544 intervjuer utfördes i skarpt läge. Den övergripande reliabiliteten landade på .77, vilket är väldigt bra. Det var när flera frågeområden summerades till ett övergripande mått på lämplighet för att komma in på utbildningen som denna höga reliabilitet framkom. Däremot när vissa specifika egenskaper bedömdes sjönk reliabiliteten betänkligt. Nedan visas resultatet för de specifika egenskaperna.
Intellektuell förmåga=.47
Stresstålighet=.49
Empati=.56
Social förmåga=.52
Mognad=.55
Motivation=.62
Detta resultat visar att det är förmodligen är så att vi överskattar vår förmåga att skatta specifika egenskaper hos kandidaten i intervjun, men om vi tränas ordentligt kan vi vara överens på en övergripande nivå vem som är bäst lämpad för jobbet/utbildningen. Reliabiliteten gäller dock endast rangordningen av kandidater, validiteten i detta sammanhang handlar om intervjun verkligen kan förutsäga vem som blev bäst läkare, det är en annan match.
Referenser
Conway, R, Jako, R., & Goodman, D (1995). A meta-analysis of interrater and internal consistency reliability of selection interviewa. Journal of Applied Psychology, 80, 565-579.
Sjöberg, A. (2004). Psychometric properties of interview ratings and self reports. Are we measuring getting along and getting ahead? Presented at the Hogan Assessment Annual Convention, Prag. Aug 2004.
Hej!
Bara för att vara petig så att folk inte missuppfattar din intressanta text. Du avslutar med att blanda in validitet, att avgöra vem som är bäst lämpad. Det är väl en annan sak? En intervju med låg validitet i händerna på bedömare med hög reliabilitet har fortfarande låg validitet.
Ett enkelt sätt att avgöra om ett test är seriöst, förvånansvärd ofta läser jag att leverantörer redovisar högre validitet än reliabilitet.
Hur är det studier på validitet, tar man hänsyn till interbedömar reliabiliteten där? Dvs om en strukturerad intervju har validitet .5, utgår man då från en reliabilitet på 1.0 eller har man tagit hänsyn till att reliabiliteten kan vara lägre för de som var med som bedömare i studien?
God fortsättning!
Leif
Tilläg efter Leif Andersson synpunkter.
Reliabiliteten gäller dock endast rangordningen av kandidater, validiteten i detta sammanhang handlar om intervjun verkligen kan förutsäga vem som blev bäst läkare, det är en annan match.
Hej Leif,
Detta är inte lätt att reda ut. Med tanke på att intervjun inte är ett psykologiskt begrepp (dvs alla intervjuer mäter delvis olika saker) så är det svårt att särskilja på reliabilitet och validitet. Tyvärr är det som redovisas i mitt inlägg överskattat, för i 99% i fallen så är det bara 1 bedömare och då sjunker reliabiliteten avsevärt. Och du har helt rätt, en intervju med låg validitet i händerna på bedömare med hög reliabilitet har fortfarande låg validitet. Föreslår följande steg när det gäller att utvärdera intervjun.
1. Gör en ordentligt arbetsanalys
2. Ta reda på om du verkligen fångar det som avses i intervjun
3. Uppskatta reliabiliteten (detta ger den övre gränsen på validitet, som i intervjuer verkar vara .67
4. Uppskatta validiteten i din egna intervju
Och det är ett klokt sätt att kolla om det är oseriöst om någon säger sig ha en validitet som är högre än validiteten eftersom det är omöjligt. Jag försöker förtydliga.
Gott nytt År
Anders
Tack för snabbt och tydlig svar, Anders!
Pliktverket gjorde en studie på sina strukturerade intervjuer och fick bra validitet, uppåt 0.6 om jag minns rätt.
De arbetar hårt med interbedömarreliabiliteten genom samintervjuer, observationer av varandras intervjuer med mera,.
Plus att de har tydliga urvalskriterier och en strukturerad bedömning utan "magkänsla".
Undrar hur många rekryteringskandidater som möter motsvarande intervjuare.
Gott Nytt!
Leif
Sorry men denna studie är för mig en hörsägen, har inte sett den överhuvudtaget, vet du någon som har den så tar jag gärna referensen.