Malin Holm och Björn Sahlberg, säger sig vilja diskutera vad personbedömning är, och ändå är det i deras andra inlägg publicerad 8 januari 2013 på www.psykologtidningen.se svårt att utläsa vad målet med deras bedömningar är. De skriver att ”en förståelse behövs av individens relativt stabila fungerande…och en matchning av denna mot befattningen”. Vi utgår ifrån att de bedömningar Holm och Sahlberg talar om syftar till att predicera arbetsprestation.
Sedan deras första inlägg har en ny metastudie på området publicerats i Journal of Applied Psychology (Kuncel, Klieger, Connelly, & Ones, 2013). Denna metaanalys visar (liksom Meehl gjorde 1954 och Grove et al. gjorde 2000) att mekanisk sammanvägning har högre prediktiv validitet, det vill säga predicerar arbetsprestation bättre, än så kallade klinisk bedömning.
Det finns ingen anledning att vara missnöjd med den prediktiva validitet vi uppnår med rätt val av test och rätt viktning av resultaten. Denna validitet slår traditionella urvalsmetoder som ostrukturerade intervjuer, och, som sagt, klinisk bedömning av ”experter”. Det finns inget forskningsstöd för att bedömningsexperter gör bättre sammanvägningar än icke-experter. Tvärtom finns det psykologisk forskning som tittat på just detta och kommit fram till att de inte gör det (för exempel på sådan forskning se Camerer & Johnson, 1991, eller varför inte Kahneman, 2012).
Har Holm och Sahlberg något forskningsstöd för att skickliga experter gör mer valida sammanvägningar än vad som kan uppnås med mekanisk sammanvägning? Om experter verkligen är olika skickliga inställer sig frågor som: Hur lär man sig denna skicklighet, hur mäts/valideras den och hur redovisar man olika experters skicklighet/validitet inför kund? Om dessa frågor inte besvaras blir det omöjligt för nyblivna bedömare att medvetet bygga upp rätt kompetens och varken kunden eller den som blir bedömd kan avgöra om en bedömning håller rimlig kvalitet.
Sahlberg och Holm hänvisar till Daniel Kahnemans bok Att tänka snabbt och långsamt. Vi undrar om de faktiskt har läst boken? Den är bland annat en svidande vidräkning med ”experter” och ett av kapitlen handlar om ”The illusion of validity”. Kahneman menar att vi kan göra prediktioner endast i miljöer där vi får i princip omedelbar feedback. Detta är inte fallet i urvalssammanhang. Vi får inte feedback på om och hur mycket vår prediktion förbättrar urvalet jämfört med om vi inte bidragit med vår expertbedömning om vi inte gör systematiska utvärderingar av precis detta. Sådana utvärderingar visar som vi sett att de holistiska expertbedömningarna sänker validiteten jämfört med om man bara använt enskilda testresultat eller – ännu bättre – vägt ihop dem på ett standardiserat sätt. Enligt Kuncel et al. sänker klinisk sammanvägning av bedömningsdata validiteten med 25 procent!
Holm och Sahlberg resonerar om hur bedömare till skillnad från matematiska formler kan ”matcha mot kontext” och ”mot befattning”, men utan att ange hur detta går till. Rent teoretiskt kan det fungera att matcha mot befattning och kontext, men som i all evidensbaserad praktik behöver det operationaliseras, det vill säga, beskrivas exakt hur detta går till.
Mycket av det som Holm och Sahlberg anför är sådant som redan har besvarats i debatten. Detta beror oftast på att debattörerna inte läst på vad forskningen visar. Forskningen inom området är, som vi redan har visat, solklar. När det gäller datainsamlingen bör den ske på ett strukturerat och standardiserat sätt, d v s samma slags information ska samlas in för varje enskild kandidat som söker jobbet. Detta torde inte vara något som Holm och Sahlberg har en annan uppfattning om. Forskningen visar emellertid även att kombinationen av de olika delarna information ska ske på ett standardiserat sätt.
Varje informationskälla som samlas in ska ha en empiriskt bevisad korrelation med det bedömaren vill förutsäga. Om det inte finns en visad korrelation mellan det du bedömer (prediktorn) och det kriterium som du vill förutsäga (till exempel arbetsprestation) bör det inte ingå i datainsamlingen.
När all information som bevisats ha en korrelation med kriteriet har samlats in tar den professionella bedömaren ett steg tillbaka och låter den framtagna informationen vägas samman enligt en på förhand framtagen statistisk formel. I denna statistiska formel kan mycket väl kontext och relationer (operationaliserade förstås), intervjuresultat såväl som resultat från test vägas in. De bedömare som har den bästa formeln kommer därmed vara de ”skickligaste” bedömarna, oavsett utbildning, träning eller tilltro till den egna bedömningsförmågan. Det är detta sätt som forskningen visar har störst träffsäkerhet. Bedömningsexperten ska inte sammanväga informationen, experten ska bedöma vad som ska ingå i formeln.
SKRIBENT
Maria Åkerlund, Anders Sjöberg och Sara Henrysson Eidvall, experter inom urvalspsykologi, både forskning och praktik.
Bra att ni håller fanan högt för evidens i testvärlden!
Tack Leif