Ny sammanställning av metaanalyser och hur det påverkar det praktiska urvalsarbetet

Som jag skrivit om tidigare är min rekommendation att inte fullständigt stirra sig blind på Schmidt & Hunters meta analys från 1998. En hel del nya meta analyser har visat att forskningsresultat förändras och min poäng är att praktiken alltid måste följa de senaste forskningsresultaten.

Sista dagen på året 2021 publicerades en ny sammanställning av alla meta analyser som finns tillgängliga avseende urvalsmetoders prediktiva validitet som kommer delvis ändra på kartan avseende hur urvalsmetoder bör användas i urvalsprocesser (Sackett mfl, 2021).  Men innan jag redovisar en del av resultatet bör några saker sägas.

Få som citerar och hänvisar till den tidigare artikeln publicerad 1998 har läst hela artikeln. Det är oftast endast en kolumn i hela artikeln som används som argument för att bygga en urvalsprocess. Delvis mitt fel, för jag gjorde redan 1998 en förenklad figur av den kolumnen (tillsammans med Åsa Magander på dåvarande Psykologiförlaget) som sedan har återgetts om och om igen i tidningar och powerpoint presentationer. Nu innan den nya artikeln når ut så vill jag gärna försöka förklara närmare hur resultatet bör tolkas. Så innan jag presenterar det det jämförande resultatet mellan åren 1998 och 2021 skulle jag be att ni läser igenom följande punkter innan ni tittar på resultatet (i graf och kolumner).

  • En hel del av data i denna artikel bygger INTE på ny data utan snarare på att forskarna har räknat om gamla resultat med en delvis ny metod för att hitta mer exakta estimat. 
  • Kriteriet i denna artikel liksom den tidigare artikel från 1998 fokuserar på övergripande arbetsprestation, i de allra flesta fallen bedömd av den närmaste chefen. Idag vet vi att det är här viktigt att skilja på olika typer av prestation som ”task performance” som omfattar den prestation i faktiska och konkreta arbetsuppgifter som bidrar till produktionen i organisationen, och Organisationsmedborgarskap (eng. Organizational Citizenship Behaviour, OCB) som definieras som alla de frivilliga och positiva beteenden som inte omfattas av Task Performance men som på olika sätt främjar organisationens mål, och ”skadliga” eller kontraproduktiva beteenden ”Counterproductive Work Behavior, CWB” som är relaterade till arbetet eller organisationen. Denna distinktion görs EJ i denna artikel.
  • Denna artikel behandlar explicit varken kostnadsaspekten av vad som administreras i urvalsprocessen eller hur många sökande det är till en tjänst (sk nyttoberäkningar). Under vissa förhållanden kan det vara fördelaktigt att välja billigare alternativ med lägre validitet framför mer kostsamma metoder med högre validitet. Detta behandlades i artikeln från 1998.
  • Denna artikel behandlar INTE tillägs-validiteten (eng incremental validity), dvs vad som händer när man kombinerar två eller flera metoder, tex arbetsprov och begåvningstest. Detta genomfördes i Schmidt & Hunter (1998) men inte i denna artikel.
  • När resultatet tolkas nedan är det viktigt att skilja på metoder som baseras på en noggrann arbetsanalys (tex kunskapsprov) och de metoder som mäter generella psykologiska egenskaper (tex begåvning).
  • När det gäller strukturerad intervju avses EJ kompetensbaserad intervju (unikt fenomen på den svenska marknaden). En strukturerad intervju avser att samma frågor ställs till alla kandidater, utan olika följdfrågor och att alla svar (som har med urvalsbeslutet att göra) poängsätts på samma skala. Varje fråga ska kunna länkas till den kunskap eller färdighet som krävs i arbetet baserat på den tidigare utförda arbetsanalysen. Det som i Sverige benämns struktured intervju betraktar jag i de flesta fallen som ostrukturerad intervju, dvs liknande frågor med följdfrågor med poängsättning som endast delvis är kopplat till en gedigen arbetsanalys.
  • Systematisk insamlad biodata används, vad jag vet, knappast i Sverige. I USA benämns det som ”biodata inventories” och består av skriftliga frågor som standardiserat besvaras av kandidaten om tex ledarskap, personlighet, intresse, kunskap och färdighet. Det gemensamma med alla frågor är att det handlar om tidigare beteenden på arbetsplatsen. Även biodata är starkt knutet till arbetsanalysen.
  • När det gäller intresse så har man delvis bytt fokus, i denna artikel avses matchningen mellan individens intresse och det aktuella arbetet. Det skiljer sig från den tidigare sammanställningen där det handlade om hur mycket intresse individen hade av alla olika intressen. Således även här krävs en ordentlig arbetsanalys.
  • Vissa av metoderna har ej, enligt forskarna kunnat replikeras då det redan 1998 saknades tillräcklig information om studierna som ingick i de enskilda meta analyserna. Detta är bl.a.; år av utbildning, medarbetarbedömning (eng peer ratings) provanställning, referenstagning (eng reference checks), grafologi och ålder. Så dessa metoder för urvalsbeslut vet vi inte något om i dagsläget.
  • Nedan resultatredovisning är inte en komplett redovisning, det finns fler resultat bl.a. om emotionell intelligens och personlighet som jag kommer återkomma till i senare blogginlägg. 

Jämförande resultatet (1998 mot 2021)

Det tydligaste resultatet ser ni i grafen och den högra kolumnen i tabellen. Av 11 metoder är det 9 där validiteten sjunkit. Den största skillnaden är arbetsprov (-0,21) tätt följt av begåvning (-0,20) och ostrukturerad intervju (-0,19). Det är endast två metoder som visar på en högre validitet i jämförelse med för över 20 år sedan, det är intresse (+0,14) och biodata (+0,03). Både intresse Nye m.fl. (2017) och biodata Speer m.fl. (2021) baseras på nyligen publicerade meta analyser långt efter 1998.
Den största anledningen till skillnaden (förutom de nya meta analyserna) är, menar forskarna, att tidigare studie överkorrigerat för beskuren spridning. Beskuren spridning uppkommer när man räknar samband baserat på samma urval som redan använt metoden för urvalsbeslut. Eftersom många av studierna sannolikt inte haft en kraftig beskuren spridning så har man överskattat validiteten. Det syns tydligt i validiteten för begåvning som man 1998 fann ha samma validitet som strukturerad intervju (0,51). Däremot har det inte varit samma problem med den strukturerade intervjun, den sjunker inte så kraftigt som begåvning.

Vad betyder detta resultat för praktiken? 

Den tydligaste indikationen är att de metoder som har högst validitet mäter arbetsbeteende. Den strukturerad intervjun, kunskapsprov, biodata och arbetsprov (och även assessment center som kommer lite längre ned i rangordningen) har ofta en gemensam nämnare, dvs vad kandidaten kan, vad har kandidaten gjort innan och hur bra har kandidaten lyckats med det. 

Det är positivt eftersom då vet vi att det viktigaste kanske inte är att välja en specifik metod av dessa utan snarare analysera, hur kan vi till minsta möjliga tid/kostnad kan ta reda på detta? En annan fördel är att dessa kan kombineras, tex kan en anställningsintervju även innehålla kunskapstest, ett prov på att göra jobbet (arbetsprov) och frågor om hur väl man lyckats på ett tidigare jobb (biodata). 

En nackdel är att det i de allra flesta fallen krävs erfarenhet hos de som söker arbetet, vi kan ju inte testa kunskapen hos någon som ska lära sig något (tex urvalet till polishögskolan). Vi kan inte heller ställa frågor hur någon lyckats med något om det inte finns någon erfarenhet (en person som söker chefsposition som aldrig varit chef). 

Ytterligare en utmaning är att med dessa metoder är att det krävs det en ytterst gedigen arbetsanalys, då varje roll kan ha specifika utmaningar och de frågor som ställs i antingen skriven form eller muntlig form bör vara specifikt arbetsrelaterat till just det jobbet. Här finns inga genvägar, här krävs grundlighet av någon expert som kan jobbet, eller flera som utfört jobbet under en längre tid som vet vad som krävs. 

Jag ser inte att detta kan utföras av en rekryteringsexpert ensam, snarare ska rekryteraren samla in standardiserad information från experter och sammanställa denna information som grund för utformning av intervjun/kunskapsprovet/arbetsprovet/biodata. En annan utmaning är kostnaden. För att utveckla dessa metoder krävs både en arbetsanalys, en utprövning av metoden inklusive en lokal valideringstudie för att se om det funkar.

Begåvningstest och personlighet (i detta fall målmedvetenhet och intergritetstest) och intresse mäter psykologiska egenskaper hos kandidaten. Förutom intresse har dessa sjunkit i validitet. Det är naturligtvis en stor brist att vi trott innan att begåvning har haft en betydligt högre validitet för medelkomplexa arbeten. När det gäller komplexa arbeten höjs validiteten, det är viktigt att komma ihåg. Uppskattnigsvis för mer komplexa arbeten så ligger validiteten på ca .40 (men det får kommande meta analyser undersöka).

Finns det fog för att använda dessa psykometriska metoder? Fördelen med dessa mer psykologiska faktorer är att de ofta är billigare i förhållande till mer arbetsrelaterade metoder. Mycket tyder på tex att nivåer av begåvning och centraltendenser av personlighet går att generalisera till många jobb och yrken. Tex mer komplicerade yrken kräver högre begåvning och stressutsatta arbeten kräver känslomässig stabilitet, så arbetsanalysen blir inte så central här. Eftersom det tar mindre tid att administrera dessa metoder bör de lika tidigt i processen när de obligatoriska kraven på tjänsten uppfyllts. Däremot är det tveksamt att använda dessa psykologiska variabler sent i urvalsprocessen. En annan fördel är att dessa metoder ej kräver någon erfarenhet hos de sökande, således lämpar sig dessa metoder bra när man ska lära sig nya saker eller anpassa sitt beteende till ett nytt jobb, en del kallar det för potential att lyckas.

Detta var det första blogginlägget om denna artikel, men det finns flera intressanta resultat om tex personlighet som jag kommer ta upp i nästa inlägg.

Referenser

Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2021, December 30). Revisiting Meta-Analytic Estimates of Validity in Personnel Selection: Addressing Systematic Overcorrection for Restriction of Range. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/apl0000994

Nye, C. D., Su, R., Rounds, J., & Drasgow, F. (2017). Interest congruence and performance: Revisiting recent meta-analytic findings. Journal of Vocational Behavior, 98, 138–151. https://doi.org/10.1016/j.jvb.2016.11.002

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.https://doi.org/10.1037/0033-2909.124.2.262

Speer, A. B., Tenbrink, A. P., Wegmeyer, L. J., Sendra, C. C., Shihadeh, M., & Kaur, S. (2021, October 21). Meta-Analysis of Biodata in Employment Settings: Providing Clarity to Criterion and Construct-Related Validity Estimates. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/apl0000964

Publicerat av Anders Sjöberg

Anders Sjöberg är docent i psykologi och har lång erfarenhet av bedömningsmetoder in arbetslivet. Anders har utvecklat psykologiska bedömningssystem som används av både privata och offentliga organisationer. Anders har publicerat böcker och vetenskapliga artiklar inom organisationspsykologi och psykologisk metodutveckling.

Delta i diskussionen

3 kommentarer

  1. Tack för utmärkt genomgång av urvalet! Du refererar till ”beskuren spridning” som är intressant och nytt för mig. Jag undrar om du har några litteraturkällor som jag kan fördjupa mig i det som du kan rekommendera?

Lämna en kommentar

Din e-postadress kommer inte publiceras.

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.