Dags att sluta citera Schmidt, F. L., & Hunter, J. E. (1998)?

Anders SjöbergUrvalsbeslut2 Comments

Intelligens bedömt med ett begåvningstest har sedan Hunter & Schmidts artikel från 1998 stått i centrum för en effektiv urvalsprocess om intresset är att förutsäga en god arbetsprestation. Test som mäter problemlösningsförmåga har därför en central plats i rekryteringen för professionella rekryterare. Anledningen att denna typ av test fungerar är att en förmåga att lösa dessa problem ökar sannolikheten till lärande på arbetsplatsen som i sin tur syns i en bra prestation på arbetet. Men visar ny forskning att sambandet mellan intelligens och prestation beror på hur arbetsprestation definieras. Nedan kommer jag beskriva alldeles ny forskning på området. Det är helt enkelt dags att sluta citera Hunter & Schmidts artikel från 1998, det var då, även om en hel del inte förändrats är det läge att gå vidare.

En vanlig missuppfattning är att Hunter & Schmidts artikel från 1998 är en meta analys, det är fel, det är en sammanfattning av de olika meta analyser som genomförts fram till 1998. Det är också fel att denna artikel handlar enkom om validitet, titeln på artikeln är ”The validity and utility…”, dvs validitet vägt med nyttan att använda olika metoder för att förutsäga arbetsprestation. Rationalen för att sätta intelligens som första val var 1998 den låga kostnaden för ett begåvningstest (ca 75 kronor per testning) tillsammans med den höga validiteten (r=.51). Tillsammans med ett integritets test, som mäter andra egenskaper än intelligens, föll pusselbitarna på plats med en validitet (r = .65). I jämförelse med tex intervju och assessment center var begåvningstest ett effektivt och billigt sätt att förutsäga arbetsprestation. Viktigt att komma ihåg var att en mängd olika beslut fick tas av författarna vilka resultat som kom att ingå i denna artikel. Alla dessa beslut finns redovisade under en av världens längsta fotnot, i anslutning till tabellerna i artikeln. Olika beslut att ta med olika resultat har kritiserats av en del forskare, men fram tills idag har ingen kunnat redovisa resultat som skulle ändra på slutsatsen att använda begåvningstest i rekrytering.

Ett problem med 1998 studien är att en del resultat bygger på metanalyser från en mängd olika studier som definierat arbetsprestation på olika sätt. Det är här viktigt att skilja på olika typer av prestation som text ”task performance” som omfattar den prestation i faktiska och konkreta arbetsuppgifter som bidrar till produktionen av organisationen varor eller tjänster som formellt erkänns av arbetsgivaren. I allmänhet motsvarar detta beteenden och handlingar som bidrar till fullgörandet av uppgifter och det ansvar som är förknippat med en viss uppgift och att utföra arbetet med god kvalitet.

En annan typ av prestation är Organisationsmedborgarskap (eng. Organizational Citizenship Behaviour, OCB) som definieras som alla de frivilliga och positiva beteenden som inte omfattas av Task Performance men som på olika sätt främjar organisationens mål (Organ, Podsakoff, & MacKenzie, 2006).

Denna typ av beteenden bidrar till en väl fungerande organisation genom att stödja den övergripande organisatoriska, sociala eller psykologiska miljön. OCB omfattar beteenden som inte direkt eller uttryckligen erkänns i organisationens formella belöningssystem.

Enkelt uttryckt, task performance är tydligt kopplat till problemlösning medan OCB kan handla om beteenden som inte tydligt är kopplat till individens kognitiva förmåga.

I ytterligare en aspekt av arbetsprestation görs distinktion mellan den ”goda” arbetsprestationen (som representeras av TP och OCB) och ”skadliga” eller kontraproduktiva beteenden ”Counterproductive Work Behavior” som är relaterade till arbetet eller organisationen. Den vanligaste och mest allmänt vedertagna definitionen av CWB är:

“any intentional behavior on the part of an organization member viewed by the organization as contrary to its legitimate interests” (Sackett & DeVore, 2001, s. 145).

CWB är således ett samlingsbegrepp för alla medvetna och avsiktliga beteenden utförda av en medarbetare inom en organisation och som på något sätt har en negativ inverkan på eller skadar organisationen eller dess anställda.

Tillbaka till begåvning. Den studie som ingick i 1998 artikeln som bestämde validiteten .51 utgick från en och samma meta analys. Denna meta analys innehöll 425 mindre studier med ett och samma begåvningstest (GATB) med kriteriet Task Performance. Idag, nästan 20 år senare, har vi vetskap om att arbetsprestation bör definieras av lika stora delar TP, OCB och CWB, och då ändras begåvningens kraft att förutsäga arbetsprestation. Som jag tidigare skrivit om visar den senaste meta analysen (Gonzalez-Mulé, Mount, & Oh, 2014), att begåvnings viktning blir lägre beroende på att begåvningens förmåga är mindre för OCB och obefintlig för att förutsäga CWB. I själva verket är sambandet mellan begåvning och TP starkare (.69), medan sambandet mellan begåvning och OCB är svagare (.31), medan sambandet mellan begåvning och CWB är obefintligt (.12), vid jämförelse med 1998 studien. Om TP, OCB och CWB utgör ett övergripande mått på arbetsprestation är sambandet mellan begåvning och prestation .42. Detta betyder att sambandet sjunkit för den övergripande prestationen med 18% och att skillnaden mellan TP och prestation är hela 39% i styrka.

Detta resultat betyder att begåvning för medelkomplexa arbeten bör ha 18% lägre vikt vid förutsägelse av arbetsprestation vid en jämförelse med resultatet från 1998 studien om man definierar prestation som en kombination av TP, OCB och CWB. I de fall man istället vill predicera enbart Task Performnce bör vikten öka med 17%.

En kritik som framförts om 1998 studien är att författarna blandar metoder med psykologisk begrepp. Ett intelligenstest (begrepp) är konstruerat att mäta en egenskap, vilket betyder att en meta analys med intelligens test går att generalisera till praktiken medan en tex en ntervju kan se väldigt olika ut beroende på vad syftet med intervjun är. Det blir därför svårare att generalisera att alla intervjuer har en viss validitet.

Åter till 1998 studien, Assessment Center (AC ) uppskattades 1998 att ha en validitet på .37 att jämföra med begåvning på .51. Tillsammans med det faktum att AC är en dyr historia ska det mycket till för att rekommendera AC i praktiken. Ett problem med detta estimat på .37 är att de studier som ingår i de studier som estimerade denna validitet förmodligen inte hade samma kriterier som etstimatet på .51 för begåvning. Sannolikheten är att det är inte TP som varit kriteriet utan snarare en kombination mellan TP, OCB och avsaknad av CWB samt olika ledarskapbeteenden.

I en precis färsk studie (Sackett, Shewash, & Keiser, 2017) testar författarna hypotesen att begåvning har en lägre validitet i jämförelse med AC om detta undersöks med ett bredare kriterie som inte bara mäter TP. Forskarna gör en jämförelse mellan begåvnings validitet och AC validitet genom att meta analysera 17 studier som på ett tydligt sätt har ett kriterie som bygger på vad AC ska förutsäga (tex påverka andra, stresstålighet, kommunikation, motivation). Även om problemlösning ingår även det som ett kriterie definieras prestation inte prestation som enkom Task Performance.

I motsats till Schmidt och Hunters (1998) meta-analys där validiteten uppskattades till .37 estimeras validiteten till .44 i denna studie. Begåvning däremot uppskattades betydligt lägre i denna studie (.22).

Författarna menar att den mest troliga förklaringen av detta resultat är att i den klassiska 1998 artikeln baserades .51 estimatet i begåvning först och främst på kriteriet task performance, när man istället breddar kriteriet att innehålla beteenden som inte direkt är kopplade till problemlösning sjunker sambandet för begåvning och prestation.

Detta resultat implicerar att begåvning ska vägas lägre i förhållande till assessment center övningar. Dock bör detta resultat kompletteras. Inte minst för att ett Assessment Center kan se väldigt olika ut från olika leverantörer. Jag skulle rekommendera de leverantörer som genomför Assessment Center att göra egna studier för att bekräfta hur viktigt begåvning är för att förutsäga prestation.

En annan aspekt som jag upptäckt i egna studier är att begåvning samvarierar med hur kandidater bedöms i assessment center. I en studie från Göteborg (Bergvall, 2012) fann vi att begåvning tillsammans med extraversion hade det högsta sambandet med den övergripande poängen kandidaterna fick i Assessment Center. Mitt förslag är att tidigt i processen innan assessment center screena med begåvningstest och personlighetstest som mäter extraversion för att få en större nytta i urvalsprocessen.

Slutsats
Det är dags att omvärdera vissa resultat av den klassiska 1998 studien. För att vara evidensbaserad i ditt urval bör ny forskning ligga till grund för tolkning av data för att hitta de bästa kandidaterna.

Referenser

Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S. (2014, August 18). A meta-analysis of the relationship between general mental ability and nontask performance. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/a0037547

Organ, D. W., Podsakoff, P. M., & MacKenzie, S. B. (2006). Organizational citizenship behavior: Its nature. antecedents, and consequences. Thousand Oaks, CA: Sage.

Sackett, P. R., & DeVore, C. J. (2001). Counterproductive behaviours at work. In N. Anderson, D.S. Ones, H. K. Sinangil, & V. Viswesvaran (Eds.), International Handbook of Work Psychology (Vol. 1, pp. 145-164). London: Sage Publications.

Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2017, May 22). Assessment Centers Versus
Cognitive Ability Tests: Challenging the Conventional Wisdom on Criterion-Related Validity.
Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/apl0000236

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, (2), 262–274.

Dela detta inlägg

2 kommentarer på “Dags att sluta citera Schmidt, F. L., & Hunter, J. E. (1998)?”

  1. Anders,
    jag frågade dig, om det är meningsfullt att kommentera, eftersom mina kommentarer aldrig tidigare har kommit med.

    Du lovade då att skärpa dig på den här punkten, men innan jag vill testa igen, så vill jag att du bekräftar det löftet. I annat fall, så det inte finnas en kommentarsfunktion, som visas.

    Må väl,
    Rolf

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.