Forskningsresultat och praktik inom urval

Anders SjöbergOkategoriserade8 Comments

schmidtfEn av de mest framgångsrika forskarna inom urvalspsykologi, Frank Schmidt, skrev 2006 i The Industrial-Organizational Psychologist, the TIP, följande om urval.

“Some years back I realized that personnel selection had become a churning arena of constant irrationality. There is a huge disconnect between what we know to be true from research and what people pretend to be true. There is a serious corruption of scientific truth caused by legal and ideological intrusions into the field of selection and the failure of the profession to respond appropriately to these intrusions” (sid  27).

Och jag håller med. Forskningen talar för sig själv men praktiken säger något annat. När resultatet från 1 392 mekaniska bedömningar jämfördes med 1 156 intuitiva bedömningar som gjorts avseende förmågan att förutsäga arbetsprestation, fann forskarna att den intuitiva tolkningen gör så att minst 50% av den prediktiva kraften förloras (Kuncel et al, 2013). Sammanfattningsvis kan man säga att; om du använder ett urvalsystem med reliabla och valida bedömningar förlorar du 50% av effektiviteten i dina urvalsbedömningar om du till slut gör en helhetsbedömning av dina resultat som bygger på din intuitiva förmåga. Istället säger forskningen att du ska fatta beslut genom att låta en statistisk ekvation stå för din sammanvägning av information som ligger till grund för urvalsbeslutet.

Nu när finns det forskningsresultat som sammanställts för jämförelse mellan den mekaniska och intuitiva modellen vad gäller förmågan att förutsäga prestation på arbetet, och resultatet pekar tydligt i en riktning, så argumenteras ändå livligt att detta resultat inte stämmer, se tex Psykologtidningen. Jag tycker det är bra att det sker en diskussion för detta är en viktig fråga inte minst utifrån att urvalsbeslut kan vara en orsak till diskriminering i arbetslivet.

lennart-sjöbergMen det finns även de forskare som inte kan acceptera detta resultat. I ett nyhetsbrev säger professor Lennart Sjöberg detta.

”Arne Trankell visade i en omfattande studie redan på 1950-talet att kompetenta bedömare kunde ge bättre resultat än en statistisk formel för sammanvägning av testresultat”

Problemet är att detta publicerades 1959, det är idag 2013, och Lennart, forskningen går framåt. Arne Trankells studie var bra på den tiden, den är publicerad i en högst ansedd tidskrift (samma tidskrift som Kuncel et al, 2013). Men med dagens kunskap om meta analyser (vilket inte fanns då) skulle den aldrig få publicerats. Det är tråkigt att en seriös och kunnig forskare och professor som Lennart inte läser på innan han uttalar sig, och framför allt tråkigt för de praktiker som vill ha råd från forskning hur man ska göra bästa möjliga urval. Tyvärr tror jag att Arne Trankells studie, rent historiskt, har fått alltför stor plats inom den svenska urvalsarbetet. Och det blir patetiskt att studien dyker upp på detta sätt som ett argument i debatten, 54 år senare!

Referenser

Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013, September 16). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034156

Trankell, A. (1959). The psychologist as an instrument of prediction. Journal of Applied Psychology, 43, 170-175.

 

 

Dela detta inlägg

8 kommentarer på “Forskningsresultat och praktik inom urval”

  1. Anders ondgör sig över att jag åberopade Trankells studie från 1959 som stöd för att psykologbedömningar inte kan eller bör ersättas av mekaniska formler. Men det är bara tidsavatåndet han med sådant eftertryck nämner, inte alls varför det skulle vara troligt att det som gällde på 50-talet om test och psykologbedömningar inte gäller idag. Trankells studie är utmärkt och väl värd att läsa än idag, jag ville påminna om den. Å andra sidan har Anders rätt när han hänvisar till moderna meta-analyser har visat att Trankells resultat oftast inte replikeras. Frågan är vilken praktisk slutsats man kan dra. Kan psykologerna ersättas av IT-hjälpmedel? Det tror jag inte alls, även om alla kan ha viss hjälp av dem. Kruxet är att många – ofta unika – omständigheter måste tas med i bedömningen av varje individ. Meta-analyserna opererar på en abstrakt nivå, och det kan leda helt fel att tillämpa dem på individuella fall. Det är därför vi har, och måste ha, mänskliga bedömare som utifrån erfarenhet och sunt förnuft sammanställer informationen. Vid t ex en chefstillsättning tror jag få, om ens några, skulle vara beredda att låta en mycket hög intelligens slå ut betänkligheter grundade på en sökandes personlighet. Att kalla det för ”evidensbasering” när man ger prioritet åt enkla statistiska samband är att missbruka termen. Evidensbasering innebär rimligen att besult och bedömningar grundas på vetenskap och beprövad erfarenhet, inte att beslut grundas på enkla formler.

    Lennart Sjöberg

    1. Lennart står på sig att den statistiska formeln inte slår ut en subjektiv sammanvägning av samma information, intressant då har han en hel del som talar emot honom, bland annat alla de studier som finns redovisade i Kuncel et al (2013). Lennart har rätt i att bedömaren kan lägga till information, men den informationen ska in i samma formel som tex testresultaten. Jag talar inte om unika omständigheter och det gjorde inte heller Paul Meehl på 50-talet när han första gången presenterade data som talade för "statistical prediction". En formel kan naturligtvis inte upptäcka "unika omständigheter". Psykologer ska bidra med psykologisk kunskap, men informationen ska vägas ihop av en formel, och felet är just att detta inte görs i större utsträckning. Det går att väga in allt möjligt, men det blir evidensbaserat om du har en empirisk studie som stödjer att det predicerar det du vill förutsäga. Själv har jag tagit fram ekvationer som väger in erfarenhet som en faktor tillsammans med både intelligens och personlighet, no problem. Det finns hur mycket forskning som helst om detta. Att Trankells studie skulle vara så himla bra vet jag inte om jag håller med, den kavlade inte in att ingå i metaanalysen i alla fall (Kuncel et al, 2013).

  2. Har läst din blogg ett tag och har stor respekt för innehållet. Men detta inlägg känns bara som påhopp på person. Läste nyhetsbrevet du åberopar och i sammanhanget drar jag inte alls de slutsatser du gör om var Sjöberg dä står i frågan. Gör jag inte heller utifrån svaret Lennart gör ovan.

    Fortsätt gärna problematisera och reflektera kring urval och olika forskningsrön. Men sluta med personangreppen, det känns helt uppriktigt bara fånigt.

    Ser fran emot nya spännande inlägg!

  3. Tack för berömmet, avseende min tolkning av nyhetsbrevet är det naturligtvis min egen, Lennart uttalar sig gärna om mycket, och jag håller med honom i det mesta han skriver, men det är viktigt att uttalande som inte får stöd kan kommenteras. Jag tror inte att Lennart tar det personligt, det var inte meningen som ett angrepp mot honom, det var snarare ett angrepp mot en hel rekrytering/bedömningsbransch som ALDRIG ifrågasätter sina egna metoder och processer, och citeras forskningen sker det ofta på ett slarvigt sätt. Och framförallt, alla är välkomna på denna sida att kommentera mina inlägg.

    Anders

  4. Anders och jag har troligen olika uppfattningar om hur långt man ska gå i "automatisering" av beslutsproceuren, och vilken roll psykometriken ska ha. Anders talar om att allting måste bakas in i en "formel", jag anser att den mänskliga bedömaren ska få hjälp av psykometriska instrument men inte ersättas av dem. Jag beklagar om diskussionen uppfattas som personligt riktad, om så är fallet (jag tror det inte) kan jag nog stå ut med det. Det är faktiskt kul om vi kan få igång en debatt om dessa och andra frågor!

    Lennart Sjöberg

    1. Tack för svar Lennart, kul att det blir diskussion om detta, jag håller med om att bedömaren ska få hjälp av psykometriska instrument, men bedömaren ska inte lägga sig hur olika testresultat vägs samman till ett beslut.

      Anders

  5. Om det är sant som Lennart Sjöberg (såvitt jag förstått) menar, att expertbedömningar är bättre, dvs mer rättvisande, än mekaniska bedömningar undrar jag vad som händer med detta faktum i de metaanalyser som gjorts? Varför visar sig denna verklighet inte i metaanalyserna? Var i beräkningarna går det fel, hur – exakt – leder dessa beräkningar till att motsatsen visas, dvs att mekaniska bedömningar är mer rättvisande? Det borde gå att visa på bristerna i metoden.

    Om metaanalyser opererar på en alltför abstrakt nivå för att kunna visa på faktiska och verkliga samband undrar man om det är bättre med enstaka studier av det slag som Trankells studie är ett exempel på. Om dessa studier kan antas vara bättre på att återspegla verkligheten har vi ju alla de enskilda studier som ingår i Kuncel et al's metastudie (och Meehls metastudie och Groves metastudie) att förlita oss på. De visar på den mekaniskt grundade bedömningens överlägsenhet. Samma fråga uppstår här: varför visar sig inte den verklighet som Lennart Sjöberg vittnar om i alla dessa enstaka studier? Och om både enstaka studier och metaanalyser inte lyckas visa på verkliga förhållanden har vi allvarliga problem inom den psykologiska forskningen.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.