Därför fungerar inte psykologiska test vid urvalsbeslut

Anders SjöbergOkategoriserade6 Comments

Validitet handlar om att rätt beslut ska tas utifrån tolkningen av ett testresultat. Även om ett test har goda psykometriska egenskaper (i form av statistiska mått) leder detta inte per automatik till att rätt beslut tas, eftersom själva resultatet lämnar öppet för en hel del tolkning.

Testresultatet kan tolkas på två väldigt olika sätt. Det första tillvägagångssättet, och det särdeles vanligaste sättet att tolka testresultat på, är så kallad intuitiv tolkning. Utgångspunkten är ofta en mer eller mindre otydlig kravprofil för hur arbetsprestation manifesteras i det tilltänkta arbetet. Testresultatet bedöms av personbedömaren i ljuset av denna kravprofil1, och när beslutet tas, är det i praktiken de sökande som bäst passar profilen som får arbetet. Testresultatet ses som en del av en helhet (den berömda helhetstolkningen) och personen som tolkar testresultatet avgör om och hur olika testpoäng ska vägas in vid beslut. Det andra sättet att tolka testresultat på är så kallad mekanisk tolkning. Denna tolkningsmetod bygger på att det finns en i förväg utvecklad evidens-baserad tolkning av testpoäng som anger sannolikheten att en viss individ ska prestera bättre på arbetet än andra. Denna beräkning som oftast baseras på en statistisk ekvation (tex regressions-analys), tillämpas på varje enskilt testresultat. Istället för att vid varje tillfälle väga ihop resultatet mot en given kravprofil, grundas tolkningen på en väl beforskad vägning av olika testpoäng. Det har länge varit känt att den mekaniska tolkningen är överlägsen den intuitiva tolkningen, trots detta tolkas testresultatet fortfarande med den intuitiva metoden. Nedan kommer några exempel på vår egen förmåga att tävla mot den mekaniska tolkningen (sammanställningen är hämtat från en avhandling; The Validity of Judgment: Can the Assessor Learn to Outperform the Equation? av  David M. Klieger).

  1. people ignore base rates or other prior probabilities (representativeness heuristic discussed by Tversky & Kahneman, 1974; basing judgments on absolute frequencies rather than relative frequencies as discussed by Einhorn & Hogarth,1978).
  2. people cognitively retrieve only those instances that most easily come to mind (Tversky & Kahneman, 1974) and overly weight negative evidence (Wright, 1974)
  3. people integrate information more slowly than do machines (Yntema & Torgerson, 1961; Wright, 1974)
  4. the behavior of people who succeed primarily due to good luck rather than sound judgment sometimes is naively held up as a model on which to base one’s own behavior (Kahneman & Klein, 2009)
  5. people habitually mistake self-fulfilling prophesies for sound judgment strategies (i.e., Pygmalion effect, Hawthorne effect, treatment effects, or wicked environments; Kahneman & Klein, 2009; Hogarth, 2001; Einhorn & Hogarth, 1978; Camerer, 1981a)
  6. unlike mechanical processes, people engaged in clinical data combination possess a selfimage which they may seek to preserve at the cost of predictive precision and accuracy (e.g., confirmation bias; Phillips & Gully, 2008)
  7. judges might believe (correctly or not) that they will not be held accountable for their mistakes, which might make them less careful (Kahneman & Klein, 2009)
  8. even if people can at least effectively instruct, revise, and override an algorithmic process (e.g., a machine running regression equations), their vigilance over the algorithmic process may decline over time (the automation bias discussed by Kahneman & Klein, 2009, and Skitka, Mosier & Burdick, 1999, 2000); and unlike mechanical processes, people often need corrective feedback to avoid engaging in erroneous, after-the-fact explanations (hindsight biases) that cause them to become overconfident in their judgment-making ability, and such corrective feedback is frequently absent (Fischhoff, 1975; Einhorn & Hogarth, 1978; Hogarth, 1981) orinadequate (Hammond, 1971; Einhorn & Hogarth, 1978; Balzer et al., 1989).

Forskningen ger klart besked, använd inte helhetstolkningen som ett argument vid tolkning av psykologiska testpoäng, den fungerar inte.

Anders Sjöberg

Dela detta inlägg

6 kommentarer på “Därför fungerar inte psykologiska test vid urvalsbeslut”

    1. Hej Kent,

      Jag syftar på alla test som finns på marknaden som föreslår att personbedömaren själv ska tolka testpoängen.

      Anders

  1. Hej,

    De mänskliga interaktionerna på en arbetsplats är mycket komplexa skeende, vilket vi ofta förbiseer och fokusera i huvudsak på den person, som skall anställas. Den mänskliga anpassningsförmågan är också stor, vilket gör att trots alla missar i tolkning mm, så lyckas ju trots allt de flesta/ Agneta

    1. Hej,

      Det är sant det du säger att interaktionerna på en arbetsplats är komplexa och för de allra flesta fungerar anpassningen . Dock i en urvalsprocess är det meningen att finna den som anpassar sig bäst, psykologiska test kommer en bit på vägen, men forskningen säger att när du som personbedömare själv ska lägga in värderingar med vägledning av testresultat, så blir det tyvärr bara sämre beslut än att du helt enkelt följer en mekanisk tolkningsprocedur, dvs du bedömer individen efter den poäng han/hon har på testet tillsammans med relevant information som inte har med testresultatet att göra. Om den informationen är tillförlitlig får du högre träffsäkerhet men du kan aldrig ge testresultatet högre träffsäkerhet med egna tolkningar.

      Anders

  2. Hej!

    Jag upplever att psykologiska tester ger bra vägledning förutsatt att den som skall tolka resultatet har utbildning i hur testet fungerar och vad man skall tänka på vid tolkningen (resultat som påverkar varandra t.ex.), gärna också ha en beteendevetanskaplig utbildning i botten… Självklart är det också så att ett test aldrig kan bli helt vattentätt eftersom det är svårt att tolka på ett fullständigt objektivt sätt. Att vara medveten om att man har sina "glasögon" på är ju en bra början för att kunna ifrågasätta sin egen tolkning och bli mer "objektiv" i sin bedömning. Tester bör ses som ett komplement till andra urvalsverktyg och kan ungöra grunden för en djupintervju där man kan undersöka resultatet av testet närmare.

    Jag har bra erfarenhet av tester, förutsatt att de används rätt.

    Hälsningar

    Maria

    1. Hej Maria,

      Jag håller med dig att test inte ger hela svaret, det som mitt inlägg aviserar är att vara försiktig med att försöka förstå testresultatet, det har visat sig att människan är bra på att finna information, men när informationen består av en större mängd viktar ofta personbedömaren systematiskt fel, tex viktar upp negativ information eller bortser från relevant information om kandidaten, detta oavsett vilken utbildning han/hon har.

      Anders

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.