Intuitiv tolkning eller mekanisk tolkning av bedömningsresultat? Nya forskningsresultat

Anders SjöbergOkategoriserade21 Comments

Information om kandidater som söker ett arbete kan vägas ihop av bedömare på två olika sätt. Väljer man intuitiv tolkning, även kallad magkänsla eller helhetsbedömning, så försämras den prediktiva förmågan med i snitt 50% när arbetsprestation ska förutsägas. Delar av detta resultat presenterades redan 2008 på en konferens i USA. Igår publicerades en uppdatering av studien i Journal of Applied Psychology.

Det har länge varit känt att den mekaniska tolkningen är överlägsen den intuitiva tolkningen på en mängd olika områden inom den kliniska psykologin, dock är forskningsresultaten få om vilka konsekvenser det blir av att de allra flesta fortsätter att använda den intuitiva helhetsbedömningen inom urval och rekrytering.

Nu finns det forskningsresultat som sammanställts för jämförelse mellan den mekaniska och intuitiva modellen vad gäller förmågan att förutsäga prestation på arbetet. Det är forskarna Nathan R. Kuncel, David M. Klieger, Brian S. Connelly och Deniz S. Ones som som igår publicerade en meta analys i frågan, där samtliga studier som finns publicerade jämför den mekaniska och intuitiva sammanvägningen av information för att ta urvalsbeslut. När resultatet från 1 392 mekaniska bedömningar jämfördes med 1 156 intuitiva bedömningar som gjorts avseende förmågan att förutsäga arbetsprestation, fann forskarna att den intuitiva tolkningen gör så att minst 50% av den prediktiva kraften förloras. Sammanfattningsvis kan man säga att; om du använder ett urvalsystem med reliabla och valida bedömningar förlorar du 50% av effektiviteten i dina urvalsbedömningar om du till slut gör en helhetsbedömning av dina resultat som bygger på din intuitiva förmåga. Istället ska du fatta beslut genom att låta en statistisk ekvation stå för ditt beslut vilken kandidat du ska välja.

Forskarna konstaterar att detta trots att bedömarna i studien är experter på urval, samt att i de flesta studier har experterna haft mer information om kandidaterna i jämförelse vad som vägts ihop av en statistisk formel. Med andra ord, när vi överlåter tolkningen till en person att subjektivt tolka resultatet av en personbedömning (istället för att ha en förutbestämd poängsättning av samma kunskaper, begåvning, personlighet etc) förloras upp till hälften av förmågan att plocka ut rätt person till jobbet. Då har vi ändå inte berört kostnaden för den intuitiva tolkningen i jämförelse med den mekaniska. Den intuitiva tolkningen tar längre tid och kostar därför betydlig mer i jämförelse med i en statistisk formel. Forskningsresultat  kommer snart publiceras hur mycket du tjänar i kronor och ören på ett evidensbaserat urval med mekanisk sammanvägning av resultatet.

Kolla gärna in Evidensbaserat urval™.

Referenser

Kuncel, N. R., Klieger, D., Connelly, B., S. & Ones, D. S. (2008, April). Mechanical versus clinical data combination in I/O psychology. In I. H. Kwaske (Chair), Individual Assessment: Does the research support the practice? Paper presented at the annual meeting for the Society for Industrial and Organizational- Psychologists, San Francisco, CA.

Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013, September 16). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034156

 

 

 

Dela detta inlägg

21 kommentarer på “Intuitiv tolkning eller mekanisk tolkning av bedömningsresultat? Nya forskningsresultat”

  1. Den intuitiva tolkningen kan ju stå för så mycket mer än en siffra. Det ligger väl nära till hands att anta att båda varianterna är lämpliga vid en personbedömning. Det framtida samspelet borde ju vara mer lämpligt att bedöma genom människokännedom. Att relatera till färdiga formulär kan ju alltid ge en hänvisning till kompetensen hos individen. Kan det verkligen vara förutsägbart att veta prestationen så exakt? Det är ett intressant område men arbetsuppgifterna förändras fort och då kan man behöva ytterligare kompetens som man inte kan läsa av i en statisk formel. Visst kan man relatera till egenskaperna men de behöver ju inte vara statiska över tid, enligt min tolkning. Sedan handlar det ju om hur bra intuitiv förmåga en individ har, det som kallas sjätte sinnet. Och då menar jag både hos rekryteraren och kandidaten. Tid är ju egentligen väldigt relativt om man ser resultatet på längre sikt.

    Beteendevetare Marianne Elfving

    1. Hej Marianne,

      Jag tar dina frågor/påståenden i ordning och besvarar dem efter förmåga.

      1. Den intuitiva tolkningen kan ju stå för så mycket mer än en siffra

      Svar: Den intuitiva tolkningen kan på sin höjd fungera som en beskrivning, men det har visat sig att den beskrivningen (den intuitiva tolkningen) inte kan förutsäga något mer än en siffra. Enligt min mening måste man skilja på vad som är beskrivning och vad som är förutsägande. En liknande situation kan vara en patient som har fått en dödlig diagnos, inte skulle det vara intressant för hen att få den dödliga sjukdomen i grundlig mening beskriven, istället vill patienten få redan på sannolikheten att om hen överlever eller inte.

      Inte lika dramatiskt, förstås, är detta som händer i en urvalssituiation, arbetsgivaren vill veta sannolikheten att kandidaten presterar bra på jobbet (1) eller inte (0). Kandidaten kan vara intresserad av en beskrivning, och bedömaren, enligt mig, är ibland ”bara för mycke” intresserad av beskrivningen istället för att sköta uppgiften att leverera en sannolikhetsbedömning för uppdragsgivaren.

      2. Det ligger väl nära till hands att anta att båda varianterna är lämpliga vid en personbedömning.

      Svar. Den intuitiva tolkningen av en mängd information är mindre lämplig för beslutsfattande i jämförelse med den mekaniska tolkningen, med andra ord när bedömaren beskriver sina kandidater för uppdragsgivaren minskar validiteten i beslutet. Så, NEJ, det går inte att kombinera, inte när information ska vägas ihop. Däremot kan informationen komma från intervju, men poängen är att även den informationen ska väga ihop mekanisk. Så all valid information ska vägas ihop mekaniskt.

      Det framtida samspelet borde ju vara mer lämpligt att bedöma genom människokännedom.

      Det finns inte belägg för att någon yrkesgrupp skulle vara bättre än någon annan att väga ihop information. Däremot torde de som har kunskap om psykologi vara ytterligt skickliga på att bedöma vissa egenskaper hos individer, om det är så, ska ändock den informationen vägas ihop med annan på ett mekaniskt sätt.

      3. Att relatera till färdiga formulär kan ju alltid ge en hänvisning till kompetensen hos individen. Kan det verkligen vara förutsägbart att veta prestationen så exakt?

      Svar. Nej ingenting kan bli 100% korrekt vilken metod du än väljer. Det är därför nödvändigt att personbedömare lär sig basen i sannolikhetsberäkning. Dvs givet den information som finns om en kandidat, ska personbedömaren utan att tveka berätta för uppdragsgivaren med vilken sannolikhet denna kandidat kommer bli en låg, mellan eller hög presterare.

      4. Det är ett intressant område men arbetsuppgifterna förändras fort och då kan man behöva ytterligare kompetens som man inte kan läsa av i en statisk formel.

      Svar. Det är sant att yrken förändras, men jag måste säga att egenskaper som förmåga att lösa problem, inte vara elak mot andra personer kvarstår oberoende av förändringen.

      5. Sedan handlar det ju om hur bra intuitiv förmåga en individ har, det som kallas sjätte sinnet.

      Det är som med begåvning, alla säger sig vara bättre än genomsnittet, det går inte att bedöma vem som har bäst intuitiv förmåga. Och låt säga att det skulle gå att göra så vinner inte den bästa personen över den statistiska formeln.

      Anders

      1. Hej Anders,

        Tack, för ett omfattande svar. Det gav mig mer insikt i hur den tolkningen görs. I mitt tankesätt utgår jag ifrån den hermeneutiska teorin i praktik. Utifrån dessa tankegångar har jag skapat personliga profiler. Därför har jag inte sett saken ur samma perspektiv som du. Jag antar att du utgår ifrån egenskapsteorin, och det är klart intressant det du beskriver.

        Marianne

        1. Ja som du märker har jag ett positivistiskt synsätt när jag pratar urval, den hermeneutiska teorin kan väl sägas utgöra en motpol och är likväl ett intressant synsätt.

          Tack för att följer bloggen

          Anders

          1. Hej Anders!

            Jag följer dig och läser med intresse ditt synsätt. Och paradigmskiften händer ju, det är väl därför forskningen finns till. När jag testat mitt material (dialogprotokollet) i verkligheten, har jag upptäckt att den ger bra resultat i stort, för individer som både söker arbete och är i förändring. En ständigt pågående process.

            Marianne

      2. Hej Anders!

        Jag fastnade lite för din formulering "personbedömaren utan att tveka berätta för uppdragsgivaren med vilken sannolikhet denna kandidat kommer bli en låg, mellan eller hög presterare."

        Jag jobbar med urval och stöter ofta på problemet att jag ombeds genomföra en "second opinion" på en enstaka kandidat. Har man flera kandidater är det lättare att ge en rent mekanisk bedömning av vem som sannolikt kommer att lyckas bäst i tjänsten. Kandidaternas resultat blir då varandras referenspunkter. Men vad har man för bedömning av en enskild kandidat utöver normdata? Kort och gott, hur gör man översättningen från normdata för exempelvis begåvning till sannolikheten för hög, mellan eller låg prestation?

        1. Hej Stefan,
          En högst relevant fråga. Second opinion (med en kandidat) är en speciell situation, eftersom det kan antas att det är slutet i en lång sekvens av bedömningar. Att då som leverantör av en bedömning kunna säga till uppdragsgivaren med vilken sannolikhet denna person kommer att lyckas i arbetet blir krångligt då du inte har något att jämföra med (läs andra kandidater). Det första du måste vara säker på hur valid din metod är, inte generellt utan just för den grupp, i detta fall en tänkt grupp med lika bra kandidater. Detta är en nästan helt omöjlig uppgift, därför är det enda möjliga att göra att jämföra med en normgrupp. Min rekommendation är att använda test med representativa urval (standardpoäng) och bara tolka extrema resultat. Tex om du får en poäng på ett intelligenstest med bra mycket lägre resultat än förväntat med tanke på arbetsuppgiftens komplexitetsnivå, kan du säga att denna person med 6 gånger lägre sannolikhet skulle klara arbetet i jämförelse med om det funnits en kandidat med samma profil (läs samma kompetens, erfarenhet) som hade en standardsavvikelse högre intelligenspoäng. Personlighet går också att lösa men då måste du väga flera testpoäng tillsammans och då är det väldigt viktigt att du använder ett test som är beforskat på att förutsäga avvikande beteenden (tex antisocial och/eller narcissistiska drag).

          Anders

          1. Tack för ett strålande svar! Jag är inte helt med på hur du menar med personlighetsbiten. Skulle man inte kunna behandla exempelvis Conscientioussness på ungefär samma sätt som du beskriver intelligens ovan alternativt att göra en mekanisk sammanvägning av Big 5 och intelligens och göra samma jämförelse med en hypotetisk annan kandidat?

      1. Hej, citat från studiens abstract:

        "In predicting job performance, the difference between the validity of mechanical and holistic data combination methods translated into an improvement in prediction of more than 50%."

        Du skriver i din text att "…minst 50% av den prediktiva kraften förloras" vid intuitiv/holistisk tolkning medan det i ovan abstract står att prediktionen förbättras med 50% vid användning av mekanisk tolkning. En förbättring från A till B på 50% motsvarar en försämring från B till A på drygt 30%. Mer korrekt vore då att säga att "…minst 30% av den prediktiva kraften förloras".

        Förstår du hur jag menar?

      2. Hej, jag skrev ett förtydligande för 11 dagar sedan, har fortfarande inte fått något svar. Är det oprioriterat?

  2. Att välja mekanisk tolkning borde ju vara självklart givet forskningsläget. Jag tycker dock att det är intressant att fundera på hur den mekaniska modellen bör se ut – i synnerhet när både begåvning och personlighet skall vägas samman. Utgår man från de vikter som presenteras i Schmidt et al (2008) så tenderar begåvning och personlighet (samtliga fem faktorer) att väga ungefär lika tungt. Jag såg dock att du Anders m fl (2012) publicerade en liknande studie och tittar man på vikterna där så bör man väl vikta begåvning 2 ggr mot personlighet 1. Eller har jag helt fått det om bakfoten?

    Om inte så borde det väl ha stor betydelse vad man utgår från när man skapar sin modell? Det optimala är såklart att göra lokala valideringsstudier men de flesta organisationer jag möter gör långt ifrån tillräckligt många nyanställningar för att det skall vara möjligt.

    Summa summarum så är kanske inte distinktionen mekanisk vs. intuitiv tolkning intressant längre utan snarare hur man får till rätt mekaniska tolkningsmodell?

  3. Hej Chris,

    Det är helt korrekt som du resonerar, när det gäller Schmidt et al 2008 så finns det endast bivariata korrelationer för hela FFM publicerat. En av anledningarna att publicera Sjöberg et al var att få de exakta vikterna på hela FFM och GMA (i form av en regressionsanalys).

    Det finns en mängd olika sätt att skapa den "optimala" modellen. När jag utvecklade ett test som heter PJP så jobbade vi med tre olika modeller. Den första var en lokal valideringsstudie, den andra modellen vara att gå på meta analys resultat (Sjöberg et al, 2012) och det tredje var att kombinera de båda modellerna med en statistisk modell som heter Bayes Theorem. Beroende på urvalsstorlek i den lokala studien, meta analysen och vilka instrument som används kan någon modell vara att föredra framför någon annan.

    Så, helt rätt, den intuitiva modellen är redan förlegad, det som gäller är att hitta sätt att väga ihop informationen på bästa möjliga sätt. Har precis sammanställt data från 30 facetter av personlighet och antisociala beteende och arbetsprestation. Återkommer med resultatet.

  4. Ok, så om jag förstår dig rätt så har Schmidt et al (2008) inte tagit hänsyn till den inbördes samvariationen mellan personlighetsfaktorerna i FFM?

    Jag har utgått från just Schmidt et al (2008) i min mekaniska modell. Går det kanske att beräkna hur mycket den prediktiva validiteten minskar jämfört med att utgå från Sjöberg et al (2012)?

  5. Det går nog säkert, men Sjoberg et al är bara på högsta metanivån, i praktiken ska du ha korrelationerna mellan de faktorer du mäter med ditt specifika instrument, helst på den grupp som du använder det på. Om inte det går bör du ha det på en "bra normgrupp". Så för att summera, du måste ha en skattning av inbördes relationer mellan faktorer, annars överskattar du den prediktiva validiteten. Mina sista analyser av NEO visar tex att flera facetter som i grunden har en svag positiv koppling med prestation blir negativa effekter på prestation när jag tar hänsyn till partial korrelationen. Så vilket/vilka instrument använder du?

    1. Jag har vana att arbeta med olika instrument. Begåvningstestningar sker väl främst med BasIQ, Matrigma eller Ravens. Personlighet: Neo, HPI och MAP. I de flesta fall använder jag MAP och Matrigma och då är det ganska lugnt då jag kan använda MAPs Suitability Score för personlighetsdelen. Annat blir det när jag använder HPI 🙂

      Men om jag förstår dig rätt kan jag alltså utifrån de redovisade korrelationerna mellan exempelvis HPI-skalorna beräkna den relativa viktning dom bör tilldelas?

  6. Problemet med HPI är att det är percentiler som, du kan inte använda dessa värden i ekvationen (de är inte normalfördelade), du kan använda råvärden, men då blir det lite knepigt

  7. Hej! Jag undrar om "intuitiv tolkning" i detta inlägg är samma sak som "strukturerad klinisk bedömning" som diskuteras i debatten i psykologtidningen? Vad är annars skillnaden?

  8. Hej, debatten i Psykologtidningen handlar om vilket som är bäst av två metoder för att väga ihop samma information, antingen kan du göra det subjektivt (klinisk tolkning), eller mekaniskt (då låter du samma information tolkas av en statistisk formel). Det viktiga är att detta handlar om osäkra beslut (i detta fall urvalsbeslut, dvs du ska förutsäga vad som kommer att hända långt fram i tiden), om du o andra sidan ska ta ett beslut om en patient som du ser mår dåligt (med din kliniska erfarenhet), och ska förutsäga vad som kommer att hända de närmaste dagarna med patienten, då kan den kliniska tolkningen funka, men den behöver fortfarande vara standardiserad.

    Med vänlig hälsning,

    Anders

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.