Bruset i våra bedömningar

Daniel Kahnemans bok Tänka Snabbt och Långsamt blev en storsäljare, nu har han tillsammans med Oliver Sibony (professor i ekonomi) och Cass R. Sunstein (professor i juridik) skrivit en ny bok som har namnet BRUS. Jag har läst den engelska originalversionen av boken, och sedan skummat de mest intressanta kapitlen i den svenska översättningen. Mycket intressant för det speglar lite den resa jag gjort i det akademiska och det praktiska arbetslivet.

När jag studerade på psykologiska institutionen på 80-talet gick det rykten om att metodkurserna på stockholms universitet var hemska, man fick räkna variansanalys för hand, inga datorer iphones så långt ögat nådde. På kursen skulle upp till en fyrvägs-variansanalys räknas ut och redogöras för, exakt med alla formler och uträkningar.

Några år senare, efter denna metodkurs, träffade jag Janne Lindell, organisationspsykolog på Bygghälsans forskningsstiftelse, som gav mig första introduktionen till hur jag med statistiken hjälp kan förstå fenomen som i boken benämns som BRUS. När jag blev doktorand blev jag tilldelad Lars Nystedt som min handledare, och han hade superkoll, och en ödmjukhet i sitt sätt att låta oss studenter försöka förstå, utan press. Ytterligare några år senare träffade jag Bertil Mårdberg, när jag började på Psykologiförlaget, som på ett underbart målande sätt förklarade för mig vad psykometri är och vilken praktiskt nytta psykometri kan ge oss.

Men vad har detta med boken att göra? Svaret är att hela boken handlar om variansanalys och psykometri. Författarna tar inte utgångspunkten i formler utan ger oss läsare konkreta exempel, på det sättet behöver man inte, till en början, ha en susning om vad variansanalys är. Några exempel. När två psykiatriker utförde oberoende granskningar av 426 patienter på statliga sjukhus slog de inte en slumpmässig gissning. När ett stort försäkringsbolag skulle bestämma premiesatser varierade individers föreslagna premier med 55 procent , vilket innebär att en medarbetare kunde bestämma en premie på 95 000 SEK medan en annan kollega uppskattade samma premie till 167 000 SEK.

Men vad är då BRUS?

Tänk dig att du och en annan person får exakt samma information om något, och ska med den information fatta ett eller flera beslut, är ni överens till 100% finns inget brus, är ni inte 100% överens finns det brus.

Givet den informationen finns det två saker som ställer till det, det första är att du och den andra personen inte har samma uppfattningen av nivån, exempelvis hur bra betyg måste man måste ha för att få ett jobb, eller hur långt fängelsestraff en dömd person ska få. Det andra problemet är mönsterbrus, exempelvis när du och den andra personen är rimligen överens om den generella nivån, hur skiljer sig då era bedömningar i ett enskilt fall?

Låt mig ta ett exempel från rekryteringsbranschen.

När kompetensmodeller används är det ofta så att en grupp individer är överens om vad som är viktigt (Nivå brus). Problemet är ofta inte nivåbruset, det är mönsterbruset, dvs olika bedömare kommer tolka nivån på olika sätt och på det sättet kommer samma individ bedömas på olika sätt av oberoende bedömare.

Det är relativt enkelt att uppskatta både nivå brus och mönsterbrus, eftersom det enda som behövs är två oberoende bedömningar och minst ett beslut. Inom forskningen kallar vi det reliabilitet (egentligen avsaknad av reliabilitet). Jag har under de senaste 10 åren utfört ett antal sådana analyser, och det är slående hur vi missbedömer hur överens vi är om olika saker. Ett sätt att dölja detta inom urval är att ha diskussioner mellan rekryterare och anställande chef, känslan är att vi har samma uppfattning om kandidaten, men det är bara känns så, många gånger är bruset betydligt större än det vi är överens om. Ett exempel i boken ger Nathan Kuncel; han föreslog att två oberoende personer skulle granska och sätta betyg på en skola, rektorn svarade då att ”så gjorde vi förr men det resulterade i så mycket oenighet att vi gick över till det nuvarande systemet” (sid 37). Det nuvarande systemet bygger på konsensus, men det döljer bara bruset det tar inte bort bruset. Konsensus diskussioner innan urvalsbeslut tas är snarare en regel än undantag på den svenska marknaden.

Brusanalys

Ett bra exempel på en brusanalys är när en kollega till mig Dave Bartram och hans forskningskollegor undersökte hur SHL:s kompetensmodell fungerar, dvs hur överens två oberoende rekryterare är om vad som är viktigt för att lyckas i ett yrke. Nedan kommer några exempel från studien.

Resultatet baseras på delar av Tabell 1; Lievens, F., Sanchez, J. I., Bartram, D., & Brown, A. (2010). Lack of consensus among competency ratings of the same occupation: Noise or substance? Journal of Applied Psychology, 95(3), 562–571. https://doi.org/10.1037/a0018035

I termer som beskrivs i boken Brus, delades det totala bruset (Sytembrus) upp i två komponenter, Nivåbrus och Mösnterbrus. I studien fick två eller flera rekryterare ta ställning till 112 komponenter som sedan delades in i 20 dimensioner. Varje komponent bedömdes utifrån om den var relevant eller inte längs en 4 gradig skala. I tabellen visas det totala systembruset som fanns i fem utvalda yrkesgrupper (den kompletta tabellen återfinns i artikeln).

Tabellen visar först att det är en hel del brus i bedömningarna, men att det varierar en hel del. Tex är det väldigt svårt att komma överens om vad en butikssäljare ska ha för kompetens, det är betydligt ”lättare” att komma överens om polisens kompetens. Vi ser också att mönsterbruset är den största boven i dramat, dvs vi är betydligt bättre på att bedöma vilken generell nivå som gäller, men sedan när enskilda kompetenser ska rangordnas då är vi inte överens. Ett bra exempel är marknadsförare där nivå bruset är 0% medan mönsterbruset är hela 73%.

Vad får detta för konsekvenser. Om vi överför detta till bedömningar i rekryteringar så är det nära katastrof, om vi bara är överens om att kompetenser som nätverkande, affärsutveckling, resultatorientering osv osv (vanliga begrepp i kompetensmodeller som används i kommuner idag) är viktiga och ska ligga på en viss generell hög nivå, medan sedan när vi som individer verkligen ska bedöma vad som är viktigast så kommer bruset.

Går det att göra något åt? I boken Brus finns många tips hur vi kan minska det totala bruset i våra bedömningar. När det gäller urvals praktiken idag är mitt tips följande.

Skippa alla flummiga kompetensmodeller, använd standardiserade arbetsanalysverktyg som är validerade för att profilera olika yrkesgrupper

Utför brusanalyser, om ni inte idag vet vad som är problemet och hur stort problemet är, går det inte att åtgärda

Gör oberoende bedömningar utan att diskutera med varandra, slå sedan ihop dessa bedömningar genom att summera resultatet.

Funkar det då? Ja det gör det, jag har tillsammans med mina kollegor och studenter genomfört brusanalyser på tre olika yrkesgrupper, där har vi kunnat minska bruset genom att använda en forskningsbaserad modell inom personlighet, den sk Fem Faktor Modellen (FFM, som vi beskriver i vår senaste bok (Personlighet i arbete) och utvecklat en standardiserad metod för att mäta FFM i arbetssammanhang. Jag återkommer med beskrivning av dessa resultat.

Referenser

Kahneman, D, Sibony, O., & Sunstein, C.R. (2021). Brus. Det osynliga flera som stör våra bedömningar- och vad du kan göra åt det. Volante.

Sjöberg, S., Sjöberg, A., & Henrysson Eidvall, S. (2021). Personlighet i arbete. Natur & Kultur.

Lievens, F., Sanchez, J. I., Bartram, D., & Brown, A. (2010). Lack of consensus among competency ratings of the same occupation: Noise or substance? Journal of Applied Psychology, 95(3), 562–571.

Publicerat av Anders Sjöberg

Anders Sjöberg är docent i psykologi och har lång erfarenhet av bedömningsmetoder in arbetslivet. Anders har utvecklat psykologiska bedömningssystem som används av både privata och offentliga organisationer. Anders har publicerat böcker och vetenskapliga artiklar inom organisationspsykologi och psykologisk metodutveckling.

Delta i diskussionen

1 kommentar

  1. Mycket bra, jag hade helt missat att ni släppt en bok. Blev tvungen att beställa den omedelbart. Låter som en bok, som jag som ägnar mig åt arbetsförmågebedömningar kan ha en del nytta av.

Lämna en kommentar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.