Evidensbaserad urvalsprocess, en utvärdering av metoders träffsäkerhet

bild oddsNär det genomförs valideringsstudier av psykologiska test rapporteras ofta ett korrelationsmått som effekt. En kritik som framförs är ofta att det är så låga samband mellan tex personlighet och arbetsprestation att det inte är värt mödan att varken göra studier eller att använda personlighet som en informationskälla i urvalsprocessen.

Personlighet och arbetsprestation har en korrelation på ca .30. Kritikerna säger att det betyder att det är ca 9% av variationen som kan förklaras av personlighet (.30 upphöjt till 2). Det som lärs ut på utbildningar är ungefär detta. Detta resonemang kommer från den experimentella psykologiska forskningen när man har en experimentgrupp och en kontrollgrupp och vill undersöka ett orsakssamband mellan en psykologisk faktor och ett kriterie. Tex kan det vara intressant att veta om en viss typ av psykologisk terapi fungerar, det vill säga orsakar en förbättrad hälsa. Då är det på plats att använda förklarad varians.

Inom urval, och särskilt i det praktiska urvalsarbetet behöver vi inte vara så ambitiösa. Istället är syftet att rangordna de kandidater som finns att välja på och sedan välja den person som är bäst lämpad för jobbet. Därför duger den sk bivariata korrelationen fin fint, den säger hur bra vi är på att rangordna kandidaterna. Multiplicerar du en korrelation med 100 så får du det i procent; .30 innebär att 30% av variationen mellan en prediktor (det du har bedömt) och kriteriet är gemensam (det du vill förutsäga). Sambandet kan inte förklara något och det behöver du inte som rekryterare heller bry dig om.

Ett annat sätt att resonera är att överföra denna korrelation till odds kvot, alltså hur stor chans är det jämfört med slumpen att du träffar rätt givet att du går efter en evidensbaserad testpoäng. I fallet .30 är det ca 2 gånger större chans du träffar rätt om du tar en person som har höga poäng på skalan målmedvetenhet i ett personlighetstest i jämförelse med en person som har låga poäng på samma skala. Men det är givet att du går på testpoängen och inte lägger till annan information i beslutet. Om du inte är säker på att din information tillför något är risken att du istället sänker sannolikheten. Det är tex vanligt att man lägger till referenser till en testpoäng, du bör då vara säker på att den information du tillför verkligen adderar på din validitet, för du har redan ökat chansen att träffa rätt med 30%, naturligtvis givet att du använder ett bra psykologiskt test.

I ett uppdrag jag har för en större organisation har jag analyserat den sk baskvoten i urvalet, dvs ställt frågan; givet att du väljer alla kandidater du har att välja på hur stor chans är det att hen lyckas/misslyckas på jobbet? Många tolkar den uppmätta korrelationen (tex .30) som den maximala korrelationen som kan uppnås mellan testpoäng och kriterie, men så är det INTE. Detta resonemang bygger på att ingen klarar arbetet förutom de som ligger absolut allra högst i testpoäng. Baskvoten går att uppskatta på en mängd sätt, och ett sätt är att helt enkelt be de experter som finns i organisationen som rekryterar att uppkatta hur många av de som söker arbetet som lyckas/misslyckas i arbetet.

Vad ska du då med den informationen till? Jo, det är din validitet du har innan du lägger till din evidensbaserade valliditetspoäng. Så har du en uppskattad baskvot på att 20%, dvs 20% lyckas i arbetet idag så har du en validitet på .20 oberoende din testpoäng.

Det finns en sak till du behöver veta för att utvärdera din urvalsprocess, det är hur hur många du väljer ut (urvalskvot). Så tre beståndsdelar som ska uppskattas är baskvot (hur många lyckas givet slumpurval?), urvalskvot (antal du väljer i förhållande till antalet bedömda) och validiteten (korrelationen mellan din bedömning och det du vill förutsäga). Har du dessa tre klart för dig kan du säga att du utvärderar din evidensbaserade urvalsporocess.

Ett exempel jag stött på är en organisation när den uppskattade baskvoten låg på 50% genom att kandidaterna var starkt pre- selekterade. Genom att lägga till ett psykologiskt test med en validitet på .30 i denna urvalsprocess, samtidigt som urvalskvoten låg på 5%, alltså 5 på 100 fick jobbet, landade den verkliga validiteten på över .70 !!!

Bra träffsäkerhet som leder till goda urvalsbeslut.

Läs mer om Evidensbaserat urval™

 

7 thoughts on “Evidensbaserad urvalsprocess, en utvärdering av metoders träffsäkerhet

  1. I just know how to use them, not what makes them tick. Please explain in plain Swedish så att någon som inte läst psykometrisk statistiklära förstår vad du pratar om 🙂

  2. Mycket intressant! Hade helt missat detta inlägg. Det verkar inte riktigt som att prenumerationsfunktionen fungerar riktigt Anders 🙁

    Jag fastnade lite på det här med r i kvadrat.

    Hur anser du att man skall tolka den kvadrerade korrelationskoefficienten Anders? Jag har aldrig fått "andelen förklarad varians" förklarad för mig på ett sätt som egentligen tillför något utöver r.

    Om man tittar på hur r beräknas så ser man att det är den genomsnittliga produkten av observerade "talpar" (där talpar avser standardiserade mätvärden av prediktor och kriterium för varje n). Då borde ju r kunna definieras som:

    "Det antal standardavvikelser som kriterievariabeln i genomsnitt förväntas att öka om prediktorn ökar en standardavvikelser"

    Givetvis inte i någon kausal verkan. I praktiken skulle man kanske kunna säga att om man konsekvent väljer personer som ligger en SD över medel på prediktorn och om prediktorn korrelerar med arbetsprestation, r=.5, så borde vi kunna förvänta oss att de vi anställer (efter ett antal anställningar) kommer att stå för en arbetsprestation som är 0,5 standardavvikelser högre än om vi konsekvent hade anställt personer med genomsnittliga resultat på prediktorn.

    Är inte det ett mer rättvisande sätt att beskriva sambandet än som odds att personen "klarar arbetet" eller "lyckas/inte lyckas"? Arbetsprestation är ju trots allt en kontinuerlig variabel och basketen du beskriver känns ju aningen godtycklig.

    Med stort mått ödmjukhet för att jag inte riktigt greppat 🙂

    /C

    • Du har 100% rätt, om en person får ett värde på en prediktor som ligger 1SD över medel, och den prediktorn har en korrelation på .50, så kommer det personen mest sannolikt prestera en halv SD över medel. Ibland brukar jag i pedagogiskt syfte använda lyckas/misslyckas, men prestation verkar vara en kontinuerlig variabel.

      Förklarad varians (kvadrerad r) är intressant när du ska förklara variationen i beroende variabeln, kommer av experimentell forskning när interventionsgruppen ska förklara något i jämförelse med kontrollgruppen. Inom urval, som jag ofta tar upp som exempel, tror många att vi är intresserade av att förklara något, NEJ det handlar om att rangordna individer utefter en kontinuerlig skala, då duger r som effekt mått, inte minst fungerar det sedan att överföra i pengar, eller andra intressanta valörer.

  3. Eller är det så att man bör beräkna en regressionslinje och låta "slopen" i denna vara avgörande för hur stor förändring i målvariabeln man kan förvänta sig av en viss förändring i preditkorn?

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *