Även om en urvalsprocess använder standardiserade bra metoder är det inte säkert att själva rekommendationen från leverantören och urvalsbeslutet i sig ger det avsedda resultatet för organisationen. Det är därför jag har utvecklat Evidensbaserat urval (EBU™). EBU™ ersätter den subjektiva bedömningen i slutet av urvalsprocessen med en objektiv metod för att fatta beslut. EBU™ innehåller en statistisk algoritm som kan stödja leverantören och uppdragsgivaren så att de uppfyller kraven som ställs i ISO 10667 standarden, bedömningstjänster i arbetslivet, och på detta sätt gör organisationer mer effektiva. Nedan kommer jag berätta hur en leverantör av urvalstjänster kan få ett objektivt mått på hur väl de följer EBU™ och på detta sätt förfina sin urvalsprocess.
En utmärkt urvalsprocess kan innehålla några standardiserade test och en standardiserad intervju, men i slutskedet verkar det för vissa indvider vara otänkbart att väga ihop dessa olika informationskällor på maximalt sätt. Det är ofta just i slutklämmen som de flesta strular till det.
Ett råd jag ger till rekryterare (både uppdragsgivare och leverantör) är att.
1) Samla in information med reliabla och valida bedömningsmetoder
2) Väg ihop dessa reliabla och valida metoder med hjälp av EBU™
Det första steget handlar om att alla kandidater bedöms på samma parametrar. När detta inte sker kan det vara olika typer av information om kandidaterna som styr urvalsbeslutet. Om tex psykologiska test ska användas ska alla göra samma test under samma förhållanden under samma tid. Deta första steg verkar de flesta leverantörer genomföra. CV bedöms enligt en mall, psykologiska test används och standardiserad intervju genomförs, men detta steg handlar inte om de enskilda metodernas reliabilitet och validitet i den enskilda urvalsprocessen. Det är riktigt att dessa metoder uppvisat reliabilitet och validitet i många studier, men det betyder inte att detta kan omsättas i praktiken till enskild situation utan att helt mekaniskt tolka resultatet.
Det andra steget är att väga ihop denna information där EBU™ algoritmen appliceras på den information som samlats in för varje kandidat. Detta ger en poäng för varje kandidat.
Dessa två steg är teoretiska, i praktiken händer en hel del under processen. Några expempel som kan hända under steg 1 (insamling av information)
- en kandidat får göra ett test under kontollerade förhållanden en annan på distans
- en kandidat intervjuas av två personer en annan intervjuas av en person
- en kandidat har lämnat två referenser en annan bara en referens
Och några exempel på avvikelser för steg 2 (väga ihop informationen) kan vara
- Bedömningsmetoderna vägs ihop med EBU™ men resultatet används inte vid beslut
- Ostrukturerad information vägs ihop i EBU™ vilket sänker validiteten
- Bedömningsmetoderna vägs ihop med EBU™ och resultatet används vid beslut men de kandidater som väljs för jobbet tackar nej till jobbet efter löneförhandlingen.
Genom undersöka hela urvalsprocessn kan en organisation en diagnos ställas hur väl organisationen följer EBU™. Diagnosen kontrollerar först hur väl man följer det första steget, vilket är en förutsättning att gå vidare till steg 2.
För att få ett mått på hur väl leverentören av urvalstjäsnten följer EBU™ i det andra steget behövs ett kriterie. Detta kriterie kan vara vilka som rekommenderas av leverenatören att anställas. Frågeställning är; om första steget uppfyllts genom att använda schyssta metoder när insamling av information samtidigt som den informationen vägs ihop med en algoritm (EBU™), är det verkligen de som får högst poäng som rekommenderas till tjänsten?
Tyvärr inte skulle jag vilja säga i flertalet fall, många organisationer anser att de har valt en evidensbaserad väg, men de hänvisar bara till första steget, när informationen samlas in, inte när beslut om rekommendation ska göras. Till syvende sist är det uppdragsgivaren (enligt ISO, individ eller organisation som uppdrar åt en leverantör att leverera bedömning och de delar som ingår i en bedömningsprocess) som ta urvalsbeslutet, men om det ska kunna vara evidensbaserat måste leverantören (enligt ISO, person eller organisation som levererar bedömningstjänster till uppdragsgivaren) följa ISO 10667.
Så här står det i ISO 10667 ”Om flera bedömningsmetoder används för att dra slutsatser ska rationalen (den logiska grunden) för den integrering av data som utgör grund för slutsatserna anges liksom evidensen för slutsatserna.”
Med ”flera bedömningsmetoder” menas i mitt exempel intervjuer- och testresultat. Med ”rationalen” menas de bevis som finns att det fungerar att göra som leverantören föreslår och med ”evidensen” menas att den rekommendation som leverantören gör stämmer inom en specifik kontext i ett specifikt syfte.
Så fort denna kedja av händelser bryts så sjunker evidensen i urvalsprocessen.
Låt mig ta ett exempel på hur två leverantör kan utvärderas. Men innan exemplet måste det klargöras att även om leverantören följer EBU™ kan uppdragsgivare helt strunta i rekommendationen, men då ligger ansvaret helt och hållet på uppdragsgivaren. Om detta sker följer leverantören ISO 10667 men EJ uppdragsgivaren.
Nu tillbaka till mitt fiktiva exemepl. Dessa två organisationer har under 5 år följt EBU™ processens två steg. Det är helt klart att det första steget följs där alla kandidater bedöms på samma sätt. Leverantörerna bedömer alla sökande under 1 dag på ett och samma fysiska ställe med exakt samma metoder under exakt samma tid. När all data är insamlad går de enskilda poängen från test, intervjuer och simuleringsövningar in i en EBU™ algoritm som sedan överlämnas till uppdragsgivaren som sedan tar själva urvalsbelutet. EBU™ algoritmen bygger på forskningsresultat från både meta analyser och egna valideringsstudier som leverentörerna genomfört.
Om EBU™ följs bör detta speglas i ett mått som mäter sambandet mellan EBU™ och rekommendationen, eller hur?
För att räkna detta mått behövs resultatet från EBU™ (alltså resultatet från den statistiska algoritmen), och leverantörens rekomendation av kandidater (urvalsbeslutet ligger hos uppdragsgivaren, detta kommer jag problematisera i kommande inlägg). I detta exempel kan EBU™ poängen variera från 0 till 10. 0 betyder låg arbetsprestation och 10 betyder hög arbetsprestation. Om leverantören till 100% skulle följa EBU™ skulle det representera den svarta linjen i diagrammet nedan.
På X axeln har ni EBU™ poängen och på Y axeln sannolikhet att bli rekommenderad uttryckt i procent (%). Ni ser att det är 0 % sannolikhet för rekommendation om kandidaten har en EBU™ under 4 (kolla den svarta linjen) och ligger kandidaten över 5 har kandidaten 100% chans att bli rekommenderad. Detta fall är unikt men ibland har jag stött på leverentörer som har detta förfarande i första screeningförfarande. Den enda gången det sker är när leverenatören bestämt på förväg ett gränsvärde för rekommendation (i detta fall över 4). Den svarta linjen representerar således att Leverantören följer EBU™ till 100%.
Leverantör A (grön linje) följer EBU™ till 46% och Leverantör B (Blå linje) följer endast EBU™ till 16%. Konsekvenser för kandidaterna som bedöms av Leverantör A blir att desto högre poäng på EBU™ desto högre sannolikhet att blir rekommenderad. Tex ger en EBU™ poäng på 5 poäng endast en sannolikhet på 25% att bli rekommenderad medan en EBU™ poäng på 9 ökar sannolikheten till närmare 95% att bli rekommenderad.
Leverantör B följer EJ EBU™ poängen och därmed EJ ISO 10667. Även om chansen ökar ser ni att en poäng på 10 knappast ger en chans över 50% att bli rekommenderad, alltså knappt bättre chans än om man slumpade in kandidaterna. Leverantör B kan lika bra singla slant vilket är betydligt billigare än att använda standardiserade metoder och EBU™ för att välja vilka som ska rekommenderas.
Sammanfattning
Ett grundläggande antagande bakom all rekryterings- och urvalsverksamhet, är att människor skiljer sig från varandra, även när det gäller andra faktorer än utbildning och erfarenhet. Vore det inte så, skulle man kunna anställa vem som helst med rätt yrkesmässig kompetens. Men i och med antagandet att det också finns andra skillnader som påverkar människors arbetsprestationer, blir dessa intressanta att bedöma. Förutom den yrkesmässiga kompetensen är man i allmänhet intresserad av faktorer som motivation, begåvning, den sökandes personliga egenskaper, värderingar och så vidare. Detta bedöms ofta med standardiserade metoder som visat sig reliabla och valida. Problemet är inte längre, med dagens teknik, att samla information, utan problemet består av att rekyterare har en övertro på sin egen förmåga att väga ihop denna information. EBU™ är ett sätt att bli mer professionell i sin yrkesutövning, att ta statistikens hjälp för att fatta nyktra belslut. Min förhoppning är detta mått som jag redovisat ovan ska hjälpa till att ge bättre urvalsbeslut som bygger på logiskt tänkande istället för magkänsla.
Copyright Psychometrics Sweden AB. Evidensbaserat urval (EBU™) är varumärkesskyddat.