Rekommendation till testanvändare: Krångla inte till det

Anders SjöbergOkategoriseradeSkriv en kommentar

Validiteten beror på två saker, testets psykometriska kvalitet och användningen av testet. Den psykometriska (och även den teoretiska) kvaliteten ska redovisas i den tekniska manualen, i korthet ska det som teorin säger (ex, det finns tre faktorer) stödjas av den statistik (ex faktoranalys) som redovisas. Om testet sedan ska förutsäga arbetsprestation ska det framgå med önskvärd tydlighet hur bra testet är för detta syfte. Det som inte finns i manualen, finns det inte stöd för och därför ska inte testet användas för andra saker än det är avsett för. Finns det bara valideringsstudier för urval ska samma instrument EJ användas för utveckling, detta begränsar användningen betydligt för vissa test på marknaden.

Ibland redovisas sk lokala studier där testet utvärderas och ibland refereras till meta-analyser (många lokala studier sammanfatttas till ett effektmått). Avgörande för validiten är den samlade mängd stöd som finns för det avsedda användandet. Men, detta är väl ingen nytt tänker du? Nej, det är det inte men tyvärr är det en sak som missuppfattats, nämligen den validitet som finns redovisad i forskningen förutsätter 100% mekanisk sammanvägning av testresultat. Just det, alla valideringsstudier antar att du använder testet mekaniskt och fattar beslutet utan magkänla, fingertoppskänsla, erfarenhet, valideringssamtal, helhetsbedömningar etc etc. Du kan naturligtvis lägga till annan information, men den måste också behandlas mekaniskt och evidens ska finna hur det ska vägas mot varandra, allt enligt ISO 10667. Om du lägger in fel information för beslutet kommer slumpen att vinna över dig, dvs det är bättre att singla slant istället för att ta in fel information för urvalsbeslut, ganska logiskt eller hur!

Listor över olika metoders validitet blir därför ointressant så länge du inte använder test på det avsedda sättet. En av dessa listor och väl använd referens är Schmidt & Hunters metanalys (1998), många pratar om den men få här läst den. Om nu begåvning har en korrelation med arbetsprestation med .65 (Sjöberg et al, 2012), antar forskarna mekanisk tolkning av testpoängen. Om du inte använder mekaniskt tolkning (högst poäng vinner) så sänker du per automatik validiteten i beslutet. .65 är således en övre gräns inte en nedre gräns som vissa tror (du kan inte med din subjektiva förmåga höja validiteten).

Låt mig ge ett exempel, om du har en kandidat som ligger bra till på ett begåvningstest (hög poäng), men istället tar en kandidat som ligger sämre till med argumentet att denna person har ett bra “track record”, då åsidosätter du allt som finns beskrivet om validitet (om du inte säker på att ditt alternativ har högre validitet i jämförelse med  begåvningspoängen. Ett samband på runt .50 ger dig ett odds på 4 gånger större chans att hitta en toppresterare i jämförelse med att du singlar slant. Detta odds blir osäkert när du tar in andra faktorer som inte är validerade i bedömningen.

Gör så här istället, ta alla testpoäng på skalor som det finns evidens för har ett positivt samband med det du vill förutsäga, och summera. Sedan tar du alla skalor som är dåliga indikatorer (minus samband) på vad du vill förutsäga, summera dem och sedan tar du de positiva faktorerna minus de negativa faktorerna, höga poäng bra, låga poäng dåliga. Använder du ett Big Five test, summera ihop alla faktorer (använd standardpoängen på Stabilitet, Extraversion, Vänlighet, Målmedvetenhet och Öppenhet), strunta i att “tolka profilen”. Är du bra på excel kan du maximera vägningen genom att lägga in mer precisa mått (regressionsanalys). Men är det så enkelt? Ja det är det, tyvärr har logiken förlorat mot den förhärskande helhetsbedömningen, men det betyder inte att det är för sent att ändra på detta. Krångla inte till det använd huvudet (eller minräknaren) och börja summera. Varför gör ingen det då? Nedan kommer de mest frekventa invändningarna, med mina kommentarer i kursivt.

1. Den mekaniska tolkningen tar inte hänsyn till många faktorer som är viktiga för beslutet

Det är inte heller någon som sagt, mekanisk tolkning handlar inte om VAD man bedömer utan HUR man väger ihop informationen. Tänk att du har 10 olika bedömningsfaktorer om en person, det finns två sätt att väga ihop den informationen, du kan göra det mekaniskt eller intuitivt. Varken den mekaniska eller den intuitiva tolkningen kan hjälpa dig med okända faktorer, de enda som säger sig kunna detta är de personer som spår om framtiden! Du ska inte heller validera ett testresultat i intervjun, intervjun och testresultat ska mäta olika saker och sedan summeras ihop inför urvalsbeslutet. När konsulter säger att de kommer att använda testresultatet som ett diskussionsunderlag kan du vara säker på att testresultatet är värdelöst att använda som beslutsunderlag. Nästa gång du upphandlar rekrytering fråga inte bara vilket test de kommer att använda, fråga HUR de kommer att använda testpoängen, först då kan validitet uppskattas.

2. Den mekaniska tolkningen kan aldrig ersätta en duktig personbedömare

Detta är fel, forskningen är tydlig här. Problemet är snarare att “duktiga” personbedömare känner sig hotade, den mekaniska tolkningen vänder på en arbets- och affärsmodellen som är accepterad, dvs att köpa “expertråd” vid urvalsbeslut”. Samma sak som hände inom den amerikanska basebollen kommer hända inom rekryteringsbranschen. För 20 år sedan tjänade talangscouter grova pengar genom att plocka ut de bästa spelarna genom den intuitiva modellen (magkänsla etc). Idag har alla baseboll-lag en databas med prestationsinformation för varje spealare, detta vägs ihop på mekanisk väg för att användas vid urvalsbeslut. Se filmen Moneyball med Brad Pitt i huvudrollen, kolla in sista delen av filmen när Brads rollfigur får erbjudande från Boston, Bostons chef säger att de baseball team som inte ändrar sin rekryteringsmodell kommer att vara som dinosaurier i branschen.

Här kommer trailern (en snabbkurs i evidensbaserat urval)

2. Den mekaniska tolkningen är krånglig

Summera lärde vi oss tidigt i grundskolan och vi gör det inom många områden, tänk dig att du skulle ifrågasätta ICA kassörskan/kassören genom att hävda att din magkänsla säger dig att hen har räknat fel, skulle inte tro det!

4. Människan är komplex och kan inte reduceras till delar som summeras ihop

En mekanisk tolkning motsätter inte att människan är komplex? I urvalsbeslut ska inte den komplexa människans alla delar beskrivas, uppgiften är istället att sannolikhetsbestämma senare prestation. Väl utfört kan man öka oddsen till 6 (i jämförelse med slumpen), men det förutsätter att magkänslan hålls borta. Precis som läkaren ska diagnostisera (sannolikhetskhetsberäkning) och bestämma behandling ska rekryteraren bestämma vem som har största sannolikhet att lyckas i det kommande arbetet. Alla dessa beskrivningar som finns på testmarknaden kan ni sluta att betala för, de hjälper dig inte i ditt urvalsbeslut (även om det känns så).

4. Den mekaniska tolkningen accepteras inte av min kund/uppdragivare

Helt korrekt, det är här skon klämmer, de företag som vågar utmana kommer vinna.

Anders Sjöberg

Referenser

Sjöberg, S., Sjöberg, A., Näswall, K, & Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology. http://dx.doi.org/10.1111/j.1467-9450.2012.00956.x

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 2, 262–274.

Dela detta inlägg

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *