Meta analyser är ett av de största framstegen inom en mängd olika forskningsområden, inte minst inom bedömningstjänser såsom urval och rekrytering. Meta analysen står bakom en mängd upptäckter hur relationen mellan individuella differenser och olika typer av arbetsprestation ser ut idag. Och även om det kan vara svårt att ta till sig för många inom urvalsområdet styr dessa evidensbaserade analyser hur vi idag använder tex psykologiska test. Nu finns det möjlighet att göra din egen metanalys.
Metaanalys är en studie av vetenskapliga publikationer, med syfte att dra slutsatser om den samlade vetenskapliga litteraturens gemensamma slutsats, således en studie av studier. En metaanalys genomförs normalt inte på samma sätt som en vanlig vetenskaplig studie, där man samlar in och bearbetar originalobservationer, sk lokala studier, istället handlar det om att sammanställa flera sådana originalstudier så att man får ett större observationsmaterial. Man gör alltså normalt inga egna originalobservationer utan sammanställer resultat från redan publicerade vetenskapliga artiklar. Man uppför ett studieprotokoll där metoden för studien specificeras. I den står till exempel hur man letar efter vetenskapliga artiklar i ämnet, hur dessa bedöms, inklusions- och exklusionskriterier för artiklarna och hur man räknar ut en samlad slutsats. Detta tar ofta lång tid att genomföra, men nu har en framstående forskningsgrupp börjat samla data i ”molnet” för att i framtiden ska praktiker själva kunna göra dessa analyser.
Tillvägagångssättet för att göra en ”molnbaserad metaanalys” presenteras i första numret av Personnel Assessment and Decisions av författarna Frank A. Bosco, Piers Steel, Frederick L. Oswald, Krista Uggerslev och James G. Field. Forskarna menar att ett hinder för att meta analys resultat inte kommer praktiker till användning är att dessa resultat inte är tillgängliga för praktiker. Därför har dessa forskare börjat sammanställa resultat så att du själv kan börja göra analyserna, häftigt tycker en nörd som jag. De kallar det metaBUS.
För att testa metaBUS genomförde jag en egen meta analys baserat på ett påstående (hypotes) som jag ofta får höra från både uppdragsgivare och leverantörer av urvalstjänster. Hypotesen är denna.
När intelligenstest används vid rekrytering väljs begåvade människor som snabbt tröttnar på arbetet och sedan säger upp sig.
Med andra ord finns det en risk att ett urvalsförfarande som innehåller ett intelligenstest, även om det ger ökad prestation, med tiden leder till en hög personalomsättning.
Om detta är sant borde det finnas ett positivt samband mellan test som mäter kognitiv förmåga, eller intelligens, och det faktum att man säger upp sig från jobbet. För att testa detta med metaBUS lade jag först in cogntive ablity och sedan turnover (uppsägning) samt tenure (hur länge man stannar i organisationen). Sambandet visade sig vara svagt negativt, -0.084 för turnover och -0.031 för tenure.
Resultatet av analysen (som tog ca 1 minut att genomföra och baseras på 12 studier med ca 17000 indvider) visade snarare att en mothypotes är sannare, det finns en större risk att anställda stannar kvar som har höga poäng på ett intelligenstest, alltså tvärtom vad många rekryterare tror. Resultatet betyder att rekryterare som använder intelligenstest för att välja ut kandidater inte behöver oroa sig för att folk kommer säga upp sig i hög grad.
metaBUS utgör ett enormt steg framåt för användarvänligheten att arbeta evidensbaserat, istället för att förlita sig på sin egen intuition och magkänsla. Jag tycker detta verkligen är ett genombrott och att forskare verkligen försöker minska gapet mellan forskningsresultat och praktik. Det är dags att HR nu tar steget över till att vara en forskningsbaserad disciplin, det finns inte längre något alternativ. metaBUS är i dagens version en sk beta version som hela tiden kommer att utvecklas. Så idag kan man inte se metaBUS som en ersättare av mer grundliga publicerade meta analyser. Men i takt med att det sker en utveckling av metaBUS kommer detta vara ett verktyg som kommer att användas av många i framtiden, både forskare och praktiker.