I mitt tidigare inlägg gav jag min syn på Personal Försörjning (PF) och Utbildning/Träning (UT). Min slutsats är; i PF fasen bör generiska egenskaper som tex personlighet bedömas hos kandidaterna tillsammans med specifika kunskaper, och i UT fasen bör specifika egenskaper bedömas som kan utvecklas. Båda faserna är viktiga för en organisations prestation. Nedan ska jag titta närmare på ledarurval i PF fasen (med hjälp av bedömning av personlighet hos kandidaterna) och ledarträning (med hjälp av ledarutvecklingsprogram). Hur effektivt är det att satsa pengar och resurser på PF kontra UT när det gäller att få de bästa ledarna (cheferna)?

Om vi tar personlighet, som den beskrivs i Fem Faktor Modellen (FFM), som ett exempel på en generisk egenskap som kan bedömas i urvalsfasen (PF), och ledarutveckling som en specifik kompetens som går att träna (UT). Vad ger störst effekt för organisationen?

Två källor kan ge svar på frågan

• Forskning om personlighet och effektivt ledarskap, samt
• Forskning om vilken effekt ledarträning har på ett effektivt chefskap.

Först måste ett effektmått introduceras, ”d”. ”d” talar om hur stor effekt personlighet respektive ledarutveckling har på kriteriet effektivt ledarskap. Två källor finns för att uppskatta ”d”, två sk meta analyser har legat till grund för mitt resonemang.

1. Judge, T. A., Bono, J. E., Ilies, R. & Gerhardt, M. W. (2002). Personality and Leadership: A qualitative  and qualitative review. Journal of Applied Psychology , 87 (4), 765–780.
2. Avolio, B. J., Reichard, R. J., Hannah, S. T., Walumbwa, F. O., & Chan, A. (2009). A Meta-analytic review of leadership impact research: Experimental and quasi-experimental studies. The Leadership Quartely, 20, 764-784.

”d” talar om hur stor effekten är uttryckt i standardavvikelser SD. d=1, betyder att man kan höja effektiviteten i ledarskapet med 1 SD, med andra ord betyder det att många av cheferna kan bli bättre (mellan -1 och +1 SD ligger ungefär 68% av cheferna), hela gruppen av chefer (vissa kommer förvisso bytas ut i PF fasen) kan bli bra mycket effektivare om både PF och UT har en effekt på 1 d.

1 ”d”, dvs 1 SD, kan naturligtvis översättas i en mängd olika valuta (pengar, hälsa hos medarbetare, antal nöjda kunder etc). Den chef som ligger 1 SD över ”normalchefen” bidrar väldigt mycket mer till organisationens prestation i jämförelse med chefen som ligger på medelvärdet, ganska logiskt eller hur? Om det bedöms att ledaren/chefen har stor effekt på organisationens prestation ökar naturligtvis den absoluta effekten, med andra ord, 1 ”d” har större effekt, detta kallas på forskningsspråk standardavvikelsen av nyttan.

Resultatet visar att satsa resurser i PF fasen på att bedöma personlighet har en aningen större effekt i jämförelse med att träna chefer som redan är anställda.

Resultatet är dock på en väldigt generell nivå, några begränsningar måste nämnas.

• I måttet i PF kan naturligtvis fler generiska egenskaper bedömas, tex intelligens, detta gör att denna effekt är förmodligen kraftigt underskattad, dvs lägga till ett intelligenstest skulle höja effekten på PF fasen.
• I måttet ”d” för UT finns det enorm variation mellan effekter som ingår i studien, med andra ord är det är omöjligt att säga vilken typ av ledarträning som är effektiv (olika typer av ledarträning kan ge olika effekter). Med andra ord kan vissa UT metoder ge både mindre och större effekter.

Konsekvensen är därför, satsa på både PF och UT, men var noga på vad ni väljer för bedömningsmetoder i PF, och vilken typ av UT som ni väljer. Ställ krav på leverantören att inte bara ha läst detta inlägg utan också kan förklara hur detta resultat kan generaliseras till leverantörens förslag på PF och UT.

 

 

 

 

Ett företags personalfunktion kan idag ha en stor mängd olika uppgifter beroende på företagets storlek och sätt att organisera personalarbetet – allt från övergripande personalpolitik till kompetensutveckling och rekrytering. Företagens fasta tillgångar har i stor utsträckning ersatts med rörliga sådana – personalen utgör de facto merparten av många företags värde och utgör ofta stommen och det reella innehållet i verksamheten. I många företag kan det sk humankapitalet idag stå för upp emot 80 % av de totala driftskostnaderna.

En av HR-funktionens uppgifter är personalförsörjning, vilket är en viktig delkomponent i det bredare begreppet ”talent management”. Att lyckas väl i sitt rekryterings- och urvalsarbete och därmed sätta ”rätt person på rätt plats”, är numera av avgörande betydelse för ett företags framgång, det visar forskningen väldigt tydligt. Personalförsörjningen inbegriper både att attrahera de bästa kandidaterna (höja baskvoten) och att välja de som är bäst lämpade för arbetet (höja validiteten i urvalsbeslutet).

Mot slutet av 1980-talet lanserades uttrycket ”Human Resource Management”. Detta kan ses dels som en konsekvens av den ökande internationaliseringen, dels att lednings- och kompetensperspektivet i allt större utsträckning kom att prägla personalarbetet. Personalarbetet skulle göras till en integrerad del av den övergripande företagsstyrningen, chefer på olika nivåer fick ett allt större ansvar för resultat och verksamhetsutveckling – kopplingen mellan affärsstrategi och HRM betonades alltmer.

Om ett av syftena för en HR avdelning är personalförsörjning så är ett andra syfte att utbilda och träna de redan anställda (det finns naturligtvis fler syften men de tänker jag inte beröra här). Att utveckla kompetensen i organisationens i linje med de krav som ställs i en föränderlig konkurrens kan många gånger gälla liv eller död för organisationen.

Jag tycker att HR personal i allmänhet blandar ihop personalförsörjning (PF) och utbildning/träning (UT), särkilt vad som bedöms och vad som ska utvecklas. Nedan kommer min syn på hur PF och UT skiljer sig åt avseende vad som ska bedömas och vad som ska tas beslut om.

I både PF och UT bedöms vissa egenskaper hos individer. I PF, dvs rekryteringen tas beslut utifrån bedömningen av vissa egenskaper. I UT bedöms och utvecklas personliga kompetenser. Kompetens bör definieras som innehav av adekvata kunskaper och färdigheter som är förvärvade genom utbildning och/eller träning. Kompetenser är något vi lär oss, både genom formell utbildning men också genom praktisk träning. Att kunna detaljer om en skatteberäkning om man jobbar som revisor är ett exempel på en kompetens. Detta kan mycket väl bedömas i PF fasen men i organisationer som attraherar rätt kandidater så är detta sällan något problem. Denna kompetens är även  en del av HR funktionens uppgift att utveckla när personen är anställd.

Kompetenser skiljer sig väsentligt från egenskaper som personlighet och intelligens som kan bedömas i PF fasen och visat sig vara mycket effektivt för att förutsäga arbetsprestation. Många HR avdelningar blandar ihop kompetens med generiska egenskaper såsom personlighet och intelligens. Kompetens är färdigheter hos individen som är uppgifts-specifika för det arbete som ska utföras. I UT är det ofta det som utvecklas över tid i en organisation. Personligheten och intelligensen däremot är stabila över tid och kan inte utvecklas, de är sk generiska egenskaper hos individen för den prestation som bör utföras i organisationen (eller andra organisationer), oberoende av individens kompetens.

Har jag rätt? Senaste 10 åren har mitt synsätt fått kritik utifrån att detta inte speglar dagens behov för organisationer. Istället har en mängd olika kompetensmodeller utvecklats. På engelska kallas detta ”competency modeling”. Rationalen för detta är att traditionella arbetsanalyser, där specifika kompetenser bedöms, är allt för snäva i sin ansats. Istället bör organisationens egna behov kartläggas där personliga egenskaper och kompetenser tillsammans utgör en kravprofil där personer som söker ett jobb ska ”matchas” mot dessa kompetenser. Således handlar det inte här skilja på personliga stabila egenskaper (intelligens och personlighet) och föränderliga kompetenser (kunna detaljer om en skatteberäkning).

Istället att förlita sig på kvalitativa arbetsanalyser, där HR avdelningen verkligen tvingats definiera specifika kompetenser, har detta lett till att HR personal kan fantisera fritt hur vissa generiska egenskaper hör ihop med kompetenser. Detta leder till att företag och organisationer utvecklar sina egna ”unika” kompetensmodeller. Blir det bättre så?

Nej, min slutsats är; i PF fasen bör generiska egenskaper hos kandidaterna bedömas (givet specifika kompetenser) och i UT fasen bedöms specifika egenskaper som kan utvecklas, givet de generiska egenskaper som finns i organisationen. Båda faserna är, som redan sagts, oerhört viktiga för en organisations prestation.

Min slutsats är att HR-avdelningar blandar ihop generiska egenskaper och kompetenser, mycket skulle vinnas på att separera vad som är väsentligt att bedöma vid personalförsörjning och vid kompetensutveckling. Diskutera gärna detta när upphandling sker av bedömningstjänster i arbetslivet.

 

 

Professor Scott Highhouse från Bowling Green State University, en av de främsta forskarna i världen inom urval och beslutsfattande, var i Stockholm i december för att opponera på en avhandling på Stockholms universitet. Maria Åkerlund, träffar professor Highhouse för en intervju strax före hans föreläsning om evidensbaserat urval.

Läs hela intervjun på Henrysson, Åkerlund & Sjöberg AB

Läs mer om Evidensbaserat urval™

Malin Holm och Björn Sahlberg, säger sig vilja diskutera vad personbedömning är, och ändå är det i deras andra inlägg publicerad 8 januari 2013 på www.psykologtidningen.se svårt att utläsa vad målet med deras bedömningar är. De skriver att ”en förståelse behövs av individens relativt stabila fungerande…och en matchning av denna mot befattningen”. Vi utgår ifrån att de bedömningar Holm och Sahlberg talar om syftar till att predicera arbetsprestation.

Sedan deras första inlägg har en ny metastudie på området publicerats i Journal of Applied Psychology (Kuncel, Klieger, Connelly, & Ones, 2013). Denna metaanalys visar (liksom Meehl gjorde 1954 och Grove et al. gjorde 2000) att mekanisk sammanvägning har högre prediktiv validitet, det vill säga predicerar arbetsprestation bättre, än så kallade klinisk bedömning.

Det finns ingen anledning att vara missnöjd med den prediktiva validitet vi uppnår med rätt val av test och rätt viktning av resultaten. Denna validitet slår traditionella urvalsmetoder som ostrukturerade intervjuer, och, som sagt, klinisk bedömning av ”experter”. Det finns inget forskningsstöd för att bedömningsexperter gör bättre sammanvägningar än icke-experter. Tvärtom finns det psykologisk forskning som tittat på just detta och kommit fram till att de inte gör det (för exempel på sådan forskning se Camerer & Johnson, 1991, eller varför inte Kahneman, 2012).

Har Holm och Sahlberg något forskningsstöd för att skickliga experter gör mer valida sammanvägningar än vad som kan uppnås med mekanisk sammanvägning? Om experter verkligen är olika skickliga inställer sig frågor som: Hur lär man sig denna skicklighet, hur mäts/valideras den och hur redovisar man olika experters skicklighet/validitet inför kund? Om dessa frågor inte besvaras blir det omöjligt för nyblivna bedömare att medvetet bygga upp rätt kompetens och varken kunden eller den som blir bedömd kan avgöra om en bedömning håller rimlig kvalitet.

Sahlberg och Holm hänvisar till Daniel Kahnemans bok Att tänka snabbt och långsamt. Vi undrar om de faktiskt har läst boken? Den är bland annat en svidande vidräkning med ”experter” och ett av kapitlen handlar om ”The illusion of validity”. Kahneman menar att vi kan göra prediktioner endast i miljöer där vi får i princip omedelbar feedback. Detta är inte fallet i urvalssammanhang. Vi får inte feedback på om och hur mycket vår prediktion förbättrar urvalet jämfört med om vi inte bidragit med vår expertbedömning om vi inte gör systematiska utvärderingar av precis detta. Sådana utvärderingar visar som vi sett att de holistiska expertbedömningarna sänker validiteten jämfört med om man bara använt enskilda testresultat eller – ännu bättre – vägt ihop dem på ett standardiserat sätt. Enligt Kuncel et al. sänker klinisk sammanvägning av bedömningsdata validiteten med 25 procent!

Holm och Sahlberg resonerar om hur bedömare till skillnad från matematiska formler kan ”matcha mot kontext” och ”mot befattning”, men utan att ange hur detta går till. Rent teoretiskt kan det fungera att matcha mot befattning och kontext, men som i all evidensbaserad praktik behöver det operationaliseras, det vill säga, beskrivas exakt hur detta går till.

Mycket av det som Holm och Sahlberg anför är sådant som redan har besvarats i debatten. Detta beror oftast på att debattörerna inte läst på vad forskningen visar. Forskningen inom området är, som vi redan har visat, solklar. När det gäller datainsamlingen bör den ske på ett strukturerat och standardiserat sätt, d v s samma slags information ska samlas in för varje enskild kandidat som söker jobbet. Detta torde inte vara något som Holm och Sahlberg har en annan uppfattning om. Forskningen visar emellertid även att kombinationen av de olika delarna information ska ske på ett standardiserat sätt.

Varje informationskälla som samlas in ska ha en empiriskt bevisad korrelation med det bedömaren vill förutsäga. Om det inte finns en visad korrelation mellan det du bedömer (prediktorn) och det kriterium som du vill förutsäga (till exempel arbetsprestation) bör det inte ingå i datainsamlingen.

När all information som bevisats ha en korrelation med kriteriet har samlats in tar den professionella bedömaren ett steg tillbaka och låter den framtagna informationen vägas samman enligt en på förhand framtagen statistisk formel. I denna statistiska formel kan mycket väl kontext och relationer (operationaliserade förstås), intervjuresultat såväl som resultat från test vägas in. De bedömare som har den bästa formeln kommer därmed vara de ”skickligaste” bedömarna, oavsett utbildning, träning eller tilltro till den egna bedömningsförmågan. Det är detta sätt som forskningen visar har störst träffsäkerhet. Bedömningsexperten ska inte sammanväga informationen, experten ska bedöma vad som ska ingå i formeln.

SKRIBENT
Maria Åkerlund, Anders Sjöberg och Sara Henrysson Eidvall, experter inom urvalspsykologi, både forskning och praktik.

Över 18 000 klick på denna sida under året 2013 är ca 70% ökning av klick på psychometrics.se i jämförelse med 2012, det tolkar jag som en 70% ökning av intresse för forskning om bedömningstjänster i arbetslivet.

De fem populäraste inläggen är följande;

Vilket begåvningstest ska användas när arbetsprestation ska förutsägas? Ny avhandling försöker ge svar

Intuitiv tolkning eller mekanisk tolkning av bedömningsresultat? Nya forskningsresultat

Personlighet och arbetsprestation bland säljare: En svensk valideringsstudie

Fusk i personlighetstest. Ett problem, men vi har idag inga metoder för att upptäcka vem som fuskar

Varför fungerar intervjuer och assessment center? Anpassningsförmåga är svaret

Trots ett ökande intresse för evidensbaserade bedömningstjänster är det långt kvar till beteendeförändring. Fortfarande råder irrationella tankar och handlingar bland uppdragsgivare och leverantörer av urvals- och andra bedömningstjänster. År 2014 kommer bli ett utmanande år.

Det finns några punkter jag kommer att trycka på 2014 för att få till en förändring.

• Ge goda exempel på organisationer som praktiserar forskningsresultat, alltså som inte bara snackar utan gör något!
• Fortsätta att utbilda nästa generation av rekryterare, dessa utgör framtiden.
• Informera om den ekonomiska nyttan av en god urvalsprocess. Samt peka på hur mångfalden kan stödjas av en evidensbaserad urvalsprocess.
• Informera om de standards och riktlinjer som stödjer evidensbaserat urval. ISO 10667 kommer på bred front slå igenom under nästa år.
• Förhoppningsvis, både publicera i vetenskapliga tidskrifter och presentera ny forskning och praktik på konferenser.
• Och till sist vill jag redan nu tipsa om en helt suverän avhandling under året i ämnet urvalspsykologi. Sofia Sjöberg kommer försvara sin avhandling ”Individual Differences and Utility in Personnel Selection: Turning Research into Practice” den 25 april klockan 10.00, sal U31, psykologiska institutionen, Stockholms universitet. Opponent är Professor Marise Born, Erasmus University Rotterdam. Praktiker och forskare som är intresserad beordras infinna sig.

Med önskan om ett gott nytt bedömningsår

Anders

 

Igår i sal U31, även kallad David Magussonssalen, vid Stockholms universitet försvarade förtjänstfullt Kristina sin avhandling ”Employee selection. Mechanisms behind practitioners’ preference for hiring practices” . Opponent som ställde de besvärliga frågorna var ingen mindre än Professor Scott Highhouse (typ, världsbäst i praktisk urvalspsykologi).

Efter betygsnämndens möte förkunnades att Kristina med siffrorna 3-0 (ingen var emot) vunnit sin titel Doktor i ämnet psykologi. Docent Johnny Hellgren och docent Claudia Bernhard-Oettel, som varit Kristinas handledare, kommenterade efteråt att nämnden hade varit rörande överens om att Kristina skrivit en vetenskaplig avhandling, samt på ett väl godkänt sätt också försvarat den vetenskapliga kritiken.

Ca 30 minuter efter doktorstiteln spikade Kristina upp sitt diplom (se bild), med god hjälp av den händige professorn Magnus Sverke.

Mig veterligen är detta den första avhandlingen inom ämnet urvalspsykologi som lagst fram på psykologiska institutionen på 50 år, kan man skönja ett trendbrott?

Extra seminarium i urvalspsykologi, med Scott Highhouse.

 ”Making data-driven hiring decisions”

Torsdag 19/12, kl 14.00 – 15.00:

Seminarium i Allmänna seminarieserien. Professor Scott Highhouse, Bowling Green State University, talar om ”Making data-driven hiring decisions”. Sal U10, Frescati Hagväg 8, plan 1. Stockholms universitet (T-bana universitetet).

Abstract
Scott will make a case for using data-driven approaches to hiring for all job levels. In addition, he will present data suggesting that basic human traits and beliefs influence receptivity to data-driven approaches.

About Professor Highhouse
Scott Highhouse is a Professor and Ohio Eminent Scholar in the Department of Psychology, Bowling Green State University. He received his PhD in 1992 from University of Missouri at St. Louis. Scott served as Associate Editor of Organizational Behavior and Human Decision Processes (OBHDP) from 2001-2007, and as Associate Editor of Journal of Occupational and Organizational Psychology from 2007-2009. He was also co-editor, with Neal Schmitt, of the Industrial-Organizational Psychology volume of Wiley’s 2013 Handbook of Psychology.

Scott has been named a fellow of the American Psychological Association (APA), the Association for Psychological Science (APS), and the Society for Industrial Organizational Psychology (SIOP). And, he served as Publications Officer on SIOP’s Executive Board from 2009-2012.



Teaching Interests: 
Research Methods in I-O Psychology, Organizational Staffing, Personnel Selection, Human Judgment and Decision Making, Individual Psychological Assessment

.

Research Interests
: Judgment and decision making as it applies to issues in personnel psychology, Corporate reputation and employee recruitment, History of psychology in the workplace.

När det genomförs valideringsstudier av psykologiska test rapporteras ofta ett korrelationsmått som effekt. En kritik som framförs är ofta att det är så låga samband mellan tex personlighet och arbetsprestation att det inte är värt mödan att varken göra studier eller att använda personlighet som en informationskälla i urvalsprocessen.

Personlighet och arbetsprestation har en korrelation på ca .30. Kritikerna säger att det betyder att det är ca 9% av variationen som kan förklaras av personlighet (.30 upphöjt till 2). Det som lärs ut på utbildningar är ungefär detta. Detta resonemang kommer från den experimentella psykologiska forskningen när man har en experimentgrupp och en kontrollgrupp och vill undersöka ett orsakssamband mellan en psykologisk faktor och ett kriterie. Tex kan det vara intressant att veta om en viss typ av psykologisk terapi fungerar, det vill säga orsakar en förbättrad hälsa. Då är det på plats att använda förklarad varians.

Inom urval, och särskilt i det praktiska urvalsarbetet behöver vi inte vara så ambitiösa. Istället är syftet att rangordna de kandidater som finns att välja på och sedan välja den person som är bäst lämpad för jobbet. Därför duger den sk bivariata korrelationen fin fint, den säger hur bra vi är på att rangordna kandidaterna. Multiplicerar du en korrelation med 100 så får du det i procent; .30 innebär att 30% av variationen mellan en prediktor (det du har bedömt) och kriteriet är gemensam (det du vill förutsäga). Sambandet kan inte förklara något och det behöver du inte som rekryterare heller bry dig om.

Ett annat sätt att resonera är att överföra denna korrelation till odds kvot, alltså hur stor chans är det jämfört med slumpen att du träffar rätt givet att du går efter en evidensbaserad testpoäng. I fallet .30 är det ca 2 gånger större chans du träffar rätt om du tar en person som har höga poäng på skalan målmedvetenhet i ett personlighetstest i jämförelse med en person som har låga poäng på samma skala. Men det är givet att du går på testpoängen och inte lägger till annan information i beslutet. Om du inte är säker på att din information tillför något är risken att du istället sänker sannolikheten. Det är tex vanligt att man lägger till referenser till en testpoäng, du bör då vara säker på att den information du tillför verkligen adderar på din validitet, för du har redan ökat chansen att träffa rätt med 30%, naturligtvis givet att du använder ett bra psykologiskt test.

I ett uppdrag jag har för en större organisation har jag analyserat den sk baskvoten i urvalet, dvs ställt frågan; givet att du väljer alla kandidater du har att välja på hur stor chans är det att hen lyckas/misslyckas på jobbet? Många tolkar den uppmätta korrelationen (tex .30) som den maximala korrelationen som kan uppnås mellan testpoäng och kriterie, men så är det INTE. Detta resonemang bygger på att ingen klarar arbetet förutom de som ligger absolut allra högst i testpoäng. Baskvoten går att uppskatta på en mängd sätt, och ett sätt är att helt enkelt be de experter som finns i organisationen som rekryterar att uppkatta hur många av de som söker arbetet som lyckas/misslyckas i arbetet.

Vad ska du då med den informationen till? Jo, det är din validitet du har innan du lägger till din evidensbaserade valliditetspoäng. Så har du en uppskattad baskvot på att 20%, dvs 20% lyckas i arbetet idag så har du en validitet på .20 oberoende din testpoäng.

Det finns en sak till du behöver veta för att utvärdera din urvalsprocess, det är hur hur många du väljer ut (urvalskvot). Så tre beståndsdelar som ska uppskattas är baskvot (hur många lyckas givet slumpurval?), urvalskvot (antal du väljer i förhållande till antalet bedömda) och validiteten (korrelationen mellan din bedömning och det du vill förutsäga). Har du dessa tre klart för dig kan du säga att du utvärderar din evidensbaserade urvalsporocess.

Ett exempel jag stött på är en organisation när den uppskattade baskvoten låg på 50% genom att kandidaterna var starkt pre- selekterade. Genom att lägga till ett psykologiskt test med en validitet på .30 i denna urvalsprocess, samtidigt som urvalskvoten låg på 5%, alltså 5 på 100 fick jobbet, landade den verkliga validiteten på över .70 !!!

Bra träffsäkerhet som leder till goda urvalsbeslut.

Läs mer om Evidensbaserat urval™

 

Läs mer klicka här