Kartlägg risken för kontraproduktiva beteenden på arbetet med datadrivna algoritmer

Anders SjöbergUrvalsbeslut2 Comments

När en organisation påbörjar en rekryteringsprocess så sker någon form av arbetsanalys, dvs en analys av situationen som den nya personen ska arbeta i. Denna analys överförs sedan till en specifikation av vilka kunskaper, färdigheter och andra personliga egenskaper som den perfekta kandidaten ska besitta. Det är en version av denna specifikation som vi sedan ser i platsannonser, där kan vanliga egenskaper som social förmåga, stresstålighet och team känsla vara egenskaper som eftersöks. Platsannonsen utgörs i princip av resultatet från arbetsanalysen med fokus på positiva och konstruktiva aspekter och formulerat på ett sätt som ska attrahera sökanden till tjänsten. 

Mycket sällan står det i en platsannons vad man INTE ska göra på jobbet, t ex att man inte ska stjäla saker, inte mobba andra på jobbet, och/eller dra benen efter dig. Det övergripande begreppet för denna typ av beteenden är kontraproduktiva beteenden på arbetet, på engelska ”Counter productive Work Behavior” (CWB), och enligt forskningen så är det minst lika viktigt att förutsäga CWB som att kandidaten ska besitta egenskaper som social förmåga, stresstålighet och teamkänsla.

CWB omfattar avsiktliga beteenden som är riktade mot både organisationen och/eller individer som ingår i denna. Exempel på kontraproduktiva beteenden är; stöld, förstörelse av egendom, missbruk av information, missbruk av tid och resurser och dålig arbetskvalitet och bristande närvaro. Denna typ av beteenden har stora ekonomiska konsekvenser för organisationer – så pass stora att man kan räkna med att 20 % av alla verksamheter misslyckas på grund av detta (Sjöberg & Sjöberg, 2007).

Runt 2004 började jag och några kollegor undersöka om man skulle kunna konstruera ett test för att förutsäga CWB. Vi fann en hel del belägg för att en kombination av personlighetsdimensionerna Emotionell stabilitet, Sympatiskhet och Målmedvetenhet tillsammans kan förutsäga CWB. Träffsäkerheten i förutsägelsen är långt ifrån perfekt, men om personer med låga poäng på dessa skalor plockas bort tidigt i urvalsprocessen kan en del CWB minska i organisationen. Testet som vi utvecklade benämndes MINT (MeasuringINTegrity), och säljs idag av testleverantören Assessio. 

Nu är det 2019 och en hel del har hänt forskningsmässigt. I en stor studie av Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S, (2014) så sammanfattar forskarna flera meta-analyser och kan bl a konstatera att kontraproduktiva beteenden är svagt negativt (r=-.11) relaterat med intelligens. Det betyder att även intelligens ska tas hänsyn till när man testar för att förutsäga CWB, detta visste vi inget om när vi utvecklade MINT. 

Det har dessutom visat sig att det är en särskild aspekt av personligheten som visat sig ha en större betydelse än vad som tidigare varit känt , och det är faktorn Sympatiskhet. Låg grad av Sympatiskhet karaktäriseras  av brist på tillit till andra och svårigheter att vara följsamma i det sociala samspelet genom att vara manipulativ, självisk, arrogant och hårdhudad. Personer med mycket låga poäng på Sympatiskhet utför med större sannolikhet kontraproduktiva handlingar på arbetsplatsen och  kan genom att uppvisa dessa beteenden vara skadliga för organisationen. Även  låg målmedvetenhet (samvetsgrannhet) och avsaknad av öppenhet hos individer har visat sig öka sannolikheten till kontraproduktiva beteenden. Detta betyder att faktorn emotionell stabilitet, som forskningen fram till 2014 identifierat som den viktigaste faktorn och är den faktor som MINT mäter till 80% (Sjöberg & Sjöberg & 2007), har en begränsad betydelse för att kunna förutsäga kontraproduktiva beteenden.

Så, en hel del har hänt de senaste 15 åren avseende personlighetstestning i syfte att förutsäga CWB, inte minst det faktum att emotionell stabilitet visat sig ha begränsad prediktiv kraft. Men, det har också visat sig att det är bättre att använda en kombination av hela fem faktor modellen (FFM) tillsammans med intelligens för att förutsäga CWB. Dagens testning för att förutsäga CWB bör därför inkludera ett intelligenstest, även om det har en liten effekt för att förutsäga CWB så bidrar det ytterligare i prediktion. Låg grad av Sympatiskhet bör viktas upp betydligt, men även låg grad av öppenhet ska vägas in i bedömningen tillsammans med låg målmedvetenhet. 

Assessment Engine och CWB

Till skillnad från andra leverantörer av arbetspsykologiska test för urval så har vi på Assessment Engine valt att utveckla psykometriskt sunda test där resultat i form av testpoäng tolkas genom standardiserade evidensbaserade algoritmer (EBUer). Dessa algoritmer optimerar testresultaten i förhållande till det som ska förutsägas – detta ska förstås som att det inte finns någon annan ”tolkning” av testresultaten som kan ge bättre träffsäkerhet.  I praktiken är det dock vanligast att den som använder ett test ska avgöra hur ett testresultat ska vägas samman till en helhetsbedömning för varje kandidat. Detta sker ofta med hjälp av yrkespersoner som, av testleverantören, är tränade i hur tolkningen av testpoängen ska gå till. Detta sätt att tolka och väga ihop testresultat kan dock inte dra nytta av testresultaten på ett standardiserat och optimerat sätt, och därmed sjunker träffsäkerheten (validiteten) i förutsägelsen.  Att validiteten sjunker och man har en kostnad för utbildning i tolkning av testresultat samt en större kostnad för den manuella ”hanteringen” testresultaten, gör att den ekonomiska nyttan sjunker betydligt (Sjöberg, 2014; Sjöberg & Sjöberg, Näswall & Sverke, 2012).

Assessment Engine fokuserar på vad du är i behov av att förutsäga, du behöver därför först fastslå vad du vill förutsäga. 

När du valt vad du är i behov av att förutsäga så väljer Assessment Engine vilka test (typer avuppgifter) som dina kandidater behöver svara på för att systemet ska kunna leverera en sammantagen bedömning med maximerad kvalitet (maximal prediktion). 

Assessment Engine sköter förstås även själva sammanvägningen av testresultaten. Kort sagt så kan du som användare fokusera vad du vill förutsäga istället för att behöva fundera på vad som ska mätas och du slipper även arbetet med själva tolkningen, sammanvägningen, av testresultaten. 

I Assessment Engine kan du välja bland många kriterier (evidenbaserade algoritmer, EBUer), CWB är ett. I Assessment Engine ser det ut så här.

Detta resultat kommer alltid baseras på det absolut senaste forskningsresultatet, ändras forskningsresultat ändras algoritmen (inte testen). Assessment Engine kommer alltid ligga steget före andra testleverantörer som fokuserar på vad som ska mätas. Assessment Engine följer även gängse krav på att genomföra en arbetsanalys, detta gör du genom att välja EBUs i Assessment Engine. Så om du vill ligga i fronten att vara evidensbaserad och datadriven i dina urvalsbeslut ska du använda Assessment Engine.

Klicka på nedan länk för att begära inlogg till ett datadrivet urval

Assessment Engine

Referenser

Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S. (2014, August 18). A meta-analysis of the relationship between general mental ability and nontask performance. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/a0037547

Sjöberg, S., & Sjöberg, A. (2007). MINT Measuring Integrity. Manual. Stockholm: Assessio International.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M.  (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology, 53, 368–373.

Assessment Engine och kompetensmodeller

Anders SjöbergUrvalsbeslutSkriv en kommentar

Jag har tidigare inlägg kritiserat kompetensmodeller, särkilt i anslutning till personlighetstestning och annan psykologisk testning i arbetslivet. Nu har jag och mitt Assessment Engine team byggt en assessment plattform som är ett alternativ till kompetensmodeller. Istället för att säga att Extraversion mäter en kompetens så har vi utvecklat ett test som mäter bla Extraversion, och hör och häpna vi har döpt den faktorn i vårt test till Extraversion, kort och gott för att det mäter Extraversion.

Men vad är då nytt här förutom att Assessment Engine inte säger att vi mäter en kompetens. Jo, i Assessment Engine har vi konstruerat algoritmer som bygger på evidens från metaanalyser vilka talar om för oss vilka samband det finns mellan tex Extraversion och arbetsrelaterade beteenden. Vi har byggt ett evidensbaserat system som du kan känna dig lugn med att det bygger på den absolut senaste forskningen, inga påhittade kompetensmodeller.

Hur har vi då gjort? Dessa steg har tagits.

  1. En genomsökning av samtliga meta analyser som utreder sambanden mellan personlighet, och/eller begåvning med arbetsrelaterade kritierier (vi kallar det EBU)
  2. Utvecklat två nya personlighetstest (just nu finns den korta versionen av testet i Assessment Engine)
  3. Utvecklat ett nytt begåvningstest
  4. Genom statistiska analyser av våra test och metanalyserna konstruerat algoritmer som maximalt väger ihop testresultat för varje kandidat så att sannolikheten att välja rätt person för jobbet ökar.

Genom att ständigt följa forskningen om personlighet och begåvning kommer vi utveckla denna plattform till att bli en heltäckande plattform för bedömningstjänster i arbetslivet. Idag kan du med hjälp av Assessment Engine tolka och ta beslut på 6 stycken evidensbaserade kriterier.

Vill du testa Assessment Engine (KLICKA HÄR). 

Lycka till

Ny bok om grundläggande psykometri

Anders SjöbergUrvalsbeslutSkriv en kommentar

Psykometri betraktas av många som svårtillgängligt och besvärligt att lära sig. Det finns en mängd bra böcker på engelska men det har hitintills saknats en hel bok på svenska om grundläggande psykometri. Det är Bertil Mårdberg och Leif Carlstedt som skrivit boken som precis heter detta, grundläggande psykometri.

Boken, som är på ca 250 sidor tar upp allt som en testutvecklare, och de som säljer test bör känna till. För den som är intresserad testanvändare kan detta betyda att vederbörande kan bli en bra upphandlare av olika bedömningstjänster i arbetslivet. Boken tar upp allt väsentligt som berör mätteorin inom psykologin, den sk klassiska testteorin. Bokens kapitel handlar naturligtvis om reliabilitet och validitet, men tar även upp mer konkret HUR man arbetar som psykometriker när test ska utvecklas, från början till slut. Exempel på dessa kapitel är Itemanalys (kapitel 3), moment i testkonstruktion (kapitel 8) och från idé till färdigt test (kapitel 11). Även om boken kan användas för att lära sig mer allmänt om psykometri är utgångspunkten att test kan användas för urval. 

Därför berörs både intelligens- och personlighet som begrepp när test ska utvecklas. Boken beskriver även logistisk analys, även kallad Item Response Theory (IRT). Hade jag haft denna bok när jag själv försökte lära mig detta i början av 90-talet hade det varit lite enklare. Jag kommer definitivt använda denna bok inom utbildning, både på universitetet och i de utbildningar jag har i Psychometrics Swedens regi. Passar utmärkt för dig som vill certifiera dig som testanvändare, och ni testleverantörer som har utbildningar, särkilt ni som utbildar, köp och läs på, ni kommer bli 100% bättre utbildare och kunna svara på alla knepiga frågor från era kursdeltagare (givet att testet ni utbildar på är bra). 

Extra roligt att denna bok nu finns i handeln är att det är Bertil och Leif som ger ut boken, de båda herrarna (tillsammans med Jan Eric Gustafsson och Sten Henrysson) är förmodligen de bästa psykometrikerna i Sverige. Bertil hjälpte mig i mitt första utvecklingsprojekt, intelligenstestet BasIQ. Jag hade precis doktorerat 1997 och fick jobb som psykometriker på dåvarande Psykologiförlaget, utan att jag kunde något om psykometri (man kan ju fråga sig hur urvalsprocessen gick till, men det är en annan historia). 

Dåvarande chefen (och fortfarande chefernas chef) Katarina Forssén tyckte att jag skulle utveckla ett nytt intelligenstest baserat på test som utvecklats på 50-60 talet (som egentligen var kopior på test hämtat från USA). Jag fick en ICA påse med gamla papper och penna test och började gräva i påsen, men jag tänkte, varför inte ta rygg på någon som kan det här? Jag ringde Bertil. Bertil blev min mentor, han lärde mig om Item analys, algebra, strukturekvationer, regressioner och kanonisk korrelation. Inget var omöjligt att göra enligt Bertil. Utan Bertil hade inte BasIQ blivit intelligenstestet nr 1 i Sverige (för urval). Tillsammans med Sara Henrysson (ja precis dotter till Sten Henrysson) slutförde vi det projektet 2001. Även om varken Bertil, Sara eller Katarina får ”cred” för detta på Assessios hemsida, så var det så.

Leif träffade jag nyligen för första gången (även om jag läst mycket vad han skrivit genom åren). Det var ca 4 år sedan då jag fick ett uppdrag av Försvarsmakten. Min uppgift var att se över intelligenstestningen inom försvaret, men det gled sedan över på hela urvalsprocessens validitet. Psykologerna där tyckte att mina uttalande borde verifieras av Leif, som enligt dem var PSYKOMETRIKERN. Leif med sitt ödmjuka sätt och enorma kunskap och erfarenhet sa att den där Anders han har rätt i det mesta han säger. Jag tog det som en enorm komplimang. Under samma tid fick jag uppdraget av Mercuri Urval att hjälpa dem med en ISO 10067 certifiering, och bland annat fick jag i handen en psykometrisk manual, av Leif Carlstedt. Naturligtvis exemplarisk skriven, enligt traditionell psykometrisk modell, som tagen från den nu utgivna boken.

Finns det något som saknas i boken? Nej inte direkt, men flera avsnitt som behandlar validitet kan göra läsaren lite förvirrad då författarna blandar olika definitioner och olika tillvägagångssätt. Å andra sidan är det kanske den svåraste frågan att besvara, för man hamnar lätt i filosofiska resonemang där något rätt och fel är svårt att tyda. Men återigen boken fyller ett tomrum och kommer bli en klassiker i Sverige, inom ett ytterst specifikt område, den kommer inte slå försäljningsrekord som böckerna om diverse färger, men det kanske inte därför Bertil och Leif skrivit boken.

Boken går att beställa här endast 259 SEK

Assessment Engine – För dig som vill göra professionella personbedömningar vid urval

Anders SjöbergUrvalsbeslut2 Comments

Jag har arbetat med metodutveckling i över 20 år. Jag har varit med och utvecklat eller anpassat kliniska test, test för skola och förskola, och test avsedda för arbetslivet både i Sverige och i andra länder. Jag har varit med och utarbetat nationella och internationella standards och riktlinjer för kvalitet i test och hur test ska användas, jag har undervisat på företag, myndigheter och akademiska lärosäten i hur man bör arbeta med urval, och jag har jobbat med många leverantörer av både test, andra metoder och tjänster kopplade till personbedömningar i arbetslivet. På det stora hela har det varit utvecklande, spännande och utmanande. Samarbetet med kunniga kollegor — som är sanna specialister inom sina områden, möten med vetgiriga studenter som vill lära sig mer, och inte minst diskussioner med kunder som vill förbättra sig och sin verksamhet, eller som desperat letar efter bra produkter och processer att tillämpa.

Användare som letar efter bra verktyg (traditionella produkter och processbaserade produkter inkluderade) har dock ett svårt arbete. Det råder nämligen brist på verktyg som är både bra, erbjuder tillförlitliga processer för att hantera testresultat på, och som samtidigt är tillgängliga för dem som behöver dem. Jag har därför, tillsammans med mitt nya dream team (klicka här för presentation av mitt team), den senaste tiden utvecklat och nu lanserat en ny digital plattform för personbedömningar i arbetslivet – Assessment Engine.

Kvalitet i hela leveransen

Assessment Engine införlivar de hörnstenar som jag anser vara viktiga för den här typen av verktyg och som jag tycker saknas på marknaden idag. Högst upp på listan ligger förstås kvalitet. Detta sträcker sig från användarvänlighet och teknisk stabilitet i plattformen via validitet och reliabilitet i de produkter (ofta test, men inte enbart) som levereras, till processen för hur poäng sammanfogas (det sker oundvikligen vid alla personbedömningar) och hur resultat slutligen presenteras för användare och återkopplas till respondenter. Den här röda tråden kan sammanfattas i missionen att hjälpa användare att göra rätt, eller åtminstone att göra så rätt som möjligt.

En testplattform ska bygga på forskning

Ibland får jag kritik för mina uttalanden om testanvändning, mitt svar på det är att det inte är jag som bestämmer vad jag ska säga. Jag återger bara det som forskningen säger. Vad säger då forskningen? Jo, vi vet från forskningen att både mätningen och processen där vi sammanfogar olika informationsbitar, däribland testpoäng, mår bäst av att hållas så fria som möjligt från mänsklig inblandning såsom (omedvetna) tankevurpor, intuition och magkänsla. Det är alltså ett mål i sig att standardisera produkter och processer så långt som möjligt. Assessment Engine tar fasta på evidens och standardisering, allt för att leverera så bra bedömningar och beslutsunderlag som möjligt.

Tillgänglighet

En annan hörnsten är tillgänglighet. Verktyg och processer ska vara tillgängliga för dem som behöver dem. Idag är verktyg för personbedömningar tillgängliga för dem som har möjlighet att lägga åtskilligt med tid och pengar på att utbilda sig i ett verktyg, betala dyra licenser och höga priser för produkter. Men ska det vara tillgängligt för dem som är i behov, professionella personbedömare förstås men även beslutsfattare i arbetslivet, så ställer det krav på utformning och leverans. Assessment Engines uppgift är att leverera produkter med tillhörande standardiserade processer. Görs detta på rätt sätt så anser jag och mitt team att det inte ska krävas någon omfattande utbildning i hur man använder verktyget, och det ska inte behöva vara förbehållet några speciellt utvalda yrkeskategorier. Assessment Engine är till för Er som vill göra professionella personbedömningar i arbetslivet.

Kostnadseffektivitet

Tillgänglighet är förstås relaterat till ytterligare en av de viktigaste hörnstenarna för Assessment Engine – kostnadseffektivitet. I Assessment Engine betalar man bara för det som man faktiskt kan använda – dvs resultaten, och en transparent prissättning gör att du kan bedöma den ekonomiska nyttan för dig med att använda Assessment Engine.

Så vad jag vill säga är, välkommen till Assessment Engine! Vi har funderat på detta i tjugo år, byggt det på ett halvår (bra jobbat). Assessment Engine levererar valida och reliabla test och evidensbaserade processer som genererar bedömningar av sannolik framtida prestation enklare, billigare och mer träffsäkert än någonsin. Kan det vara möjligt tänker du. Ja! Nu är det verklighet.

Anmäl ditt intresse genom att klicka på denna länk: Assessment Engine

 

I betraktarens ögon – att obeservera andra personers personlighet

Anders SjöbergBedömningstjänster, MetanalysSkriv en kommentar

Personlighetsteori och personlighetsbedömning har varit i fokus under lång tid både hos forskare och praktiker. Jag har läst på lite och tänkte försöka vidga diskussionen genom undersöka hur vi som observatörer av personlighet har möjlighet att på ett tillförlitligt sätt bedöma personlighetsdragen i Fem Faktor Modellen (FFM).

Många likställer personlighet med ett personlighetstest, dvs när du gör ett personlighetstest så får du ”reda på” din personlighet. Testet, som ofta går ut på att du svarar på ett antal frågor om dig själv, resulterar i ett antal testpoäng som jämförs med vad andra personer svarat på samma frågor. Även om detta är ett bra sätt att mäta personlighet, är detta inte din ”sanna” personlighet.

Inom psykometrin har vi vår mätteori och utgångspunken i denna teori är att du ”ALDRIG” kan få reda på din ”sanna” personlighet. För att komma så nära som möjligt ditt sanna JAG, bör flera indikatorer på din personlighet kartläggas. Tänk er en situation där du som person kan observeras i oändligt många olika situationer över en lång tidsperiod av andra personer som står dig nära, samtidigt som du själv ”observerar” dig själv genom att göra anteckningar om vad du gör, samt svarar på olika personlighetstest. Sannolikheten, efter denna noggranna datainsamling, är att du når ett mer korrekt svar, men vår mätteori kommer ändock upptäcka fel i bedömningen, det är det som kallas reliabilitet och validitet.

Att samla så mycket information om varje person som nämns ovan, går naturligtvis inte att samla in i urvalssammanhang och kanske inte i något sammanhang, därför har psykometrin uppfunnit statistiska formler som kan uppskatta hur sambanden mellan personlighet och beteenden skulle se ut om vi hade perfekta bedömningar, sk kallade korrigeringar pga reliabilitetsbrister.

Innan vi tittar på lite resultat från forskningen tänker jag förklara vad som påverkar vår bedömning av andra personers personlighet.

Vad påverkar vår bedömning?

Den första frågan som ska ställas är; i vilken miljö bedömningen genomförs? Är det hemma, på jobbet, i skolan eller på fritiden? Det viktiga här är att miljön som personen befinner sig i måste tillåta personen att uttrycka egenskapen (relevans) och låta observatören uppfatta denna egenskap (tillgänglighet). Sålunda måste observatörer märka egenskapen (detektion) och på lämpligt sätt tolka dessa signaler för att bilda ett intryck av personen (utnyttjande). När dessa faktorer är uppfyllda har observatören en chans att komma närmare en persons personlighet.

Förutom dessa kriterier anser många forskare att vissa personlighetsdrag är lättare att bedöma, och vissa personlighetsdrag är svårare att bedöma. Mycket synliga egenskaper består av externa uttryckt som kan observeras, medan låg synlighet av egenskaper består interna tendenser som inte är direkt tillgängliga för andra (t ex tankar och känslor). Om man utgår ifrån Fem Faktor Modellen (FFM) av personlighet sticker Extraversion (EX) ut som en relativ enkelt personlighetsdrag att bedöma medan Emotionell Stabilitet (ES) framstår som en relativ svår faktor att bedöma. Extraversion består av högst externa uttryck som socialt dominerande, ambition och spänningssökande, medan Emotionell Stabilitet handlar om inre känslor som avsaknad av ångest och depression. En annan faktor som visat sig svår att upptäcka är Öppenhet (OP), särkilt de egenskaper som handlar om värderingar och känslor.

Ytterligare en sak att ta hänsyn till bedömningen av personlighet är hur socialt önskvärt vissa personlighetsdrag är. Personer visar hellre önskvärda drag i jämförelse med drag som inte passar in i olika situationer. Här har situationen stor betydelse, rent generellt verkar det som att människor ”överpresterar” personlighetsdrag som handlar sympatisk framtoning, vänlighet, och följsamhet, detta betyder att man som observatör i större utsträckning ser dessa personlighetsdrag i jämförelse med tex emotionell stabilitet. Emotionell stabilitet är istället lättare att bedöma om personen själv får svara på frågor om hur stabil och stresstålig man är.

Men vad säger då forskningen om hur effektiva vi är att bedöma andra människors personlighet. När det gäller reliabilitet i bedömningen av FFM, i detta fall hur reliabel en bedömare är har Connely & Ones (2010) undersökt detta i en meta analys där man skiljer på olika typer av bedömare. Resultatet generellt säger att Extraversion har högst reliabilitet, dvs bedömare har högst träffsäkerhet, dvs utåtriktat beteende (Extraversion) och inåtvänt beteende (Introversion). Svårast var det att bedöma Öppenhet. En annan fråga är vilken relation en bedömare har till den person som ska bedömas? Den kategori av bedömare som hade lättast att bedöma personlighet var, inte överraskande nära vänner, de hade betydligt större träffsäkerhet i jämförelse med arbetskollegor. Vännerna var mer överens än familjemedlemmar att bedöma samtliga faktorer i FFM. Men hur är det med arbetskollegor? I nedan graf ser du en jämförelse hur träffsäkra bedömningarna är på samtliga faktorer i FFM (dessa resultat är omräknade så att reliabiliteten gäller för endast 1 bedömare, korrigerat för stabilitet i bedömningen över tid).Som ni ser i tabellen ovan så är det ej så höga reliabilitetsestimat, medel ligger strax under 0,40. Detta är inte konstigt då detta bygger på att det är endast 1 bedömare. Den faktor som har mest träffsäker är precis som sagts ovan, Extraversion (EX). Och även bland arbetskollegor är det Öppenhet (OP) som har lägst reliabilitet.

Extraversion är förmodligen den egenskap som är ”lättast” att bedöma av FFM, framförallt ökar reliabiliteteten när personer som står nära den person som ska bedömas gör bedömningen. Övriga faktorer är Emotionell Stabilitet (ES), Sympatiskhet (AG) och Målmedvetenhet (CO).

Slutkommentar

Bob Hogan skiljer på att bedöma personlighet utifrån två perspektiv, den självrapporterade personligheten kallar han för identitet (eng; identity) och om personlighet bedöms av andra personer benämner han som det rykte (eng; reputation) personen har. Ovan har jag diksuterat med hjälp av vad forskningen säger om reliabilitet i form av det rykte personen har. Att tänka på är ”vem” bedömaren är, “i vilken situation” bedömningen sker och inte minst “vilket personlighetsdrag” som ska bedömas.

Referens

Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality: Meta-analytic integration of observers’ accuracy and predictive validity. Psychological Bulletin, 136(6), 1092-1122.

Föreläsning i Stockholm. Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

Anders SjöbergUrvalsbeslutSkriv en kommentar

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 26 mars 2019 kl 09 00–16 00

Var: Hotel C Stockholm, Vasaplan 4, Stockholm

Kostnad: 2 400 kr exkl. moms (självkostnadspris, lunch och fika ingår)

Anmälan: forelasning2019@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer fram till år 2026. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekrytering krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Det finns vetskap om att kunskap finns – men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som i första hand vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

 

Evidensbaserade intervjuer, några tips

Anders SjöbergUrvalsbeslutSkriv en kommentar

Igår hade jag min tionde EBU utbildning. Som vanligt lär jag mig mycket när praktiken möter forskningen. Vill tacka representanter från Sverige Radio, Elgerot and partners AB och Centrallasarettet Kronoberg, Rekryterings- och bemanningsenheten för en givande dag. Bland mycket annat som diskuterades denna dag (och även i Göteborg i torsdags) var den omåttligt populära anställningsintervjun. Vill dela med mig av några punkter om den evidensbaserade intervjun (som inte ska blandas ihop med den kompetensbaserade intervjun).

  • Använd situations baserade frågor (hur skulle du göra om….?), baserad på en seriös arbetsanalys dvs ställ frågor om situationer som du kan bedöma utifrån vad som är rätt och fel svar på frågan. Dessa situationsfrågor fungerar bäst när det är fråga om mindre komplexa arbeten.
  • Använd beteende baserade frågor (kan du beskriva när du….?), även dessa grundade på en seriös arbetsanalys, dvs ställ frågor som kandidaten kan referera till en situation där något hänt och be personen beskriva hur hen agerade i denna situation med sitt egna beteende, dessa frågor fungerar bäst när det är mer komplexa arbeten där du själv som expert kan bedöma vad som är bra beteende.
  1. Poängsätt alla svar på dina frågor utifrån vad du menar med bra eller dåliga svar (detta ska bestämmas med hjälp av arbetsanalysen)
  2. Basera dina frågor på arbetsrelaterade saker inte personens livshistoria
  3. Ställ samma frågor till alla kandidater
  4. Ställ högst 1-2 uppföljande frågor efter din huvudfråga
  5. Träna och utveckla din intervju
  6. Om det är möjligt, använd flera intervjuare
  7. Diskutera inte dina resultat med andra mellan intervjuerna av kandidaterna
  8. Använd ínte tidigare bedömningar som underlag för din intervju (tex psykologiska test resultat)
  9. När din bedömning ska ligga till grund för det slutliga urvalsbeslutet använd algoritmer inte din eller flera personers helhetsbedömning.
  10. Korta intervjuer är ofta lika bra som långa intervjuer

När du gör detta rätt ska du tänka på det att det finns saker som kan bidra till att din intervju kan gå snett

  1. Negativ information vägs tyngre i jämförelse med positiv information
  2. Tidigt intryck i intervjun blir avgörande för beslut, det blir svårt att bortse från din tidiga känsla eftersom det är svårt att hålla samma uppmärksamhet genom hela intervjun
  3. Om du blir attraherad av personen påverkar det din bedömning.
  4. Om kandidaten inte liknar dig (tex etniskt ursprung, kön) kommer det påverka ditt beslut
  5. Många kandidater anpassar hela tiden svaren för att de vill ha jobbet vilket blir svårt att tolka för dig
  6. Ordning spelar roll, om du bedömer att det är en svag kandidat kommer du sannolikt bedöma nästa kandidat som bättre än vad hen är (och tvärtom).
  7. Undvik djupintervjuer (långa intervjuer ger ofta mer positiva resultat) om inte den som ska intervjua har klara belägg för att det finns en korrelation mellan metoden och det du vill förutsäga.

 

Lästips

Richard A. Posthuma, Frederick P. Morgeson, and Michael A. Campion, “Beyond Employment Interview Validity: A Comprehensive Narrative Review of Recent Research and Trends over Time,” Personnel Psychology 55 (2002): 1–82.

Robert L. Dipboye, “The Selection/Recruitment Interview: Core Processes and Contexts,” in
The Blackwell Handbook of Personnel Selection, ed. Arne Evers, Neil Anderson, and Olga
Voskuijil (Oxford, UK: Blackwell Publishers, 2004), 121–142.

Murray R. Barrick, Jonathan A. Shaffer, and Sandra W. DeGrassi, “What You See May Not
Be What You Get: A Meta-Analysis of the Relationship between Self-Presentation Tactics
and Ratings of Interview and Job Performance,” Journal of Applied Psychology 94 (2009):
1394–1411.

Julia Levishina and Michael A. Campion, “Measuring Faking in the Employment Interview:
Development and Validation of an Interview Faking Behavior Scale,” Journal of Applied
Psychology 92 (2007): 1638–1656.

Sara L. Rynes, Robert D. Bretz Jr., and Barry Gerhart, “The Importance of Recruitment in
Job Choice: A Different Way of Looking,” Personnel Psychology 44 (1991): 24.

Frank L. Schmidt and Ryan D. Zimmerman, “A Counterintuitive Hypothesis about
Employment Interview Validity and Some Supporting Evidence,” Journal of Applied
Psychology 89 (2005): 553–561.

 

 

 

Evidensbaserat urval i Göteborg

Anders SjöbergUrvalsbeslut2 Comments

Idag hade jag förmånen att få träffa yrkesverksamma rekryterare och berätta om hur urvalsprocessen kan bli evidensbaserad. Jag var inbjuden för 1 dags föreläsning i Göteborg för beskriva vad forskningen säger om bedömningstjänster i arbetslivet. 

Frågeställningen var följande:

SKL (Sveriges Kommuner och Landsting) står inför en utmaning och bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

Jag berättade vad forskningen säger om validiteten att använda olika bedömningstjänster (tex intervjuer, test och assessment center), men påpekade även att det är viktigt att sätta validiteten i relation till vad kostnaden är att använda dessa metoder.

Vill tacka deltagande för en ytterst givande dag, och speciellt vill jag tacka Susanne Erixon som på helt eget initiativ ordnade detta evenemang på Clarion Hotel i Göteborg.

Testgranskning i Sverige och andra länder, en lägesrapport

Anders SjöbergUrvalsbeslut4 Comments

Efter några dagar i Ljubliana (Slovenien) på uppdrag av EFPA, European Federation of Psychologists´ Association, med diskussioner över kulturer hur psykologiska test används på bra och dåliga sätt, får vi nog vara lite självkritiska hur vi i Sverige agerar. Trots en modell för testgranskning som EFPA tagit fram (länk här) är i stort sätt den kliniska testningen, dvs de test och bedömningar som leg psykolog gör i tex utredningar, är helt oreglerad. I stort sätt kan vem som helst börja sälja (eller ge bort) psykologiska test till leg psykologer, utan någon som helst granskning av kvaliteten i testen. Det är faktiskt arbets- organisationspsykologer (AO) som kommit längst i Sverige. Där erbjuds testkunder att få tillgång till test som är oberoende granskade av experter på området. I andra länder (tex Spanien) ingår inte bara AO test utan alla typer av standardiserade bedömningsmetoder som används inom vård, skola och arbetslivet. I detta inlägg kommer jag fokusera på arbetspsykologiska test och ge en sammanfattning vad som sker på svenska marknaden och delvis jämföra vad som sker i Norge och övriga länder.

Tills för några år sedan var det Stiftelsen för Tillämpad Psykologi (STP), en underavdelning till Psykologförbundet som skötte testgranskningen. Pionjärerna på den tiden var först Christina Strömer Wilson och senare Mattias Lundberg samt under senaste 10 åren Eva Bergvall som drev dessa frågor. Nu är det docent Johnny Hellgren som är ansvarig för STP. I början av 2000-talet var jag en av dem som promotade detta system av granskning, även om jag ibland tyckte det var jobbigt då det var jag som (med duktiga kollegor) hade utvecklat eller anpassat testen som granskades. I de allra flesta fallen fick vi dock bra betyg och tips av granskarna hur vi kunde bli bättre.

Idag är det DNV-GL som granskar test i både Sverige och Norge. Hur denna process går till går att läsa här.

Dessa test är granskade och godkända i Sverige. 

  • Hogans Personlighets Inventorium (HPI)
  • JobMatch Talent (JTM)
  • Measuring Integrity (MINT)
  • NEO-PI-3
  • NEO FFI-3
  • Predictive Index
  • UPP – Understanding Personal Potential (UPP Personality, UPP Ability, UPP Screening)

Det är lite oklar status på UPP, då UPP finns med i ett dokument men i ett annat dokument finns det inte med (kommer uppdatera denna information när jag får besked från DNV-GL). Viktigt att säga att efter tre år måste certifikatet förnyas, dvs det som testleverantören fick kritik att åtgärda i den tidigare granskningen måste ha genomförts tre år senare, därav att vissa test kan ”falla bort” från listan. En annan viktig detalj är att det är endast en språkversion som gäller per granskning, dvs har man granskat ett test i Norge på Norska, gäller EJ den granskningen i Sverige. Detta för att det helt enkelt är olika språkversioner. Inte heller gäller granskningen och godkännande av kringprodukter såsom kompetensmodeller och intervjuunderlag baserat på testresultat. 

Även om testet blir godkänt, så är inte granskningen offentlig. DNV:s godkännande gäller att testet är ”good enough” så även om testet är godkänt kan det finnas information i granskningen som kan vara av intresse för testköparen. Detta skiljer sig väsentligt från den tidigare svenska modellen där det gick att köpa granskningen av STP. Jag uppmanar alla testleverantörer att lägga upp granskningen på hemsidan så att testköpare själva kan avgöra om testet är ”good enough”.

Varför är det inte fler i Sverige som blivit godkända? Här kommer ett antal funderingar med kommentarer.

  • Det är dyrt att granskas (det exakta priset bestäms av DNV och testleverantören). Detta kan vara kännbart för nya mindre testleverantörer
  • Kunder i Sverige ställer inte så höga krav på testleverantörer att deras test som de använder ska vara granskade och godkända.
  • Testleverantörer har ej kunskapen att genomföra studier som kan belägga testets validitet och reliabilitet. Och även om de har den kunskapen så har de inte möjligheten att dokumentera resultatet. Som jag bedömer det är det endast traditionella testleverantörer som tex Hogrefe som idag har personal som är anställda i varje land för att skriva manualer till sina test (det kan naturligtvis finnas undantag).
  • Testleverantörer har blivit uppköpta av bolag som tycker att kvalitetstssäkring av instrumenten är ”wasted time”.
  • Testleverantörer anger att testen är granskade, men ”glömmer” att nämna att det inte gäller just denna språkversion.
  • Digitaliseringen av test har gjort att ibland går lite snabbt i uppkopplingen mellan testleverantören och kunden. Har stött på exempel där kunden inte förstår vilket test som egentligen har länkats till hens hemsida.

Hur ser det då ut i andra europeiska länder? I England har ca 150 test granskats och godkänts, mestadels arbetspsykologiska test men också kliniska test. I Nederländerna och Spanien granskas i stort sätt alla test som kommer ut på marknaden. I Polen har precis testgranskningen börjat och i många andra länder är testgranskning helt frånvarande.

Vad kan då göras? Jag tror att enda sättet är att du som kund till test ställer krav på testleverantören att det ska finnas dokumentation som på något sätta är granskad av oberoende part. Det kan i vissa fall undantas när test är under utveckling. Det tar någonstans mellan 2-5 år att genomföra och dokumentara allt som granskarna behöver.  Modellen som granskarna använder är, som jag nämnt ovan, EFPA test review standards. I detta dokument ser du all information som bör finnas tillgänglig. Viktigt att komma ihåg är att EFPA INTE har något med granskningen att göra, det kan se olika ut i olika länder men det är aldrig EFPA som godkänner test, det är ett oberoende certifieringsorgan (i Norge och Sverige är det DNV i England är det BPS). 

Nästa steg för mig är att vara med att utveckla/revidera EFPA:s test review model. Tillsammans med fyra andra länder har vi till sommaren på oss att ta fram ett förslag till revidering. Spännande och viktig jobb. Psykologförbundet i Sverige finansierar mitt arbete, särskilt tack till ordförande Anders Wahlberg som tycker detta är ett viktigt att Sverige är aktivt. Hör av mig på bloggen efter vårt nästa möte i Moskva, april 2019.

Föreläsning om evidensbaserat urval i Göteborg

Anders SjöbergUrvalsbeslutSkriv en kommentar

FÅTAL PLATSER KVAR

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

Vad säger forskningen? En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 8 november 2018 kl 9 – 16

Var: Clarion Hotel Post, Drottningtorget 10, Göteborg

Kostnad: 1700 kr exkl. moms – (lunch och fika ingår)

Anmälan: forelasning8@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.