Psychometrics Sweden & Assessment Engine

Psykologiförbundets Psykologikonferens bjöd på en mängd seminarier inom arbets- och organisationspsykologi. Själv deltog jag med tre presentationer på konferensen. Nedan kommer jag sammanfatta mina presentationer som jag höll tillsammans med mina duktiga kollegor, Sofia och Sara. Samt också berätta om konferensen absoluta höjdpunkt.

Den första presentationen visade på möjligheten att använda ”text mining” vid analys av utsagor om chefers ledarskap. Sara Henrysson Eidvall och jag fick uppdraget av en organisation för ett år sedan att analysera öppna skriftliga svar om ledarskap insamlad från sammanlagt 80 chefer. Sara jag berättade om både svårigheter och möjligheter att kvantifiera text data. Det var vårt första försök, även om det var enormt mycket jobb att analysera data för första gången bedömer vi att text mining är ett verktyg som kommer att användas inom en mängd olika områden i framtiden. Bäst i Sverige på detta är Sverker Sikström vid Lunds universitet som precis publicerat en artikel i den ansedda tidskriften Psychological Methods. Där beskrivs tillvägagångssättet när öppna svar ska operationalisera psykologiska begrepp såsom personlighet. Detta kommer vara användbart, när metoden förfinats inom urval och rekrytering.

I den andra presentationen berättade jag om det personlighetstest vi precis utvecklat och normerat för den svenska arbetsmarknaden. Det unika med detta test är att det utgår från hur din personlighets tar sig uttryck på jobbet. Alla frågor som du svarar på i testet utgår från att du är på din arbetsplats (eller i skolan). Studier har visat att kontextualisera frågor kan höja validiteten (Shaffer & Postletwaite, 2012). Även om personlighet är stabilt över situationer finns det ändock variation mellan hur du är på jobbat och hemma . Personality150 är den fullständiga versionen av testet som först och främst är en bra beskrivning av en persons personlighet på arbetet. Resultatet presenteras i de fem övergripande faktorerna i Big Five modellen tillsammmans med 6 facetter under varje bred faktor. Personality30 är den korta versionen av samma test, som först och främst ska användas för att ta urvalsbeslut när resultatet på fem personlighetsfaktorer vägs ihop med ett intelligenstest. Vid utvecklingen har vi använt både klassisk testteori och item response theory, och de valideringsstudier som genomförts (Sjöberg & Sjöberg, 2019) visar på mycket lovande resultat, både för personality150 och personality30.

Den tredje presentationen berörde det faktum att den intuitiva tolkningen av testresultat håller på att dö ut pga att algoritmer håller på att ta över det arbete som idag många rekyterarere sysslar med. Istället för att rekyteraren själv väger ihop testresultatet har det (som bekant) visat sig att algoritmer slår den intuitiva tolkningen med stor marginal. I presentationen visade Sofia Sjöberg först vilket massivt forskningsstöd det finns för detta (sedan 1950-talet och framåt) och rekryterares och psykologers enorma motstånd att ta till sig denna forskning. Flera i publiken kunde vittna om att de övergivit den intuitiva tolkningen och vilken tidsbesparing och validitetshöjning det blir av detta i urvalsbeslut.

Även om det är trevligt att själv föreläsa så var höjdpunkten på konferensen när Deniz Ones berättade om hennes senaste forskningsresultat och praktiska arbete med personlighetsbedömning. På 1 timme lyckades Deniz beröra nya personlighetsmodeller, likheten och olikheten mellan att bedöma normalpersonligheten och personlighetsstörning, nya  metaanalyser avseende hur Extraversion relaterar till både ”på jobb” beteenden och andra beteenden, samt det tydliga sambandet mellan målmedvetenhet och olika typer av prestation. Deniz pekade på att algoritmer inom urval är på frammarsch. Jag fick en pratstund med Deniz efter konferensen och frågade vad jag och Sofia höll på med nu för tiden. Jag berättade att vi har gått 100% in för att underlätta testandet i Sverige genom att utvecklas EBU™ till att innehålla de senaste algoritmerna baserat på det enorma arbete hon gör genom att genomföra storskaliga metanalyserna. Något förvånat hörde jag henne säga att hon har koll på min bloggsida! Jag gillar att hålla koll på vad som händer i praktiken fortsatte hon. När jag frågade vad som är hetast just nu i assessment världen rekommenderade hon att kolla vidare på hur textmining kan användas inim urval, och att det som håller på att avta är tron på att ”game based assessments” kan frälsa rekryteringsvärlden, game based assessments är en avtagande bedömning enligt henne.

Nu sitter jag jag och väntar på flyget till SIOP, den årliga konferensen i USA för oss nördar inom arbets- och organisationspsykologi. Vi är ett gäng svenskar som åker över, men för er som är hemma kommer jag naturligtvis blogga de närmaste dagarna om det dyker upp något intressant på SIOP 2019 Washington DC.

Referenser

Oscar, N. E. E., Oscar, K., Garcia, D. (2019). Semantic measures: Using natural language processing to measure, differentiate, and describe psychological constructs. Psychological Methods, 24, 92-155. 

Shaffer, J. A., Postletwaite, B. E. (2012). A matter of context: A meta-analytic Investigation of the relative validity of contextual and noncontextual personality measures, Personnel Psychology, 445-494, 65.

Sjöberg, S., & Sjöberg, A. Assessment Engine (2019). Technical Manual. Psychometrics Sweden AB. Stockholm. Sweden.

 

 

 

 

Ett vanligt tillvägagångssätt när man rekryterar personal är att administrera ett begåvningstest tillsammans med ett personlighetstest. Ett begåvningstest mäter maximal prestation, dvs kandidaten ska anstränga sig för att lösa så många uppgifter som möjligt inom utsatt tid. När personlighet testas så är inte maximal prestation i fokus utan typisk prestation – kandidaten svarar på ett antal frågor som mäter hur hen typiskt tänker, känner och agerar i olika situationer. Nedan kan du läsa om både begåvning och personlighet. Du har också möjlighet att testa din begåvning och din personlighet med Assessment Engines test. Du får återkoppling direkt på skärmen

Klicka här om du vill gå direkt till testning

De svar du lämnar är anonyma. All information behandlas och sammanställs på gruppnivå och kan inte härledas till dig som person.

Begåvning

Egenskapen begåvning, eller generellbegåvning som den ofta kallas, avser förmågan att snabbt lära sig nya saker, att effektivt och logiskt bearbeta information, att se (ibland abstrakta) sammanhang och bakomliggande mönster. Även förmågan att använda information och fakta för att dra logiska slutsatser och hitta lösningar på nya problem ingår i begåvningsbegreppet. De kognitiva (tankemässiga) processerna är även relaterade till arbetsminnets kapacitet – effektiv problemlösning kräver att fakta, förutsättningar, konsekvenser och alternativ kan hållas i minnet.

Med detta som utgångspunkt är det lätt att förstå varför forskningen otvetydigt visar att begåvning är den enskilt viktigaste egenskapen för arbetsprestation. Detta faktum gör den förstås extremt relevant att kartlägga i rekryterings- och urvalssammanhang.

Frågan är då hur begåvning kan mätas på bästa sätt. Att begåvningstest, det vill säga standardiserade uppsättningar med problemlösningsuppgifter, är det mest tillförlitliga och kostnadseffektiva sättet att mäta generell begåvning på, är otvetydigt. Generell begåvning kan även mätas genom till exempel arbetsprov eller olika typer av övningar, men sådana verktyg är inte alltid tillämpbara i praktiken. De lider ofta av brister i tillförlitlighet (reliabilitet), och de är betydligt mer kostsamma att använda jämfört med ett begåvningstest.

Personlighet

Att människor skiljer sig åt i personlighet och att dessa skillnader har betydelse för hur vi tänker, känner och beter oss är något som få människor betvivlar och de vetenskapliga beläggen för att detta stämmer har ökat markant under det senaste årtiondet. Inte minst i arbetslivet påverkar vår personlighet våra beteenden och sätter ramarna för våra styrkor och svagheter. Det innebär att oavsett

vilken arbetsplats och vilka uppgifter eller position som en person befinner sig i eller är på väg till, så är personligheten viktig för hur man ser på sig själv och på andra, hur andra uppfattar en själv, och hur man kommer att fungera, trivas och prestera.

Den så kallade femfaktormodellen (FFM) är den mest robusta modellen för att strukturera och mäta personlighet. Det innebär att oavsett vad syftet är med att kartlägga en individs personlighet, exempelvis urval, utveckling, eller självkännedom, så är den empiriskt mätbara strukturen densamma. FFM har därför en självklar roll i beskrivningar av personligheten och är även den modell som har starkast stöd i forskningen vad gäller att förutsäga (predicera) beteenden på arbetsplatsen. FFM har fått sitt namn efter sina fem övergripande personlighetsdrag vilka beskrivs här:

Känslomässig instabilitet

Detta personlighetsdrag rör generellt hur känslomässigt stabil och välanpassad en person är. Känslomässig instabilitet avspeglar hur säker eller osäker en person är på sig själv, hur väl man kan motstå impulser, på vilket sätt man hanterar stress och vilken sinnesstämning man i allmänhet har. En del personer blir lättare irriterade och frustrerade, och känner sig lättare nedslagna och modstulna om saker går emot dem. Andra har ett lugnt och jämnt humör, en positiv syn på framtiden och är stabila även under besvärliga förhållanden.

Extraversion

Extraversion avspeglar hur social och sällskaplig en person är, i motsats till att vara mer reserverad och kanske blyg. Vissa personer gillar att träffa nya människor, de stimuleras av nya omgivningar, är pratsamma och ofta underhållande. Andra håller en lägre profil, är inte lika benägna att ta kontakt med andra och trivs bäst i mindre sällskap eller med att vara ensamma. Detta personlighetsdrag omfattar även gladlynthet i motsats till ett mindre sprudlande uttryckssätt (men inte nödvändigtvis ledsamhet), grad av vitalitet och ”livstempo”, liksom huruvida en person uppskattar spänning och stimulans från omgivningen eller ej.

Öppenhet

Öppenhet avspeglar egenskaper som fantasifullhet kontra ett mer alldagligt förhållningssätt, och viljan att prova det nya kontra att föredra det som är känt sedan tidigare och redan beprövat. Öppenhet omfattar också i vilken grad en person är intellektuellt nyfiken och generellt sett öppen för nya erfarenheter och upplevelser.

Sympatiskhet

Detta personlighetsdrag handlar i stor utsträckning om vilken ”stil” en person har i sina relationer till andra. Vissa personer är varma, tillitsfulla, sympatiska och ivriga att hjälpa, medan andra är mer avvaktande och skeptiskt inställda till sin omgivning och har lättare för att anta ett kritiskt synsätt. Sympatiskhet reflekterar också egenskaper som ”ömsinthet kontra realism” och ”följsamhet kontra konkurrensinriktning”.

Målmedvetenhet

Detta personlighetsdrag avspeglar i vilken utsträckning en person gillar att aktivt planera, har en stark vilja och är beslutsam. Den rör också drivkraften att prestera, att vara noggrann, pålitlig och ha självdisciplin, i motsats till att vara mer avslappnad, spontan och att ta lättare på förpliktelser. Målmedvetenhet avspeglar också om man tenderar att vara eftertänksam eller snarare har en tendens att fatta snabba och ibland förhastade beslut.

De fem personlighetsdragen samvarierar på olika sätt och påverkar tillsammans en persons beteenden och prestation på arbetet. Resultatet på varje personlighetsdimension ger en fingervisning om en persons sätt att ta sig an arbetsuppgifter, hur man interagerar med chefer, medarbetare och kunder, och i vilka miljöer och i vilken typ av arbete som en person kommer bäst till sin rätt. De olika personlighetsdragen har alla för- och nackdelar i olika yrken; vissa egenskaper tycks dock vara universellt viktiga oavsett yrken eller position.

Vill du testa din begåvning och personlighet?

testa.assessmentengine.se

 

När en organisation påbörjar en rekryteringsprocess så sker någon form av arbetsanalys, dvs en analys av situationen som den nya personen ska arbeta i. Denna analys överförs sedan till en specifikation av vilka kunskaper, färdigheter och andra personliga egenskaper som den perfekta kandidaten ska besitta. Det är en version av denna specifikation som vi sedan ser i platsannonser, där kan vanliga egenskaper som social förmåga, stresstålighet och team känsla vara egenskaper som eftersöks. Platsannonsen utgörs i princip av resultatet från arbetsanalysen med fokus på positiva och konstruktiva aspekter och formulerat på ett sätt som ska attrahera sökanden till tjänsten. 

Mycket sällan står det i en platsannons vad man INTE ska göra på jobbet, t ex att man inte ska stjäla saker, inte mobba andra på jobbet, och/eller dra benen efter dig. Det övergripande begreppet för denna typ av beteenden är kontraproduktiva beteenden på arbetet, på engelska ”Counter productive Work Behavior” (CWB), och enligt forskningen så är det minst lika viktigt att förutsäga CWB som att kandidaten ska besitta egenskaper som social förmåga, stresstålighet och teamkänsla.

CWB omfattar avsiktliga beteenden som är riktade mot både organisationen och/eller individer som ingår i denna. Exempel på kontraproduktiva beteenden är; stöld, förstörelse av egendom, missbruk av information, missbruk av tid och resurser och dålig arbetskvalitet och bristande närvaro. Denna typ av beteenden har stora ekonomiska konsekvenser för organisationer – så pass stora att man kan räkna med att 20 % av alla verksamheter misslyckas på grund av detta (Sjöberg & Sjöberg, 2007).

Runt 2004 började jag och några kollegor undersöka om man skulle kunna konstruera ett test för att förutsäga CWB. Vi fann en hel del belägg för att en kombination av personlighetsdimensionerna Emotionell stabilitet, Sympatiskhet och Målmedvetenhet tillsammans kan förutsäga CWB. Träffsäkerheten i förutsägelsen är långt ifrån perfekt, men om personer med låga poäng på dessa skalor plockas bort tidigt i urvalsprocessen kan en del CWB minska i organisationen. Testet som vi utvecklade benämndes MINT (MeasuringINTegrity), och säljs idag av testleverantören Assessio. 

Nu är det 2019 och en hel del har hänt forskningsmässigt. I en stor studie av Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S, (2014) så sammanfattar forskarna flera meta-analyser och kan bl a konstatera att kontraproduktiva beteenden är svagt negativt (r=-.11) relaterat med intelligens. Det betyder att även intelligens ska tas hänsyn till när man testar för att förutsäga CWB, detta visste vi inget om när vi utvecklade MINT. 

Det har dessutom visat sig att det är en särskild aspekt av personligheten som visat sig ha en större betydelse än vad som tidigare varit känt , och det är faktorn Sympatiskhet. Låg grad av Sympatiskhet karaktäriseras  av brist på tillit till andra och svårigheter att vara följsamma i det sociala samspelet genom att vara manipulativ, självisk, arrogant och hårdhudad. Personer med mycket låga poäng på Sympatiskhet utför med större sannolikhet kontraproduktiva handlingar på arbetsplatsen och  kan genom att uppvisa dessa beteenden vara skadliga för organisationen. Även  låg målmedvetenhet (samvetsgrannhet) och avsaknad av öppenhet hos individer har visat sig öka sannolikheten till kontraproduktiva beteenden. Detta betyder att faktorn emotionell stabilitet, som forskningen fram till 2014 identifierat som den viktigaste faktorn och är den faktor som MINT mäter till 80% (Sjöberg & Sjöberg & 2007), har en begränsad betydelse för att kunna förutsäga kontraproduktiva beteenden.

Så, en hel del har hänt de senaste 15 åren avseende personlighetstestning i syfte att förutsäga CWB, inte minst det faktum att emotionell stabilitet visat sig ha begränsad prediktiv kraft. Men, det har också visat sig att det är bättre att använda en kombination av hela fem faktor modellen (FFM) tillsammans med intelligens för att förutsäga CWB. Dagens testning för att förutsäga CWB bör därför inkludera ett intelligenstest, även om det har en liten effekt för att förutsäga CWB så bidrar det ytterligare i prediktion. Låg grad av Sympatiskhet bör viktas upp betydligt, men även låg grad av öppenhet ska vägas in i bedömningen tillsammans med låg målmedvetenhet. 

Assessment Engine och CWB

Till skillnad från andra leverantörer av arbetspsykologiska test för urval så har vi på Assessment Engine valt att utveckla psykometriskt sunda test där resultat i form av testpoäng tolkas genom standardiserade evidensbaserade algoritmer (EBUer). Dessa algoritmer optimerar testresultaten i förhållande till det som ska förutsägas – detta ska förstås som att det inte finns någon annan ”tolkning” av testresultaten som kan ge bättre träffsäkerhet.  I praktiken är det dock vanligast att den som använder ett test ska avgöra hur ett testresultat ska vägas samman till en helhetsbedömning för varje kandidat. Detta sker ofta med hjälp av yrkespersoner som, av testleverantören, är tränade i hur tolkningen av testpoängen ska gå till. Detta sätt att tolka och väga ihop testresultat kan dock inte dra nytta av testresultaten på ett standardiserat och optimerat sätt, och därmed sjunker träffsäkerheten (validiteten) i förutsägelsen.  Att validiteten sjunker och man har en kostnad för utbildning i tolkning av testresultat samt en större kostnad för den manuella ”hanteringen” testresultaten, gör att den ekonomiska nyttan sjunker betydligt (Sjöberg, 2014; Sjöberg & Sjöberg, Näswall & Sverke, 2012).

Assessment Engine fokuserar på vad du är i behov av att förutsäga, du behöver därför först fastslå vad du vill förutsäga. 

När du valt vad du är i behov av att förutsäga så väljer Assessment Engine vilka test (typer avuppgifter) som dina kandidater behöver svara på för att systemet ska kunna leverera en sammantagen bedömning med maximerad kvalitet (maximal prediktion). 

Assessment Engine sköter förstås även själva sammanvägningen av testresultaten. Kort sagt så kan du som användare fokusera vad du vill förutsäga istället för att behöva fundera på vad som ska mätas och du slipper även arbetet med själva tolkningen, sammanvägningen, av testresultaten. 

I Assessment Engine kan du välja bland många kriterier (evidenbaserade algoritmer, EBUer), CWB är ett. I Assessment Engine ser det ut så här.

Detta resultat kommer alltid baseras på det absolut senaste forskningsresultatet, ändras forskningsresultat ändras algoritmen (inte testen). Assessment Engine kommer alltid ligga steget före andra testleverantörer som fokuserar på vad som ska mätas. Assessment Engine följer även gängse krav på att genomföra en arbetsanalys, detta gör du genom att välja EBUs i Assessment Engine. Så om du vill ligga i fronten att vara evidensbaserad och datadriven i dina urvalsbeslut ska du använda Assessment Engine.

Klicka på nedan länk för att begära inlogg till ett datadrivet urval

Assessment Engine

Referenser

Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S. (2014, August 18). A meta-analysis of the relationship between general mental ability and nontask performance. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/a0037547

Sjöberg, S., & Sjöberg, A. (2007). MINT Measuring Integrity. Manual. Stockholm: Assessio International.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M.  (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology, 53, 368–373.

Jag har tidigare inlägg kritiserat kompetensmodeller, särkilt i anslutning till personlighetstestning och annan psykologisk testning i arbetslivet. Nu har jag och mitt Assessment Engine team byggt en assessment plattform som är ett alternativ till kompetensmodeller. Istället för att säga att Extraversion mäter en kompetens så har vi utvecklat ett test som mäter bla Extraversion, och hör och häpna vi har döpt den faktorn i vårt test till Extraversion, kort och gott för att det mäter Extraversion.

Men vad är då nytt här förutom att Assessment Engine inte säger att vi mäter en kompetens. Jo, i Assessment Engine har vi konstruerat algoritmer som bygger på evidens från metaanalyser vilka talar om för oss vilka samband det finns mellan tex Extraversion och arbetsrelaterade beteenden. Vi har byggt ett evidensbaserat system som du kan känna dig lugn med att det bygger på den absolut senaste forskningen, inga påhittade kompetensmodeller.

Hur har vi då gjort? Dessa steg har tagits.

1. En genomsökning av samtliga meta analyser som utreder sambanden mellan personlighet, och/eller begåvning med arbetsrelaterade kritierier (vi kallar det EBU)
2. Utvecklat två nya personlighetstest (just nu finns den korta versionen av testet i Assessment Engine)
3. Utvecklat ett nytt begåvningstest
4. Genom statistiska analyser av våra test och metanalyserna konstruerat algoritmer som maximalt väger ihop testresultat för varje kandidat så att sannolikheten att välja rätt person för jobbet ökar.

Genom att ständigt följa forskningen om personlighet och begåvning kommer vi utveckla denna plattform till att bli en heltäckande plattform för bedömningstjänster i arbetslivet. Idag kan du med hjälp av Assessment Engine tolka och ta beslut på 6 stycken evidensbaserade kriterier.

Vill du testa Assessment Engine (KLICKA HÄR). 

Lycka till

Psykometri betraktas av många som svårtillgängligt och besvärligt att lära sig. Det finns en mängd bra böcker på engelska men det har hitintills saknats en hel bok på svenska om grundläggande psykometri. Det är Bertil Mårdberg och Leif Carlstedt som skrivit boken som precis heter detta, grundläggande psykometri.

Boken, som är på ca 250 sidor tar upp allt som en testutvecklare, och de som säljer test bör känna till. För den som är intresserad testanvändare kan detta betyda att vederbörande kan bli en bra upphandlare av olika bedömningstjänster i arbetslivet. Boken tar upp allt väsentligt som berör mätteorin inom psykologin, den sk klassiska testteorin. Bokens kapitel handlar naturligtvis om reliabilitet och validitet, men tar även upp mer konkret HUR man arbetar som psykometriker när test ska utvecklas, från början till slut. Exempel på dessa kapitel är Itemanalys (kapitel 3), moment i testkonstruktion (kapitel 8) och från idé till färdigt test (kapitel 11). Även om boken kan användas för att lära sig mer allmänt om psykometri är utgångspunkten att test kan användas för urval. 

Därför berörs både intelligens- och personlighet som begrepp när test ska utvecklas. Boken beskriver även logistisk analys, även kallad Item Response Theory (IRT). Hade jag haft denna bok när jag själv försökte lära mig detta i början av 90-talet hade det varit lite enklare. Jag kommer definitivt använda denna bok inom utbildning, både på universitetet och i de utbildningar jag har i Psychometrics Swedens regi. Passar utmärkt för dig som vill certifiera dig som testanvändare, och ni testleverantörer som har utbildningar, särkilt ni som utbildar, köp och läs på, ni kommer bli 100% bättre utbildare och kunna svara på alla knepiga frågor från era kursdeltagare (givet att testet ni utbildar på är bra). 

Extra roligt att denna bok nu finns i handeln är att det är Bertil och Leif som ger ut boken, de båda herrarna (tillsammans med Jan Eric Gustafsson och Sten Henrysson) är förmodligen de bästa psykometrikerna i Sverige. Bertil hjälpte mig i mitt första utvecklingsprojekt, intelligenstestet BasIQ. Jag hade precis doktorerat 1997 och fick jobb som psykometriker på dåvarande Psykologiförlaget, utan att jag kunde något om psykometri (man kan ju fråga sig hur urvalsprocessen gick till, men det är en annan historia). 

Dåvarande chefen (och fortfarande chefernas chef) Katarina Forssén tyckte att jag skulle utveckla ett nytt intelligenstest baserat på test som utvecklats på 50-60 talet (som egentligen var kopior på test hämtat från USA). Jag fick en ICA påse med gamla papper och penna test och började gräva i påsen, men jag tänkte, varför inte ta rygg på någon som kan det här? Jag ringde Bertil. Bertil blev min mentor, han lärde mig om Item analys, algebra, strukturekvationer, regressioner och kanonisk korrelation. Inget var omöjligt att göra enligt Bertil. Utan Bertil hade inte BasIQ blivit intelligenstestet nr 1 i Sverige (för urval). Tillsammans med Sara Henrysson (ja precis dotter till Sten Henrysson) slutförde vi det projektet 2001. Även om varken Bertil, Sara eller Katarina får ”cred” för detta på Assessios hemsida, så var det så.

Leif träffade jag nyligen för första gången (även om jag läst mycket vad han skrivit genom åren). Det var ca 4 år sedan då jag fick ett uppdrag av Försvarsmakten. Min uppgift var att se över intelligenstestningen inom försvaret, men det gled sedan över på hela urvalsprocessens validitet. Psykologerna där tyckte att mina uttalande borde verifieras av Leif, som enligt dem var PSYKOMETRIKERN. Leif med sitt ödmjuka sätt och enorma kunskap och erfarenhet sa att den där Anders han har rätt i det mesta han säger. Jag tog det som en enorm komplimang. Under samma tid fick jag uppdraget av Mercuri Urval att hjälpa dem med en ISO 10067 certifiering, och bland annat fick jag i handen en psykometrisk manual, av Leif Carlstedt. Naturligtvis exemplarisk skriven, enligt traditionell psykometrisk modell, som tagen från den nu utgivna boken.

Finns det något som saknas i boken? Nej inte direkt, men flera avsnitt som behandlar validitet kan göra läsaren lite förvirrad då författarna blandar olika definitioner och olika tillvägagångssätt. Å andra sidan är det kanske den svåraste frågan att besvara, för man hamnar lätt i filosofiska resonemang där något rätt och fel är svårt att tyda. Men återigen boken fyller ett tomrum och kommer bli en klassiker i Sverige, inom ett ytterst specifikt område, den kommer inte slå försäljningsrekord som böckerna om diverse färger, men det kanske inte därför Bertil och Leif skrivit boken.

Boken går att beställa här endast 259 SEK

Jag har arbetat med metodutveckling i över 20 år. Jag har varit med och utvecklat eller anpassat kliniska test, test för skola och förskola, och test avsedda för arbetslivet både i Sverige och i andra länder. Jag har varit med och utarbetat nationella och internationella standards och riktlinjer för kvalitet i test och hur test ska användas, jag har undervisat på företag, myndigheter och akademiska lärosäten i hur man bör arbeta med urval, och jag har jobbat med många leverantörer av både test, andra metoder och tjänster kopplade till personbedömningar i arbetslivet. På det stora hela har det varit utvecklande, spännande och utmanande. Samarbetet med kunniga kollegor — som är sanna specialister inom sina områden, möten med vetgiriga studenter som vill lära sig mer, och inte minst diskussioner med kunder som vill förbättra sig och sin verksamhet, eller som desperat letar efter bra produkter och processer att tillämpa.

Användare som letar efter bra verktyg (traditionella produkter och processbaserade produkter inkluderade) har dock ett svårt arbete. Det råder nämligen brist på verktyg som är både bra, erbjuder tillförlitliga processer för att hantera testresultat på, och som samtidigt är tillgängliga för dem som behöver dem. Jag har därför, tillsammans med mitt nya dream team (klicka här för presentation av mitt team), den senaste tiden utvecklat och nu lanserat en ny digital plattform för personbedömningar i arbetslivet – Assessment Engine.

Kvalitet i hela leveransen

Assessment Engine införlivar de hörnstenar som jag anser vara viktiga för den här typen av verktyg och som jag tycker saknas på marknaden idag. Högst upp på listan ligger förstås kvalitet. Detta sträcker sig från användarvänlighet och teknisk stabilitet i plattformen via validitet och reliabilitet i de produkter (ofta test, men inte enbart) som levereras, till processen för hur poäng sammanfogas (det sker oundvikligen vid alla personbedömningar) och hur resultat slutligen presenteras för användare och återkopplas till respondenter. Den här röda tråden kan sammanfattas i missionen att hjälpa användare att göra rätt, eller åtminstone att göra så rätt som möjligt.

En testplattform ska bygga på forskning

Ibland får jag kritik för mina uttalanden om testanvändning, mitt svar på det är att det inte är jag som bestämmer vad jag ska säga. Jag återger bara det som forskningen säger. Vad säger då forskningen? Jo, vi vet från forskningen att både mätningen och processen där vi sammanfogar olika informationsbitar, däribland testpoäng, mår bäst av att hållas så fria som möjligt från mänsklig inblandning såsom (omedvetna) tankevurpor, intuition och magkänsla. Det är alltså ett mål i sig att standardisera produkter och processer så långt som möjligt. Assessment Engine tar fasta på evidens och standardisering, allt för att leverera så bra bedömningar och beslutsunderlag som möjligt.

Tillgänglighet

En annan hörnsten är tillgänglighet. Verktyg och processer ska vara tillgängliga för dem som behöver dem. Idag är verktyg för personbedömningar tillgängliga för dem som har möjlighet att lägga åtskilligt med tid och pengar på att utbilda sig i ett verktyg, betala dyra licenser och höga priser för produkter. Men ska det vara tillgängligt för dem som är i behov, professionella personbedömare förstås men även beslutsfattare i arbetslivet, så ställer det krav på utformning och leverans. Assessment Engines uppgift är att leverera produkter med tillhörande standardiserade processer. Görs detta på rätt sätt så anser jag och mitt team att det inte ska krävas någon omfattande utbildning i hur man använder verktyget, och det ska inte behöva vara förbehållet några speciellt utvalda yrkeskategorier. Assessment Engine är till för Er som vill göra professionella personbedömningar i arbetslivet.

Kostnadseffektivitet

Tillgänglighet är förstås relaterat till ytterligare en av de viktigaste hörnstenarna för Assessment Engine – kostnadseffektivitet. I Assessment Engine betalar man bara för det som man faktiskt kan använda – dvs resultaten, och en transparent prissättning gör att du kan bedöma den ekonomiska nyttan för dig med att använda Assessment Engine.

Så vad jag vill säga är, välkommen till Assessment Engine! Vi har funderat på detta i tjugo år, byggt det på ett halvår (bra jobbat). Assessment Engine levererar valida och reliabla test och evidensbaserade processer som genererar bedömningar av sannolik framtida prestation enklare, billigare och mer träffsäkert än någonsin. Kan det vara möjligt tänker du. Ja! Nu är det verklighet.

Anmäl ditt intresse genom att klicka på denna länk: Assessment Engine

 

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 26 mars 2019 kl 09 00–16 00

Var: Hotel C Stockholm, Vasaplan 4, Stockholm

Kostnad: 2 400 kr exkl. moms (självkostnadspris, lunch och fika ingår)

Anmälan: forelasning2019@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer fram till år 2026. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekrytering krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Det finns vetskap om att kunskap finns – men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som i första hand vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

 

Igår hade jag min tionde EBU utbildning. Som vanligt lär jag mig mycket när praktiken möter forskningen. Vill tacka representanter från Sverige Radio, Elgerot and partners AB och Centrallasarettet Kronoberg, Rekryterings- och bemanningsenheten för en givande dag. Bland mycket annat som diskuterades denna dag (och även i Göteborg i torsdags) var den omåttligt populära anställningsintervjun. Vill dela med mig av några punkter om den evidensbaserade intervjun (som inte ska blandas ihop med den kompetensbaserade intervjun).

• Använd situations baserade frågor (hur skulle du göra om….?), baserad på en seriös arbetsanalys dvs ställ frågor om situationer som du kan bedöma utifrån vad som är rätt och fel svar på frågan. Dessa situationsfrågor fungerar bäst när det är fråga om mindre komplexa arbeten.
• Använd beteende baserade frågor (kan du beskriva när du….?), även dessa grundade på en seriös arbetsanalys, dvs ställ frågor som kandidaten kan referera till en situation där något hänt och be personen beskriva hur hen agerade i denna situation med sitt egna beteende, dessa frågor fungerar bäst när det är mer komplexa arbeten där du själv som expert kan bedöma vad som är bra beteende.

1. Poängsätt alla svar på dina frågor utifrån vad du menar med bra eller dåliga svar (detta ska bestämmas med hjälp av arbetsanalysen)
2. Basera dina frågor på arbetsrelaterade saker inte personens livshistoria
3. Ställ samma frågor till alla kandidater
4. Ställ högst 1-2 uppföljande frågor efter din huvudfråga
5. Träna och utveckla din intervju
6. Om det är möjligt, använd flera intervjuare
7. Diskutera inte dina resultat med andra mellan intervjuerna av kandidaterna
8. Använd ínte tidigare bedömningar som underlag för din intervju (tex psykologiska test resultat)
9. När din bedömning ska ligga till grund för det slutliga urvalsbeslutet använd algoritmer inte din eller flera personers helhetsbedömning.
10. Korta intervjuer är ofta lika bra som långa intervjuer

När du gör detta rätt ska du tänka på det att det finns saker som kan bidra till att din intervju kan gå snett

1. Negativ information vägs tyngre i jämförelse med positiv information
2. Tidigt intryck i intervjun blir avgörande för beslut, det blir svårt att bortse från din tidiga känsla eftersom det är svårt att hålla samma uppmärksamhet genom hela intervjun
3. Om du blir attraherad av personen påverkar det din bedömning.
4. Om kandidaten inte liknar dig (tex etniskt ursprung, kön) kommer det påverka ditt beslut
5. Många kandidater anpassar hela tiden svaren för att de vill ha jobbet vilket blir svårt att tolka för dig
6. Ordning spelar roll, om du bedömer att det är en svag kandidat kommer du sannolikt bedöma nästa kandidat som bättre än vad hen är (och tvärtom).
7. Undvik djupintervjuer (långa intervjuer ger ofta mer positiva resultat) om inte den som ska intervjua har klara belägg för att det finns en korrelation mellan metoden och det du vill förutsäga.

 

Lästips

Richard A. Posthuma, Frederick P. Morgeson, and Michael A. Campion, “Beyond Employment Interview Validity: A Comprehensive Narrative Review of Recent Research and Trends over Time,” Personnel Psychology 55 (2002): 1–82.

Robert L. Dipboye, “The Selection/Recruitment Interview: Core Processes and Contexts,” in
The Blackwell Handbook of Personnel Selection, ed. Arne Evers, Neil Anderson, and Olga
Voskuijil (Oxford, UK: Blackwell Publishers, 2004), 121–142.

Murray R. Barrick, Jonathan A. Shaffer, and Sandra W. DeGrassi, “What You See May Not
Be What You Get: A Meta-Analysis of the Relationship between Self-Presentation Tactics
and Ratings of Interview and Job Performance,” Journal of Applied Psychology 94 (2009):
1394–1411.

Julia Levishina and Michael A. Campion, “Measuring Faking in the Employment Interview:
Development and Validation of an Interview Faking Behavior Scale,” Journal of Applied
Psychology 92 (2007): 1638–1656.

Sara L. Rynes, Robert D. Bretz Jr., and Barry Gerhart, “The Importance of Recruitment in
Job Choice: A Different Way of Looking,” Personnel Psychology 44 (1991): 24.

Frank L. Schmidt and Ryan D. Zimmerman, “A Counterintuitive Hypothesis about
Employment Interview Validity and Some Supporting Evidence,” Journal of Applied
Psychology 89 (2005): 553–561.

 

 

 

Idag hade jag förmånen att få träffa yrkesverksamma rekryterare och berätta om hur urvalsprocessen kan bli evidensbaserad. Jag var inbjuden för 1 dags föreläsning i Göteborg för beskriva vad forskningen säger om bedömningstjänster i arbetslivet. 

Frågeställningen var följande:

SKL (Sveriges Kommuner och Landsting) står inför en utmaning och bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

Jag berättade vad forskningen säger om validiteten att använda olika bedömningstjänster (tex intervjuer, test och assessment center), men påpekade även att det är viktigt att sätta validiteten i relation till vad kostnaden är att använda dessa metoder.

Vill tacka deltagande för en ytterst givande dag, och speciellt vill jag tacka Susanne Erixon som på helt eget initiativ ordnade detta evenemang på Clarion Hotel i Göteborg.