Jag har tidigare inlägg kritiserat kompetensmodeller, särkilt i anslutning till personlighetstestning och annan psykologisk testning i arbetslivet. Klicka här, här och här för att läsa om detta i mina tidigare inlägg. Nu har jag och mitt Assessment Engine team byggt en assessment plattform som är ett alternativ till kompetensmodeller. Istället för att säga att Extraversion mäter en kompetens så har vi utvecklat ett test som mäter bla Extraversion, och hör och häpna vi har döpt den faktorn i vårt test till Extraversion, kort och gott för att det mäter Extraversion.

Men vad är då nytt här förutom att Assessment Engine inte säger att vi mäter en kompetens. Jo, i Assessment Engine har vi konstruerat algoritmer som bygger på evidens från metaanalyser vilka talar om för oss vilka samband det finns mellan tex Extraversion och arbetsrelaterade beteenden. Vi har byggt ett evidensbaserat system som du kan känna dig lugn med att det bygger på den absolut senaste forskningen, inga påhittade kompetensmodeller.

Hur har vi då gjort? Dessa steg har tagits.

1. En genomsökning av samtliga meta analyser som utreder sambanden mellan personlighet, och/eller begåvning med arbetsrelaterade kritierier (vi kallar det EBU)
2. Utvecklat två nya personlighetstest (just nu finns den korta versionen av testet i Assessment Engine)
3. Utvecklat ett nytt begåvningstest
4. Genom statistiska analyser av våra test och metanalyserna konstruerat algoritmer som maximalt väger ihop testresultat för varje kandidat så att sannolikheten att välja rätt person för jobbet ökar.

Genom att ständigt följa forskningen om personlighet och begåvning kommer vi utveckla denna plattform till att bli en heltäckande plattform för bedömningstjänster i arbetslivet. Idag kan du med hjälp av Assessment Engine tolka och ta beslut på 6 stycken evidensbaserade kriterier.

Vill du testa Assessment Engine (KLICKA HÄR). 

Lycka till

Psykometri betraktas av många som svårtillgängligt och besvärligt att lära sig. Det finns en mängd bra böcker på engelska men det har hitintills saknats en hel bok på svenska om grundläggande psykometri. Det är Bertil Mårdberg och Leif Carlstedt som skrivit boken som precis heter detta, grundläggande psykometri.

Boken, som är på ca 250 sidor tar upp allt som en testutvecklare, och de som säljer test bör känna till. För den som är intresserad testanvändare kan detta betyda att vederbörande kan bli en bra upphandlare av olika bedömningstjänster i arbetslivet. Boken tar upp allt väsentligt som berör mätteorin inom psykologin, den sk klassiska testteorin. Bokens kapitel handlar naturligtvis om reliabilitet och validitet, men tar även upp mer konkret HUR man arbetar som psykometriker när test ska utvecklas, från början till slut. Exempel på dessa kapitel är Itemanalys (kapitel 3), moment i testkonstruktion (kapitel 8) och från idé till färdigt test (kapitel 11). Även om boken kan användas för att lära sig mer allmänt om psykometri är utgångspunkten att test kan användas för urval. 

Därför berörs både intelligens- och personlighet som begrepp när test ska utvecklas. Boken beskriver även logistisk analys, även kallad Item Response Theory (IRT). Hade jag haft denna bok när jag själv försökte lära mig detta i början av 90-talet hade det varit lite enklare. Jag kommer definitivt använda denna bok inom utbildning, både på universitetet och i de utbildningar jag har i Psychometrics Swedens regi. Passar utmärkt för dig som vill certifiera dig som testanvändare, och ni testleverantörer som har utbildningar, särkilt ni som utbildar, köp och läs på, ni kommer bli 100% bättre utbildare och kunna svara på alla knepiga frågor från era kursdeltagare (givet att testet ni utbildar på är bra). 

Extra roligt att denna bok nu finns i handeln är att det är Bertil och Leif som ger ut boken, de båda herrarna (tillsammans med Jan Eric Gustafsson och Sten Henrysson) är förmodligen de bästa psykometrikerna i Sverige. Bertil hjälpte mig i mitt första utvecklingsprojekt, intelligenstestet BasIQ. Jag hade precis doktorerat 1997 och fick jobb som psykometriker på dåvarande Psykologiförlaget, utan att jag kunde något om psykometri (man kan ju fråga sig hur urvalsprocessen gick till, men det är en annan historia). 

Dåvarande chefen (och fortfarande chefernas chef) Katarina Forssén tyckte att jag skulle utveckla ett nytt intelligenstest baserat på test som utvecklats på 50-60 talet (som egentligen var kopior på test hämtat från USA). Jag fick en ICA påse med gamla papper och penna test och började gräva i påsen, men jag tänkte, varför inte ta rygg på någon som kan det här? Jag ringde Bertil. Bertil blev min mentor, han lärde mig om Item analys, algebra, strukturekvationer, regressioner och kanonisk korrelation. Inget var omöjligt att göra enligt Bertil. Utan Bertil hade inte BasIQ blivit intelligenstestet nr 1 i Sverige (för urval). Tillsammans med Sara Henrysson (ja precis dotter till Sten Henrysson) slutförde vi det projektet 2001. Även om varken Bertil, Sara eller Katarina får ”cred” för detta på Assessios hemsida, så var det så.

Leif träffade jag nyligen för första gången (även om jag läst mycket vad han skrivit genom åren). Det var ca 4 år sedan då jag fick ett uppdrag av Försvarsmakten. Min uppgift var att se över intelligenstestningen inom försvaret, men det gled sedan över på hela urvalsprocessens validitet. Psykologerna där tyckte att mina uttalande borde verifieras av Leif, som enligt dem var PSYKOMETRIKERN. Leif med sitt ödmjuka sätt och enorma kunskap och erfarenhet sa att den där Anders han har rätt i det mesta han säger. Jag tog det som en enorm komplimang. Under samma tid fick jag uppdraget av Mercuri Urval att hjälpa dem med en ISO 10067 certifiering, och bland annat fick jag i handen en psykometrisk manual, av Leif Carlstedt. Naturligtvis exemplarisk skriven, enligt traditionell psykometrisk modell, som tagen från den nu utgivna boken.

Finns det något som saknas i boken? Nej inte direkt, men flera avsnitt som behandlar validitet kan göra läsaren lite förvirrad då författarna blandar olika definitioner och olika tillvägagångssätt. Å andra sidan är det kanske den svåraste frågan att besvara, för man hamnar lätt i filosofiska resonemang där något rätt och fel är svårt att tyda. Men återigen boken fyller ett tomrum och kommer bli en klassiker i Sverige, inom ett ytterst specifikt område, den kommer inte slå försäljningsrekord som böckerna om diverse färger, men det kanske inte därför Bertil och Leif skrivit boken.

Boken går att beställa här endast 259 SEK

Jag har arbetat med metodutveckling i över 20 år. Jag har varit med och utvecklat eller anpassat kliniska test, test för skola och förskola, och test avsedda för arbetslivet både i Sverige och i andra länder. Jag har varit med och utarbetat nationella och internationella standards och riktlinjer för kvalitet i test och hur test ska användas, jag har undervisat på företag, myndigheter och akademiska lärosäten i hur man bör arbeta med urval, och jag har jobbat med många leverantörer av både test, andra metoder och tjänster kopplade till personbedömningar i arbetslivet. På det stora hela har det varit utvecklande, spännande och utmanande. Samarbetet med kunniga kollegor — som är sanna specialister inom sina områden, möten med vetgiriga studenter som vill lära sig mer, och inte minst diskussioner med kunder som vill förbättra sig och sin verksamhet, eller som desperat letar efter bra produkter och processer att tillämpa.

Användare som letar efter bra verktyg (traditionella produkter och processbaserade produkter inkluderade) har dock ett svårt arbete. Det råder nämligen brist på verktyg som är både bra, erbjuder tillförlitliga processer för att hantera testresultat på, och som samtidigt är tillgängliga för dem som behöver dem. Jag har därför, tillsammans med mitt nya dream team (klicka här för presentation av mitt team), den senaste tiden utvecklat och nu lanserat en ny digital plattform för personbedömningar i arbetslivet – Assessment Engine.

Kvalitet i hela leveransen

Assessment Engine införlivar de hörnstenar som jag anser vara viktiga för den här typen av verktyg och som jag tycker saknas på marknaden idag. Högst upp på listan ligger förstås kvalitet. Detta sträcker sig från användarvänlighet och teknisk stabilitet i plattformen via validitet och reliabilitet i de produkter (ofta test, men inte enbart) som levereras, till processen för hur poäng sammanfogas (det sker oundvikligen vid alla personbedömningar) och hur resultat slutligen presenteras för användare och återkopplas till respondenter. Den här röda tråden kan sammanfattas i missionen att hjälpa användare att göra rätt, eller åtminstone att göra så rätt som möjligt.

En testplattform ska bygga på forskning

Ibland får jag kritik för mina uttalanden om testanvändning, mitt svar på det är att det inte är jag som bestämmer vad jag ska säga. Jag återger bara det som forskningen säger. Vad säger då forskningen? Jo, vi vet från forskningen att både mätningen och processen där vi sammanfogar olika informationsbitar, däribland testpoäng, mår bäst av att hållas så fria som möjligt från mänsklig inblandning såsom (omedvetna) tankevurpor, intuition och magkänsla. Det är alltså ett mål i sig att standardisera produkter och processer så långt som möjligt. Assessment Engine tar fasta på evidens och standardisering, allt för att leverera så bra bedömningar och beslutsunderlag som möjligt.

Tillgänglighet

En annan hörnsten är tillgänglighet. Verktyg och processer ska vara tillgängliga för dem som behöver dem. Idag är verktyg för personbedömningar tillgängliga för dem som har möjlighet att lägga åtskilligt med tid och pengar på att utbilda sig i ett verktyg, betala dyra licenser och höga priser för produkter. Men ska det vara tillgängligt för dem som är i behov, professionella personbedömare förstås men även beslutsfattare i arbetslivet, så ställer det krav på utformning och leverans. Assessment Engines uppgift är att leverera produkter med tillhörande standardiserade processer. Görs detta på rätt sätt så anser jag och mitt team att det inte ska krävas någon omfattande utbildning i hur man använder verktyget, och det ska inte behöva vara förbehållet några speciellt utvalda yrkeskategorier. Assessment Engine är till för Er som vill göra professionella personbedömningar i arbetslivet.

Kostnadseffektivitet

Tillgänglighet är förstås relaterat till ytterligare en av de viktigaste hörnstenarna för Assessment Engine – kostnadseffektivitet. I Assessment Engine betalar man bara för det som man faktiskt kan använda – dvs resultaten, och en transparent prissättning gör att du kan bedöma den ekonomiska nyttan för dig med att använda Assessment Engine.

Så vad jag vill säga är, välkommen till Assessment Engine! Vi har funderat på detta i tjugo år, byggt det på ett halvår (bra jobbat). Assessment Engine levererar valida och reliabla test och evidensbaserade processer som genererar bedömningar av sannolik framtida prestation enklare, billigare och mer träffsäkert än någonsin. Kan det vara möjligt tänker du. Ja! Nu är det verklighet.

Anmäl ditt intresse genom att klicka på denna länk: Assessment Engine

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 26 mars 2019 kl 09 00–16 00

Var: Hotel C Stockholm, Vasaplan 4, Stockholm

Kostnad: 2 400 kr exkl. moms (självkostnadspris, lunch och fika ingår)

Anmälan: forelasning2019@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer fram till år 2026. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekrytering krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Det finns vetskap om att kunskap finns – men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som i första hand vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

Igår hade jag min tionde EBU utbildning. Som vanligt lär jag mig mycket när praktiken möter forskningen. Vill tacka representanter från Sverige Radio, Elgerot and partners AB och Centrallasarettet Kronoberg, Rekryterings- och bemanningsenheten för en givande dag. Bland mycket annat som diskuterades denna dag (och även i Göteborg i torsdags) var den omåttligt populära anställningsintervjun. Vill dela med mig av några punkter om den evidensbaserade intervjun (som inte ska blandas ihop med den kompetensbaserade intervjun).

• Använd situations baserade frågor (hur skulle du göra om….?), baserad på en seriös arbetsanalys dvs ställ frågor om situationer som du kan bedöma utifrån vad som är rätt och fel svar på frågan. Dessa situationsfrågor fungerar bäst när det är fråga om mindre komplexa arbeten.
• Använd beteende baserade frågor (kan du beskriva när du….?), även dessa grundade på en seriös arbetsanalys, dvs ställ frågor som kandidaten kan referera till en situation där något hänt och be personen beskriva hur hen agerade i denna situation med sitt egna beteende, dessa frågor fungerar bäst när det är mer komplexa arbeten där du själv som expert kan bedöma vad som är bra beteende.

1. Poängsätt alla svar på dina frågor utifrån vad du menar med bra eller dåliga svar (detta ska bestämmas med hjälp av arbetsanalysen)
2. Basera dina frågor på arbetsrelaterade saker inte personens livshistoria
3. Ställ samma frågor till alla kandidater
4. Ställ högst 1-2 uppföljande frågor efter din huvudfråga
5. Träna och utveckla din intervju
6. Om det är möjligt, använd flera intervjuare
7. Diskutera inte dina resultat med andra mellan intervjuerna av kandidaterna
8. Använd ínte tidigare bedömningar som underlag för din intervju (tex psykologiska test resultat)
9. När din bedömning ska ligga till grund för det slutliga urvalsbeslutet använd algoritmer inte din eller flera personers helhetsbedömning.
10. Korta intervjuer är ofta lika bra som långa intervjuer

När du gör detta rätt ska du tänka på det att det finns saker som kan bidra till att din intervju kan gå snett

1. Negativ information vägs tyngre i jämförelse med positiv information
2. Tidigt intryck i intervjun blir avgörande för beslut, det blir svårt att bortse från din tidiga känsla eftersom det är svårt att hålla samma uppmärksamhet genom hela intervjun
3. Om du blir attraherad av personen påverkar det din bedömning.
4. Om kandidaten inte liknar dig (tex etniskt ursprung, kön) kommer det påverka ditt beslut
5. Många kandidater anpassar hela tiden svaren för att de vill ha jobbet vilket blir svårt att tolka för dig
6. Ordning spelar roll, om du bedömer att det är en svag kandidat kommer du sannolikt bedöma nästa kandidat som bättre än vad hen är (och tvärtom).
7. Undvik djupintervjuer (långa intervjuer ger ofta mer positiva resultat) om inte den som ska intervjua har klara belägg för att det finns en korrelation mellan metoden och det du vill förutsäga.

Lästips

Richard A. Posthuma, Frederick P. Morgeson, and Michael A. Campion, “Beyond Employment Interview Validity: A Comprehensive Narrative Review of Recent Research and Trends over Time,” Personnel Psychology 55 (2002): 1–82.

Robert L. Dipboye, “The Selection/Recruitment Interview: Core Processes and Contexts,” in
The Blackwell Handbook of Personnel Selection, ed. Arne Evers, Neil Anderson, and Olga
Voskuijil (Oxford, UK: Blackwell Publishers, 2004), 121–142.

Murray R. Barrick, Jonathan A. Shaffer, and Sandra W. DeGrassi, “What You See May Not
Be What You Get: A Meta-Analysis of the Relationship between Self-Presentation Tactics
and Ratings of Interview and Job Performance,” Journal of Applied Psychology 94 (2009):
1394–1411.

Julia Levishina and Michael A. Campion, “Measuring Faking in the Employment Interview:
Development and Validation of an Interview Faking Behavior Scale,” Journal of Applied
Psychology 92 (2007): 1638–1656.

Sara L. Rynes, Robert D. Bretz Jr., and Barry Gerhart, “The Importance of Recruitment in
Job Choice: A Different Way of Looking,” Personnel Psychology 44 (1991): 24.

Frank L. Schmidt and Ryan D. Zimmerman, “A Counterintuitive Hypothesis about
Employment Interview Validity and Some Supporting Evidence,” Journal of Applied
Psychology 89 (2005): 553–561.

Idag hade jag förmånen att få träffa yrkesverksamma rekryterare och berätta om hur urvalsprocessen kan bli evidensbaserad. Jag var inbjuden för 1 dags föreläsning i Göteborg för beskriva vad forskningen säger om bedömningstjänster i arbetslivet. 

Frågeställningen var följande:

SKL (Sveriges Kommuner och Landsting) står inför en utmaning och bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

Jag berättade vad forskningen säger om validiteten att använda olika bedömningstjänster (tex intervjuer, test och assessment center), men påpekade även att det är viktigt att sätta validiteten i relation till vad kostnaden är att använda dessa metoder.

Vill tacka deltagande för en ytterst givande dag, och speciellt vill jag tacka Susanne Erixon som på helt eget initiativ ordnade detta evenemang på Clarion Hotel i Göteborg.

Efter några dagar i Ljubliana (Slovenien) på uppdrag av EFPA, European Federation of Psychologists´ Association, med diskussioner över kulturer hur psykologiska test används på bra och dåliga sätt, får vi nog vara lite självkritiska hur vi i Sverige agerar. Trots en modell för testgranskning som EFPA tagit fram (länk här) är i stort sätt den kliniska testningen, dvs de test och bedömningar som leg psykolog gör i tex utredningar, är helt oreglerad. I stort sätt kan vem som helst börja sälja (eller ge bort) psykologiska test till leg psykologer, utan någon som helst granskning av kvaliteten i testen. Det är faktiskt arbets- organisationspsykologer (AO) som kommit längst i Sverige. Där erbjuds testkunder att få tillgång till test som är oberoende granskade av experter på området. I andra länder (tex Spanien) ingår inte bara AO test utan alla typer av standardiserade bedömningsmetoder som används inom vård, skola och arbetslivet. I detta inlägg kommer jag fokusera på arbetspsykologiska test och ge en sammanfattning vad som sker på svenska marknaden och delvis jämföra vad som sker i Norge och övriga länder.

Tills för några år sedan var det Stiftelsen för Tillämpad Psykologi (STP), en underavdelning till Psykologförbundet som skötte testgranskningen. Pionjärerna på den tiden var först Christina Strömer Wilson och senare Mattias Lundberg samt under senaste 10 åren Eva Bergvall som drev dessa frågor. Nu är det docent Johnny Hellgren som är ansvarig för STP. I början av 2000-talet var jag en av dem som promotade detta system av granskning, även om jag ibland tyckte det var jobbigt då det var jag som (med duktiga kollegor) hade utvecklat eller anpassat testen som granskades. I de allra flesta fallen fick vi dock bra betyg och tips av granskarna hur vi kunde bli bättre.

Idag är det DNV-GL som granskar test i både Sverige och Norge. Hur denna process går till går att läsa här.

Dessa test är granskade och godkända i Sverige. 

• Hogans Personlighets Inventorium (HPI)
• JobMatch Talent (JTM)
• Measuring Integrity (MINT)
• NEO-PI-3
• NEO FFI-3
• Predictive Index
• UPP – Understanding Personal Potential (UPP Personality, UPP Ability, UPP Screening)

Det är lite oklar status på UPP, då UPP finns med i ett dokument men i ett annat dokument finns det inte med (kommer uppdatera denna information när jag får besked från DNV-GL). Viktigt att säga att efter tre år måste certifikatet förnyas, dvs det som testleverantören fick kritik att åtgärda i den tidigare granskningen måste ha genomförts tre år senare, därav att vissa test kan ”falla bort” från listan. En annan viktig detalj är att det är endast en språkversion som gäller per granskning, dvs har man granskat ett test i Norge på Norska, gäller EJ den granskningen i Sverige. Detta för att det helt enkelt är olika språkversioner. Inte heller gäller granskningen och godkännande av kringprodukter såsom kompetensmodeller och intervjuunderlag baserat på testresultat. 

Även om testet blir godkänt, så är inte granskningen offentlig. DNV:s godkännande gäller att testet är ”good enough” så även om testet är godkänt kan det finnas information i granskningen som kan vara av intresse för testköparen. Detta skiljer sig väsentligt från den tidigare svenska modellen där det gick att köpa granskningen av STP. Jag uppmanar alla testleverantörer att lägga upp granskningen på hemsidan så att testköpare själva kan avgöra om testet är ”good enough”.

Varför är det inte fler i Sverige som blivit godkända? Här kommer ett antal funderingar med kommentarer.

• Det är dyrt att granskas (det exakta priset bestäms av DNV och testleverantören). Detta kan vara kännbart för nya mindre testleverantörer
• Kunder i Sverige ställer inte så höga krav på testleverantörer att deras test som de använder ska vara granskade och godkända.
• Testleverantörer har ej kunskapen att genomföra studier som kan belägga testets validitet och reliabilitet. Och även om de har den kunskapen så har de inte möjligheten att dokumentera resultatet. Som jag bedömer det är det endast traditionella testleverantörer som tex Hogrefe som idag har personal som är anställda i varje land för att skriva manualer till sina test (det kan naturligtvis finnas undantag).
• Testleverantörer har blivit uppköpta av bolag som tycker att kvalitetstssäkring av instrumenten är ”wasted time”.
• Testleverantörer anger att testen är granskade, men ”glömmer” att nämna att det inte gäller just denna språkversion.
• Digitaliseringen av test har gjort att ibland går lite snabbt i uppkopplingen mellan testleverantören och kunden. Har stött på exempel där kunden inte förstår vilket test som egentligen har länkats till hens hemsida.

Hur ser det då ut i andra europeiska länder? I England har ca 150 test granskats och godkänts, mestadels arbetspsykologiska test men också kliniska test. I Nederländerna och Spanien granskas i stort sätt alla test som kommer ut på marknaden. I Polen har precis testgranskningen börjat och i många andra länder är testgranskning helt frånvarande.

Vad kan då göras? Jag tror att enda sättet är att du som kund till test ställer krav på testleverantören att det ska finnas dokumentation som på något sätta är granskad av oberoende part. Det kan i vissa fall undantas när test är under utveckling. Det tar någonstans mellan 2-5 år att genomföra och dokumentara allt som granskarna behöver.  Modellen som granskarna använder är, som jag nämnt ovan, EFPA test review standards. I detta dokument ser du all information som bör finnas tillgänglig. Viktigt att komma ihåg är att EFPA INTE har något med granskningen att göra, det kan se olika ut i olika länder men det är aldrig EFPA som godkänner test, det är ett oberoende certifieringsorgan (i Norge och Sverige är det DNV i England är det BPS). 

Nästa steg för mig är att vara med att utveckla/revidera EFPA:s test review model. Tillsammans med fyra andra länder har vi till sommaren på oss att ta fram ett förslag till revidering. Spännande och viktig jobb. Psykologförbundet i Sverige finansierar mitt arbete, särskilt tack till ordförande Anders Wahlberg som tycker detta är ett viktigt att Sverige är aktivt. Hör av mig på bloggen efter vårt nästa möte i Moskva, april 2019.

FÅTAL PLATSER KVAR

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

Vad säger forskningen? En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 8 november 2018 kl 9 – 16

Var: Clarion Hotel Post, Drottningtorget 10, Göteborg

Kostnad: 1700 kr exkl. moms – (lunch och fika ingår)

Anmälan: forelasning8@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

Den internationella organisationen European Association of Test Publishers (E-ATP) anordnar onsdag-fredag denna vecka sin årliga konferens. Naturligtvis är jag på plats i Aten. E-ATP är en ideell verksamhet som representerar testförlag, testinstrument och tjänster för utbildning, rekrytering, certifiering samt klinisk verksamhet. Deltagarna är främst från Europa och USA men även andra delar av världen är representerade. Under tre dagar presenteras ett intensivt program med seminarier, produktdemonstrationer samt diskussionsgrupper. Efter några dagar av konferensen delar jag med mig några av höjdpunkterna på konferensen.

Direkt kastades jag in i en debatt där två lag tävlade om publikens gunst. De fick på förhand veta om de skulle argumentera emot eller för ett påstående om ”assessment”. Ett av påstående handlade om vem som ska ha företräde att bestämma hur poängsättning av bedömning ska verkställas, tex i psykologisk testning i arbetslivet. Är det personer som har koll på psykometri som ska bestämma eller är det kunden som köper testet som ska bestämma. Nedan ser du uppgiften som de båda teamen skulle fightas om, ett team för och ett team emot.

Det blev en intensiv debatt (inte helt olikt den politiska debatten i Sverige just nu). Där företrädare för experterna hävdade att det är de som ska ta hand om hur test ska poängsättas och återrapporteras till både kandidater och uppdragsgivare, helt enkelt för att de är experter. 

Det andra teamet som var emot att experter ska ta över menade på att det är orimligt, om inte köparen av testet är nöjd kommer det inte bli någon affär, låt andra komma in och bestämma då blir det affär och alla blir nöjda.

Vilket team tror du vann publikens gunst? Teamet emot experterna, låt kunden bestämma. The measurement experts should NOT decide.

Efter denna session pratade jag med några av debattörerna, och det är naturligtvis något mittemellan ytterligheterna. Detta uttrycks väldigt tydligt i ISO 10667, det är både uppdragsgivaren (kunden) och leverantören (experten) som ska komma överens hur resultatet av en bedömning ska presenteras. I den bästa av världar tar experten fram en tolkning av bedömningen som stämmer med den evidens som finns för den tolkningen, kunden är nöjd med detta och presenterar denna tolkning. I verkligheten har jag sett exempel på när både experten och kunden får för mycket att säga till om. Det är därför vi har olika guidelines och standards som både leverantörer och uppdragsgivare bör läsa innan de genomför bedömningen.

Ett annat intressant seminarium jag var på handlade om myter inom testbranschen avseende personlighetstestning. Även där var deltagarna tvungna att ta ställning. Nedan ser ni några av myterna som många tar för sanning.

”Assessments need to be mobile optimized because most people prefer to assess on their phone.”

Här var argumentet självklart från några i panelen, alla använder ”mobile” devices, varför ska vi hindra folk från detta.

Samtidigt menade några att undersökningar visar är att det är bara 11% som väljer att göra testet på sin telefon, resterande väljer stationär dator eller laptop.

”The shorter the assessment, the better”

Här är argumenten tydliga. De som argumenterar för kortare test ser det som en fördel för kandidatupplevelsen, Argumentet emot detta är också solklart, det är svårt att få reliabilitet och validitet i korta test. Här finns det faktiskt inte mycket stöd för att längre test skulle ha en negativ påverkan på kandidatupplevelsen, och samtidigt finns det nya psykometriska modeller som kan göra test betydligt kortare utan att göra avkall på reliabilitet och validitet.

”Faking is a threat to validity to selection procedures such as personality assessments and interviews”

Att folk ljuger i både anställningsintervjuer och test var självklar för några i panelen, några i panelen menade att en urvalsprocess handlar om att ”alla” försöker imponera på andra, om man vill ha jobbet. Forskningen är inte helt klar här heller, en del studier tyder på att det är ett problem med intervjuer och test medan andra studier säger att det är försumbart. Som testutvecklare har jag hört många säga som jag testat (inte minst studenter) att det var lätt att ”veta” hur jag skulle svara på några frågor. När jag tittar på resultatet är jag inte riktigt säker på att denna person har en aning om hur jag tänkt (och empiriskt kunnat bevisa) när jag konstruerade dessa frågor. So, to be continued. 

”People don’t want to take assessments and data scraping will replace current assessments”.

En uppdatering av vad som händer inom testbranschen. En falang hävdar att test som det ser ut idag, nämligen att du vet att du blir testat för ett visst syfte, håller på att dö ut. Istället kommer arbetsgivare i närtid kunna hitta din personlighet och begåvning på nätet, genom att ”scraping will replace current assessments”. 

Flera studier citeras där personligheten kartläggs genom att dina ”likes” på facebook analyseras. Samtidigt menar många att dessa studier är metodologiskt ”häftiga” men att resultaten är tämligen triviala. Sedan kommer GDPR på detta, och då blir det betydligt krångligare, dvs att du blir bedömd utan att du vet om det, avseende din personlighet. Vem kommer vara ansvarig för att detta är ett tillförlitligt sätt att bedöma din personlighet.  

En bra bild är den nedan som visar vad vi idag är när det gäller frågan om Artificiell Intelligens, Maskininlärning etc etc. Det är helt klart att det finns saker att hämta för testbranschen i dessa nya metoder, men det har varit en hype de sista åren som nu håller på att vända till realistiska saker som kommer hända i närtid.

Idag är sista dagen på konferensen, flyger hem efter lunch idag och jag tar med mig en trevlig upplevelse, nämligen att prata med lika nördiga människor som jag som gillar psykometri och test.