Efter några dagar i Ljubliana (Slovenien) på uppdrag av EFPA, European Federation of Psychologists´ Association, med diskussioner över kulturer hur psykologiska test används på bra och dåliga sätt, får vi nog vara lite självkritiska hur vi i Sverige agerar. Trots en modell för testgranskning som EFPA tagit fram (länk här) är i stort sätt den kliniska testningen, dvs de test och bedömningar som leg psykolog gör i tex utredningar, är helt oreglerad. I stort sätt kan vem som helst börja sälja (eller ge bort) psykologiska test till leg psykologer, utan någon som helst granskning av kvaliteten i testen. Det är faktiskt arbets- organisationspsykologer (AO) som kommit längst i Sverige. Där erbjuds testkunder att få tillgång till test som är oberoende granskade av experter på området. I andra länder (tex Spanien) ingår inte bara AO test utan alla typer av standardiserade bedömningsmetoder som används inom vård, skola och arbetslivet. I detta inlägg kommer jag fokusera på arbetspsykologiska test och ge en sammanfattning vad som sker på svenska marknaden och delvis jämföra vad som sker i Norge och övriga länder.

Tills för några år sedan var det Stiftelsen för Tillämpad Psykologi (STP), en underavdelning till Psykologförbundet som skötte testgranskningen. Pionjärerna på den tiden var först Christina Strömer Wilson och senare Mattias Lundberg samt under senaste 10 åren Eva Bergvall som drev dessa frågor. Nu är det docent Johnny Hellgren som är ansvarig för STP. I början av 2000-talet var jag en av dem som promotade detta system av granskning, även om jag ibland tyckte det var jobbigt då det var jag som (med duktiga kollegor) hade utvecklat eller anpassat testen som granskades. I de allra flesta fallen fick vi dock bra betyg och tips av granskarna hur vi kunde bli bättre.

Idag är det DNV-GL som granskar test i både Sverige och Norge. Hur denna process går till går att läsa här.

Dessa test är granskade och godkända i Sverige. 

• Hogans Personlighets Inventorium (HPI)
• JobMatch Talent (JTM)
• Measuring Integrity (MINT)
• NEO-PI-3
• NEO FFI-3
• Predictive Index
• UPP – Understanding Personal Potential (UPP Personality, UPP Ability, UPP Screening)

Det är lite oklar status på UPP, då UPP finns med i ett dokument men i ett annat dokument finns det inte med (kommer uppdatera denna information när jag får besked från DNV-GL). Viktigt att säga att efter tre år måste certifikatet förnyas, dvs det som testleverantören fick kritik att åtgärda i den tidigare granskningen måste ha genomförts tre år senare, därav att vissa test kan ”falla bort” från listan. En annan viktig detalj är att det är endast en språkversion som gäller per granskning, dvs har man granskat ett test i Norge på Norska, gäller EJ den granskningen i Sverige. Detta för att det helt enkelt är olika språkversioner. Inte heller gäller granskningen och godkännande av kringprodukter såsom kompetensmodeller och intervjuunderlag baserat på testresultat. 

Även om testet blir godkänt, så är inte granskningen offentlig. DNV:s godkännande gäller att testet är ”good enough” så även om testet är godkänt kan det finnas information i granskningen som kan vara av intresse för testköparen. Detta skiljer sig väsentligt från den tidigare svenska modellen där det gick att köpa granskningen av STP. Jag uppmanar alla testleverantörer att lägga upp granskningen på hemsidan så att testköpare själva kan avgöra om testet är ”good enough”.

Varför är det inte fler i Sverige som blivit godkända? Här kommer ett antal funderingar med kommentarer.

• Det är dyrt att granskas (det exakta priset bestäms av DNV och testleverantören). Detta kan vara kännbart för nya mindre testleverantörer
• Kunder i Sverige ställer inte så höga krav på testleverantörer att deras test som de använder ska vara granskade och godkända.
• Testleverantörer har ej kunskapen att genomföra studier som kan belägga testets validitet och reliabilitet. Och även om de har den kunskapen så har de inte möjligheten att dokumentera resultatet. Som jag bedömer det är det endast traditionella testleverantörer som tex Hogrefe som idag har personal som är anställda i varje land för att skriva manualer till sina test (det kan naturligtvis finnas undantag).
• Testleverantörer har blivit uppköpta av bolag som tycker att kvalitetstssäkring av instrumenten är ”wasted time”.
• Testleverantörer anger att testen är granskade, men ”glömmer” att nämna att det inte gäller just denna språkversion.
• Digitaliseringen av test har gjort att ibland går lite snabbt i uppkopplingen mellan testleverantören och kunden. Har stött på exempel där kunden inte förstår vilket test som egentligen har länkats till hens hemsida.

Hur ser det då ut i andra europeiska länder? I England har ca 150 test granskats och godkänts, mestadels arbetspsykologiska test men också kliniska test. I Nederländerna och Spanien granskas i stort sätt alla test som kommer ut på marknaden. I Polen har precis testgranskningen börjat och i många andra länder är testgranskning helt frånvarande.

Vad kan då göras? Jag tror att enda sättet är att du som kund till test ställer krav på testleverantören att det ska finnas dokumentation som på något sätta är granskad av oberoende part. Det kan i vissa fall undantas när test är under utveckling. Det tar någonstans mellan 2-5 år att genomföra och dokumentara allt som granskarna behöver.  Modellen som granskarna använder är, som jag nämnt ovan, EFPA test review standards. I detta dokument ser du all information som bör finnas tillgänglig. Viktigt att komma ihåg är att EFPA INTE har något med granskningen att göra, det kan se olika ut i olika länder men det är aldrig EFPA som godkänner test, det är ett oberoende certifieringsorgan (i Norge och Sverige är det DNV i England är det BPS). 

Nästa steg för mig är att vara med att utveckla/revidera EFPA:s test review model. Tillsammans med fyra andra länder har vi till sommaren på oss att ta fram ett förslag till revidering. Spännande och viktig jobb. Psykologförbundet i Sverige finansierar mitt arbete, särskilt tack till ordförande Anders Wahlberg som tycker detta är ett viktigt att Sverige är aktivt. Hör av mig på bloggen efter vårt nästa möte i Moskva, april 2019.

FÅTAL PLATSER KVAR

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

Vad säger forskningen? En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 8 november 2018 kl 9 – 16

Var: Clarion Hotel Post, Drottningtorget 10, Göteborg

Kostnad: 1700 kr exkl. moms – (lunch och fika ingår)

Anmälan: forelasning8@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

Den internationella organisationen European Association of Test Publishers (E-ATP) anordnar onsdag-fredag denna vecka sin årliga konferens. Naturligtvis är jag på plats i Aten. E-ATP är en ideell verksamhet som representerar testförlag, testinstrument och tjänster för utbildning, rekrytering, certifiering samt klinisk verksamhet. Deltagarna är främst från Europa och USA men även andra delar av världen är representerade. Under tre dagar presenteras ett intensivt program med seminarier, produktdemonstrationer samt diskussionsgrupper. Efter några dagar av konferensen delar jag med mig några av höjdpunkterna på konferensen.

Direkt kastades jag in i en debatt där två lag tävlade om publikens gunst. De fick på förhand veta om de skulle argumentera emot eller för ett påstående om ”assessment”. Ett av påstående handlade om vem som ska ha företräde att bestämma hur poängsättning av bedömning ska verkställas, tex i psykologisk testning i arbetslivet. Är det personer som har koll på psykometri som ska bestämma eller är det kunden som köper testet som ska bestämma. Nedan ser du uppgiften som de båda teamen skulle fightas om, ett team för och ett team emot.

Det blev en intensiv debatt (inte helt olikt den politiska debatten i Sverige just nu). Där företrädare för experterna hävdade att det är de som ska ta hand om hur test ska poängsättas och återrapporteras till både kandidater och uppdragsgivare, helt enkelt för att de är experter. 

Det andra teamet som var emot att experter ska ta över menade på att det är orimligt, om inte köparen av testet är nöjd kommer det inte bli någon affär, låt andra komma in och bestämma då blir det affär och alla blir nöjda.

Vilket team tror du vann publikens gunst? Teamet emot experterna, låt kunden bestämma. The measurement experts should NOT decide.

Efter denna session pratade jag med några av debattörerna, och det är naturligtvis något mittemellan ytterligheterna. Detta uttrycks väldigt tydligt i ISO 10667, det är både uppdragsgivaren (kunden) och leverantören (experten) som ska komma överens hur resultatet av en bedömning ska presenteras. I den bästa av världar tar experten fram en tolkning av bedömningen som stämmer med den evidens som finns för den tolkningen, kunden är nöjd med detta och presenterar denna tolkning. I verkligheten har jag sett exempel på när både experten och kunden får för mycket att säga till om. Det är därför vi har olika guidelines och standards som både leverantörer och uppdragsgivare bör läsa innan de genomför bedömningen.

Ett annat intressant seminarium jag var på handlade om myter inom testbranschen avseende personlighetstestning. Även där var deltagarna tvungna att ta ställning. Nedan ser ni några av myterna som många tar för sanning.

”Assessments need to be mobile optimized because most people prefer to assess on their phone.”

Här var argumentet självklart från några i panelen, alla använder ”mobile” devices, varför ska vi hindra folk från detta.

Samtidigt menade några att undersökningar visar är att det är bara 11% som väljer att göra testet på sin telefon, resterande väljer stationär dator eller laptop.

”The shorter the assessment, the better”

Här är argumenten tydliga. De som argumenterar för kortare test ser det som en fördel för kandidatupplevelsen, Argumentet emot detta är också solklart, det är svårt att få reliabilitet och validitet i korta test. Här finns det faktiskt inte mycket stöd för att längre test skulle ha en negativ påverkan på kandidatupplevelsen, och samtidigt finns det nya psykometriska modeller som kan göra test betydligt kortare utan att göra avkall på reliabilitet och validitet.

”Faking is a threat to validity to selection procedures such as personality assessments and interviews”

Att folk ljuger i både anställningsintervjuer och test var självklar för några i panelen, några i panelen menade att en urvalsprocess handlar om att ”alla” försöker imponera på andra, om man vill ha jobbet. Forskningen är inte helt klar här heller, en del studier tyder på att det är ett problem med intervjuer och test medan andra studier säger att det är försumbart. Som testutvecklare har jag hört många säga som jag testat (inte minst studenter) att det var lätt att ”veta” hur jag skulle svara på några frågor. När jag tittar på resultatet är jag inte riktigt säker på att denna person har en aning om hur jag tänkt (och empiriskt kunnat bevisa) när jag konstruerade dessa frågor. So, to be continued. 

”People don’t want to take assessments and data scraping will replace current assessments”.

En uppdatering av vad som händer inom testbranschen. En falang hävdar att test som det ser ut idag, nämligen att du vet att du blir testat för ett visst syfte, håller på att dö ut. Istället kommer arbetsgivare i närtid kunna hitta din personlighet och begåvning på nätet, genom att ”scraping will replace current assessments”. 

Flera studier citeras där personligheten kartläggs genom att dina ”likes” på facebook analyseras. Samtidigt menar många att dessa studier är metodologiskt ”häftiga” men att resultaten är tämligen triviala. Sedan kommer GDPR på detta, och då blir det betydligt krångligare, dvs att du blir bedömd utan att du vet om det, avseende din personlighet. Vem kommer vara ansvarig för att detta är ett tillförlitligt sätt att bedöma din personlighet.  

En bra bild är den nedan som visar vad vi idag är när det gäller frågan om Artificiell Intelligens, Maskininlärning etc etc. Det är helt klart att det finns saker att hämta för testbranschen i dessa nya metoder, men det har varit en hype de sista åren som nu håller på att vända till realistiska saker som kommer hända i närtid.

Idag är sista dagen på konferensen, flyger hem efter lunch idag och jag tar med mig en trevlig upplevelse, nämligen att prata med lika nördiga människor som jag som gillar psykometri och test.

Evidensbaserat urval (EBU™) 1 dag

Personcertifiering i Evidensbaserat Urval™ (EBU).

När: Hösten 2018: 13 sept, 9 nov eller 5 dec
Var: Danderyd (T-bana Mörby Centrum) kl 9-16.
Kostnad: 6500 exkl moms (i kostnaden ingår lunch och dokumentation)

Syftet med denna dag är att ge en allmän orientering samt grundläggande teoretiska och praktiska kunskaper rörande aktuella områden inom urval i organisationer. Ett andra syfte med momentet är att ge en övergripande träning i att kritiskt granska de processer och metoder som idag används både nationellt och internationellt vid urvalsbeslut i organisationer.

Utbildningdagen med examination resulterar i en personcertifiering i Evidensbaserat Urval™ (EBU) som bygger på kunskap om ISO 10667: Bedömningstjänster i arbetslivet och ISO 30405: Vägledning för rekrytering.

EBU™ KLICKA HÄR Kursbeskrivning, tid och pris

ANMÄLAN

Innan sommaren intervjuades jag i denna reportageserie som bland mycket annat handlade om anställningsintervjun. Intressant som forskare att få prata om den absolut vanligaste urvalsmetoden som aldrig verkar ifrågasättas som en tillförlitlig metod för att fatta urvalsbeslut. Lyssna gärna på hela avsnittet, jag tycker att kandidaters och intervjures perspektiv speglas på ett bra sätt genom programmet.

KLICKA HÄR FÖR ATT LYSSNA

eller klistra in denna länk i din webbläsare

https://urplay.se/program/206285-jobba-sova-do-anstallningsintervjun

Precis innan sommaren blev jag uppringd av en journalist från tidningen Filter. Journalisten ville att jag skulle uttala mig om boken ”Omgiven av Idioter”. Jag sa att jag inte läst boken, tänker inte ägna energi åt detta utan istället läsa forskningsbaserade texter om personlighet under sommaren. Nu har artikeln i Filter kommit ut om ni vill läsa den ”klicka här”, nedan text belyser som komplement evidensbaserad kunskap om personlighet.

Personlighetsteori är vägledande för hur bedömningen av hur personlighet sker. Till skillnad från teorier om människors färger som speglar personliga egenskaper finns det även seriösa teoretiska ramverk som på ett adekvat beskriver hur vi människor skiljer sig åt oss i dessa egenskaper. Till skillnad från många i min omgivning som ägnat semestern åt att läsa pocketböcker om personlighet har jag läst artiklar om nya teoretiska och empiriska genombrott som kan få stora konsekvenser hur vi kommer bedöma personlighet i framtidens urvalssammanhang.

I praktiken sker den seriösa personlighetsbedömning idag inom urval och rekrytering utifrån femfaktormodellen (FFM). De test som inte på ett tillförlitligt sätt kan visa belägg för att testet ”hänger ihop med” FFM bör ej användas i praktiken. Detta betyder inte att andra modeller kan fungera, men då ska testleverantören visa hur den föreslagna modellen skiljer sig från FFM och att den föreslagna modellen på ett bättre sätt fungerar i urvalssammanhang. 

Det dröjde emellertid ända till 60-talet innan FFM formulerades som den ser ut idag. Under senare delen av 1960-talet och under 1970-talet drabbades emellertid personlighetsforskning och personlighetsmätning av stark kritik från socialpsykologer. Det ledde till att den föreslagna FFM föll i glömska. Inte förrän på 1980-talet, genom longitudinella studier om personlighetsutveckling, togs tråden om FFM upp igen, och är nu den dominerande ansatsen vad gäller personlighetsbedömning urvalssammanhang. Idag finns ett övertygande stöd i forskningen för att dessa faktorer – i olika grad – bidrar till att förutsäga arbetsprestation.  Vilka är då dessa fem breda personlighetsdrag, och vad kan de säga om en individs arbetsprestation? Jo dessa är; Känslomässig stabilitet (ES), Extraversion (EX), Öppenhet (OP), Sympatiskhet (AG) och Målmedvetenhet (CO). FMM förknippas ofta med psykologiska test, men det har visat sig att FFM kan bedömas genom en mängd olika datainsamlingsmetoder som tex andras rapportering, assessment center, och intervjuer och beteendeobservationer.

En anledning att FFM tog så lång tid att upptäcka var att under 60-70 talet förhärskade den sk situationshypotesen (SH) avseende personlighet. SH utgick ifrån att att personlighet som ”trait”, dvs att en stabil egenskap som personlighet inte finns. Istället förklarades människors olika personlighet (och beteenden) med den kontext personen befinner sig i, situationen var avgörande till 100% hur vi människor skiljer oss åt. Idag vet vi bättre, det finns en ganska stor ärftlighetskomponent i vår personlighet, dvs vi föds till viss del med vissa personlighetsdrag (läs FFM), med andra ord du liknar ganska mycket din mamma och/eller pappa (i snitt får du 50% av generna från dina föräldrar, men i unika fall kan du få 90% från ena föräldern).

Detta betyder att situationen fortfarande kan vara avgörande för vår personlighet, situationen kan på väsentliga sätt förklara din personlighet eftersom ärftlighetskomponenten är högst 50%. Låt  mig ta ett exempel. Om jag av mina föräldrar fått dispositionen att vara impulstyrd (en del av CO och ES) betyder inte att jag i alla situationer är impulsstyrd. Detta kan ta sig úttryck i skillnaden hur jag är bland vänner på fritiden och på jobbet. Även om jag är impulstyrd bland mina vänner är det osannolikt att jag kan hålla tillbaka min impuls på jobbet fullt ut, men situationen kan göra att jag trycker bort impulserna jag har till en viss grad. Detta betyder att situationen till viss del avgör min personlighet. Argumenten för eller emot situation och/eller ärftlighet som förklaringsmodell är lika starka, enligt forskningen, det är både ärftlighet och situation som kan förklara din personlighet. 

På forskningsspråk pratar man om ”mellan individ skillnad” och ”inom individ skillnad”, det första är det som i flesta fall mäts i en urvalssituation, enligt FFM, utifrån ett stabilit trait tänkande medan det andra är ”situationstänket” även kallat ”state”. Trait och state samvarierar för att förklara vår personlighet, att utesluta ett perspektiv minskar vår förståelse av mänskligt beteende. I mitt exempel ovan skulle det betyda att ”trait” beskriver min övergripande grad av impulskontroll medan ”state” beskriver min impulskontroll i olika situationer (tex på jobbet och hemma). Detta kallar forskarna för “whole trait theory”; hur jag agerar i olika situationer impulsmässsigt tillsammans med min övergripande impulskontroll bestämmer min övergripande impulsivitet (personlighet).

Inom rekrytering är det vanligaste att FFM utifrån trait perspektivet bedöms, genom de övergripande fem faktorerna (eller facetter under de fem faktorerna, tex impulskontroll). Detta sker ofta genom ett psykologiskt test där kandidaten får svara på frågor om generella saker som ”om man gillar att gå på fest” (EX), om man håller vad man lovar (CO) och om man aldrig oroar sig för framtiden (ES). Summan av en mängd påståenden som mäts på en skala (tex 1-7) utgör ett estimat på en skala var du befinner dig på de olika faktorerna. 

För att mäta state behövs istället att kandidaten får svara på frågor i ”realtid”; tex tycker du det är roligt att vara på denna firmafest? idag höll jag vad jag lovade på jobbet? idag har jag oroat mig för att vad som ska hända på jobbet? Dessa svar ska samlas in över tid, på detta sätt kan både ”mellan individ variation” och ”inom variation” av kandidatens personlighet samlas in. I själva verket undersöks hur ”konsistent” kandidaten är i sin personlighet. Det har visat sig att personer som har olika förmåga att ”anpassa” sin personliget kan vara avgörande för prestationen på arbetet.  Forskare har funnit att traditionell traitbedömning tillsammans med situationsbedömning reflekterade substantiv variation i funktionell flexibilitet på jobbet och arbetsprestation.

Ovan har jag tagit personlighet som exempel, men hur är det med arbetsprestation? Även om det finns begränsad forskning om ”inom individ variation” i arbetsprestation visar resultat att en väsentlig del av variationen är beroende av situationen. Hela 64% av variationen i arbetsprestation kan förklaras av ”inom individ variation”. Detta betyder att arbetsprestationen hos en individ varierar i högre grad i jämförelse om vi bedömer skillnaden mellan individer. 

Detta får konsekvenser hur vi ska se på urvalstestning av personlighet i framtiden och det förklarar också den relativt svaga sambandet mellan personlighet och arbetsprestation. När FFM bedöms i urvalssammanhang mäts skillnaden mellan individer, denna mätning jämförs sedan med hur individer generellt presterar, denna utvärdering sker oftast med en korrelation som endast tar hänsyn till skillnaden mellan individer i arbetsprestation. Om vi då adderar kunskapen att 64% att variationen beror på att individen över tid presterar på olika sätt på jobbet, kan aldrig korrelationen överstiga .36 (36%). När jag och några kollegor estimerade effekten av FMM (skillnaden mellan individer) mot övergripande arbetsprestation (skillnaden mellan individer) fann vi att 23% av variationen var gemensam mellan FFM och arbetsprestation, de övriga 13% skulle kunna härledas av facetter tillhörande FMM. (OBS vill poängtera att jag pratar om samvariation, INTE förklarad variation).

Vi kan således inte förvänta oss att sättet vi idag bedömer personlighet ska öka validiteten, dvs att lansera nya test som endast mäter skillnaden mellan individer kan inte bli bättre (dock ska man komma ihåg att kvaliteteten mellan test varierar). Inte heller ska ni tro på testleverantörer som säger att deras test har en korrelation som överstiger .36, det är högst osannolikt. Inte heller ska ni tro på leverantörer av sk situationstest som hävdar att de mäter saker i situationen. Av namnet kan man tro att det har med situationen att göra men i själva verket har det med 1 situation vid 1 tillfälle att göra, samt att sättet att poängsätta situationstest är detsamma som ”mellan individ” jämförelse. Med andra ord du få reda på hur olika personer agerar i 1 situation, på detta sätt får du högst begränsad information om hur den individen kommer agera över tid när situationer förändras.

Utmaningen i framtiden blir att bedöma personlighet och arbetsprestation på en mer dynamiskt sätt för att förstå och förutsäga den individuella arbetsprestationen över tid. Forskning pågår just nu med nya tekniska hjälpmedel att genomföra detta. Tills detta är löst får vi nöja oss med ett mediokert samband mellan personlighet och prestation (23%). Och det hjälper ej att dela upp människor i olika färger, tyvärr.

Referenser

Dalal, R. S., Meyer, R. D., Bradshaw, R. P., Green, J. P., Kelly, E. D., & Zhu, M. (2015). Personality strength and situational influences on behavior: A conceptual review and research agenda. Journal of Management, 41, 261–287. http://dx.doi.org/10.1177/0149206314557524

Dalal, R. S., Bhave, D. P., & Fiset, J. 2014. Within-person variability in job performance: A theoretical review and research agenda. Journal of Management, 40, 1396-1436.

Dalal, R. S., Lam, H., Weiss, H. M., Welch, E. R., & Hulin, C. L. 2009. A within-person approach to work behavior and performance: Concurrent and lagged citizenship-counterproductivity associations, and dynamic relationships with affect and overall job performance. Academy of Management Journal, 52, 1051-1066.

Dalal, R. S., Meyer, R. D, Bradshaw, R. P., Green, J. P., Kelly, E. D., & Zhu, M. 2015. Personality strength and the reduction of situational influences on behavior. Journal of Management, 41, 261-287.

Fleeson, W. (2001). Toward a structure- and process-integrated view of personality: Traits as density distribution of states. Journal of Personality and Social Psychology, 80, 1011–1027. http://dx.doi.org/10.1037/0022-3514.80.6.1011

Fleeson, W. (2004). Moving personality beyond the person-situation debate: The challenge and the opportunity of within-person variability. Current Directions in Psychological Research, 13, 83–87. http://dx.doi .org/10.1111/j.0963-7214.2004.00280.x

Fleeson, W. (2007). Situation-based contingencies underlying trait-content manifestation in behavior. Journal of Personality, 75, 825–861. http://dx.doi.org/10.1111/j.1467-6494.2007.00458.x

Fleeson, W., & Gallagher, P. (2009). The implications of Big Five standing for the distribution of trait manifestation in behavior: Fifteen experiencesampling studies and a meta-analysis. Journal of Personality and Social Psychology, 97, 1097–1114. http://dx.doi.org/10.1037/a0016786

Fleeson, W., & Jayawickreme, E. (2015). Whole trait theory. Journal of Research in Personality, 56, 82–92. http://dx.doi.org/10.1016/j.jrp.2014 .10.009

Fleeson, W., & Law, M. K. (2015). Trait enactments as density distributions: The role of actors, situations, and observers in explaining stability and variability. Journal of Personality and Social Psychology, 109, 1090–1104. http://dx.doi.org/10.1037/a0039517

Fleeson, W., & Noftle, E. E. (2009). The end of the person-situation debate: An emerging synthesis in the answer to the consistency question. Social and Personality Psychology Compass, 2, 1667–1684. http://dx doi.org/10.1111/j.1751-9004.2008.00122.x

Lievens, F., Lang, J. W. B., Corstjens, J., & Van de Vijver, M (2018). The predictive power of people’s intraindividual variability across situations: Implementing whole trait theory in assessment. Journal of Applied Psychology, 103, 7, 753–771

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology, 53, 368–373.

Nya tekniska landvinningar tillsammans med utökad datakraft har givit möjlighet att utveckla det statistiska ramverket. Artificiell Intelligens (AI) och Maskin Inlärning (MI) är bara några nya begrepp som många ”slänger” sig med idag. För 20 år sedan var det Emotionell Intelligens (EI), för 10 år sedan var det kompetensmodeller idag är det BIG DATA. Jag är den första att medge att forskning om Big Data är ytterst intressant att följa, men samtidigt är jag mån om att det som kommer ut i praktiken verkligen gör en skillnad. Almedalen verkar vara en av platserna för skådespelet just nu, där hörs begreppen AI och algoritmer och förslag på hur tex Arbetsförmedlingen kan lösa matchningsproblematiken för sökande genom nya algoritmer.

Om du  funderar att hoppa på detta tåg, här kommer några tips på vägen.

• Undvik ”black box” förslag. Om företag inte kan förklara sina processer för dig (var inte rädd att fråga), så förstår de förmodligen inte själva algoritmerna, eller de hoppas kunna räkna ut hur de fungerar när de tillämpar dem i din organisation. Begär teknisk dokumentation, om du inte själv förstår anlita en expert på detta innan du köper något.
• Var säker på att du verkligen köper en färdig produkt så att du inte finansierar en forskningsstudie. Det finns inget fel med det senare, bara så du vet vad du betalar för.
• Insistera på att få veta vad processen mäter. Som ett exempel, på området för anställningsintervjuer, utforskar vissa leverantörer möjligheterna att utveckla produkter som modellerar allt från ansiktsfunktioner och ögonkontakt till talmönster och rösthöjd. Det är möjligt att detta fungerar men vad mäter det egentligen?
• Algoritmerna bör naturligtvis valideras på traditionellt sätt, det vill säga det som algoritmerna säger ska jämföras med avsedd effekt. Nöj dig inte med vaga framgångshistorier, eller allmänna fantasier vad algoritmerna kan göra. Det är också viktigt att leverantörerna av dessa fantastiska processer kan förklara vad algoritmerna INTE kan gör.
• Låt säga att det fungerar, ta hänsyn till hur detta fungerar ur kandidatperspektiv, och inte minst GDPR.

BIG DATA, AI etc etc kommer att förändra mycket inom rekrytering och urval framöver, men idag är det många företag som ”sminkar grisen”, en kompetensmodell som ingen vet hur den fungerar kan lätt översättas till en AI produkt.

Inom urval har begreppet validitet varit centralt för att förstå hur vi kan kvalitetssäkra vad vi gör inom rekrytering och urval. Jag har ägnat helgen åt att gå igenom studier från 50-60 talet i Sverige där validiteten i urvalsinstrument på ett föredömligt sätt dokumenterats. Stora aktörer som genomförde dessa studier var arbetsförmedlingen och försvarsmakten. Idag är dessa studier ett minne blott. Istället kan det se ut så här när man resonerar om validitet (mina kommentarer inom parantes)?

Vår kompetensmappning (i många färger) utgår från XXX kompetensbibliotek™ (bibliotek låter bra), en sammanställning av ett åttiotal olika beprövade kompetenser (vaddå beprövade??), samtliga med koppling till våra verktyg (hur då?), vilket gör dem direkt mätbara (jasså?). Vårt kompetensbibliotek kan hjälpa er att:

Fastställa vilka kompetenser som kännetecknar just er organisation (kräver validitet)

Säkerställa att organisationen utvecklas åt rätt håll för att nå uppsatta mål (kräver validitet)

Skapa en utvecklingsplan, baserad på vilka kompetenser som behöver utvecklas och i vilken utsträckning.(kräver validitet)

Ingen information om det fungerar eller inte? inga estimat på reliabilitet? Inget resonemang om validitet.

När jag frågar om varför det ser ut så här? svarar leverantörerna av kompetensmodeller att kunderna orkar inte höra mer, de nöjer sig med detta. När jag frågar kunderna blir det tyst, eller möjligtvis att alla andra har ju en kompetensmodell.

Men hur hamnade vi i detta träsk av helt irrationella tankar om vad som fungerar eller inte?

Här kommer mina tankar om detta.

Fram till 1968 fanns en god tradition av utvärdering i Sverige, där både betygssystem och urvalssystem kvalitetssäkrades. Denna goda tradition försvann i slutet av 60-talet där det snarare föddes en tanke av att allt vi gör påverkas av situationen, inte av personliga egenskaper. Om situationen avgör till 100% beteende i organisationer behövs inga urvalsmetoder. Att bedöma olika saker som kognitiv förmåga ”förbjöds” i praktiken. Ett ämne som psykometri försvann från pedagogiska och psykologiska utbildningar. 

Hur ska vi komma tillrätta med det?

Leverantörer av bedömningstjänster som säljer sina tankar och modeller till kunder har de senaste åren tagit långa steg från en sund utveckling av validerade metoder. Det är ni som kunder/uppdragsgivare som ska ställa kraven, kan inte leverantören visa på studier som kan bekräfta det som säljs vid införsäljningen så betala inte (och det räcker inte att referera till Schmidt & Hunter, 1998).

Leverantörer på marknaden har idag anpassat sig efter en väldig låg standard (läs kunderna ställer låga krav), knappast något som idag kommer ut på marknaden baseras på empiriska fakta. Så länge leverantörerna tjänar pengar på detta kommer inget att hända.

Som köpare av en bedömningstjänst ska du ställa dessa frågor (och förstår du inte svaren du får köp inte tjänsten).

1. Finns begreppet som avses att bedömas?

2. Går det att bedöma begreppet?

3. Går det av resultatet att förutsäga olika arbetsrelaterade beteenden?

Vill du läsa mer om detta klicka här

Vill du lära dig Evidensbaserat urval™ klicka här

 

General Data Protection Regulation är en ny lag som gäller över hela EU från och med 2018-05-25. Översatt till svenska så betyder GDPR Dataskyddsförordningen.
I Sverige kommer GDPR att ersätta Personuppgiftslagen (PUL). Syftet med Dataskyddsförordningen är att enskilda ska få större kontroll över sina personuppgifter samtidigt som företag bara behöver förhålla sig till ett regelverk när de verkar i flera EU-länder. Detta är det få som lyckats undgå. Men hur förhåller sig GDPR till psykologisk testning inom urval. Nedan kommer mina tankegångar efter ha läst valda delar av GDPR.

Disclaimer. Innan Ni läser texten nedan ska sägas att jag har EJ läst hela GDPR och jag har ej någon juridisk skolning, så nedan ska läsas som mina egna personliga tolkningar avseende ett oerhört komplicerat område.

Arbetspsykologisk testning och GDPR

Idag används ofta psykologisk testning av personlighet och intelligens i urvalsprocesser. Det vanligaste förfarandet är att testningen resulterar i poäng som tolkas av bedömaren, ofta samma person som har administrerat testet. Testpoängen fungerar som en profilering av testkandidatens personlighet och intelligens. Forskning har visat att vissa profiler sannolikt presterar bättre i jämförelse med andra, men detta struntar de flesta i utan tolkningen sker utifrån en tänkt kravprofil som sällan eller aldrig validerats.

Min tolkning av GDPR är att, oberoende om man håller sig till forskning eller tolkar efter eget huvud handlar det om profilering och mer eller mindre automatiskt beslutsfattande. Vad säger då GDPR:

Profiling and automated decision-making can be useful for individuals and organisations as well as for the economy and society as a whole, delivering benefits such as: increased efficiencies; and resource savings.

Inom psykologisk standardiserad testning har detta under 100 år varit ett tungt vägande skäl att använda test, den standardiserade modellen att alla poängsätts på samma sätt resulterar i både träffsäkra och valida beslutsunderlag, gott så långt.

Profilering och automatiskt beslutsfattande vi urval

GDPR tar aldrig (vad jag sett) upp psykologisk testning som exempel men mycket av som definieras kan enkelt transporteras till vad som händer i urvalssammanhang. Men innan vi går vidare bör begreppen profilering och automatiskt beslutsfattande definieras.

Profiling is composed of three elements:
it has to be an automated form of processing;
it has to be carried out on personal data; and
the objective of the profiling must be to evaluate personal aspects about a natural person.

Det finns tre olika beståndsdelar i profilering; datainsamling, automatiserad poängsättning samt analys för att förutsäga nuvarande eller senare beteenden.

Detta utgör själva grunden till att använda test för urval, dvs samla data från individen, poängsättning och tolkning av resultat.

Automatiserat beslutsfattande definieras som:

Automated decision-making is the ability to make decisions by technological means without human involvement.

Nu blir det lite besvärligare att orientera sig i förhållande till psykologisk testning. Jag menar när är beslutsfattande ”without human involvement”? I inledningen av artikel 29 (GDPR) nämns saker som Artificiell Intelligens och Machine Learning, men utan att definieras. Jag tolkar ”without human involvement” som att lagstiftaren menar att algoritmen själv fattar beslut, vilket sällan eller aldrig är fallet i psykologisk testning som används i urvalsprocessen. Jag menar även om testresultat automatiserat poängsätts så är det en människa inblandad, jag menar denna poängsättning har ju konstruerats av en människa.

Ur kandidatens perspektiv

Men låt då säga att psykologisk testning kan anses som ett underlag till automatisk beslutsfattande i en urvalssituation, vad säger då GDPR om automatisk beslutsfattande ur synvinkeln från den som blir bedömd:

The data subject shall have the right not to be subject to a decision based solely on automated processing, including profiling, which produces legal effects concerning him or her or similarly significantly affects him or her.

Vad som menas med ”legal effects concerning him or her or similarly significantly affects him or her” är för mig oklart men en process bedöms EJ som fullständigt automatiserat om en person på något sätt är inblandad i beslutsfattande. Som exempel ges i artikel 29 detta:

An automated process produces what is in effect a recommendation concerning a data subject. If a human being reviews and takes account of other factors in making the final decision, that decision would not be ‘based solely’ on automated processing.

I urvalsprocesser händer det aldrig att processen är fullständigt automatiserad då urvalsbeslutet måste rent lagligt tas av en person, dvs företrädare för arbetsgivaren i fråga som vill anställa kandidaten. Men naturligtvis är det en tolkningsfråga, tex om det sker en automatisk poängsättning av psykologiska test och att dessa poäng sedan vägs ihop med en algoritm, som sedan fungerar som beslutsunderlag, är inte detta fullständig automatiserat? Mitt svar är NEJ, det är fortfarande människor inblandade i poängsättningen, det är en människa inblandad som konstruerat algoritmen. Däremot ställer jag mig tveksam till om data samlas in av en dator genom att samla data automatiskt från  tex facebook, en algoritm används för att analysera data och ett beslut genereras av algoritmen.

En intressant tanke är att det finns en möjlighet att ha en fullständig automatiserad process där en algoritm väger ihop information som en dator samlat in och i slutändan slänger man in en människa som tar ett annat beslut (rätt eller fel spelar ingen roll i GDPR) då är ”decision not ‘based solely’ on automated processing”.
Ett annat scenario är att den psykologiska testningen är fullständigt automatiserat, men en människa slänger in en intervjupoäng i algoritmen, då bör inte heller denna process vara ”‘based solely’ on automated processing”.

Men som sagt det lär bli en tolkningsfråga.

Hur kan man säkra upp att GDPR följs som ansvarig för en urvalsprocess?

Informera kandidaten att en automatisk process med profilering kommer att äga rum (alltifrån CV granskningen till urvalsbeslutet). Informera kandidaten på ett meningsfullt sätt hur denna process går till, vilken logik som ligger bakom profileringen och det automatiserade beslutet och förklara vilka konsekvenser denna process har för kandidaten (ev fördelar och nackdelar)

GDPR och ISO10667

Kort och gått, var tydlig  vad som kommer att hända i urvalsprocessen. Där kan Ni ta utgångspunkt i ISO 10667, bedömningstjänster i arbetslivet som säger bla detta om vad den som är ansvarig för urvalsprocessen ska tänka på.

• Personer med ansvar för analys och tolkning av resultaten bör:
• ange typ av metod för att kombinera uppgifterna samt ge en tydlig logisk grund för eventuella slutledningar och beslut beträffande kombination och tolkning av dessa uppgifter, samt bevis till stöd för dem,
• använda dig av rutiner för att systematiskt undersöka bedömningsresultaten i syfte att identifiera osannolika eller orimliga tolkningar, poängklassificering, t.ex. datautredningsarbete samt identifiera osannolika poängvärden
• tillhandahåll tolkningar som överensstämmer med tillgängliga uppgifter om bedömningsmetoden såsom den har dokumenterats i tekniska manualer samt övrig vetenskaplig litteratur,.

(OBS detta skrevs 7 år innan GDPR).

Avslutande kommentar

Jag är positivt inställd till GDPR, äntligen måste tolkning av data och poängsättning av psykologiska test diskuteras inom urval och rekrytering. De företag som är öppna och transparenta hur bedömningsmetoder kommer att användas är vinnare, förlorare är de företag som säger sig använda artificiell intelligens etc etc och ej kan visa på hur det fungerar och/eller inte informera kandidaten om ”vad som pågår”. Sammantaget kan detta gynna de som söker arbete.

Jag blev inbjuden av Rekryteringspodden och Josefin Malmer. Det blev ca 30 minuters prat om ISO10667, psykologiska test, intelligens, personlighet, nyttoberäkningar, transparens i bedömningen, kompetensträsket och en hel del annat som har med urval att göra.

Tack Josefin för förtroendet och förhoppningsvis kan detta leda fram till bättre bedömningar. Om ni vill lära er mer om Evidensbaserat urval™, se information om vårens och höstens utbildningar. KLICKA HÄR

Om ni vill lyssna på intervjun KLICKA HÄR.

Trevlig valborg

Anders