Min spaning efter tre dagar på ATP 2018, världens största testkonferens

Anders SjöbergUrvalsbeslut4 Comments

Nu sitter jag på planet hem och ska försöka sammanfatta mina intryckt av ATP2018. I ytterligare två spännande dagar på konferensen har jag lyssnat och pratat med många duktiga och kloka människor om hur teknikutvecklingen kommer att påverka framtidens testningar av kunskap, färdigheter och andra individuella differenser. Här är min spaning från ATP, med min egen erfarenhet av projekt som jag varit inblandad i senaste åren.

När testning jämförs i DÅTID och NUTID är det särskilt informationsmängden som skiljer sig åt, idag är det möjligt att samla en betydligt större informationsmängd om varje kandidat för jobbet, eftersom vi är uppkopplade dygnet runt.

Den traditionella testningen (tex ett intelligenstest) är endast en ögonblicksbild av något och själva processen inom individen har i den traditionella testningen helt lämnats därhän. Genom att det idag finns möjlighet att samla data om 1 individ under väldigt lång tid kan det inte uteslutas i framtiden att varje individ utgör sin egen normgrupp. Detta öppnar upp möjligheter för effektiv coaching, om du bara jämförs med dig själv kan coachen och du tillsammans se utvecklingskurvan.

Morgondagens testningar kommer inte vara administrerade av andra människor utan kan göras genom att beteenden kan bedömas genom nyutvecklade appar och andra ”devices” som finns i din telefon. Just nu pågår ett gigantiskt projekt i USA där datautvecklare tillsammans med psykometriker samlar så mycket information om individer så att all data inte kan analyseras med en vanlig dator, istället samlas allt i molnet. Som flera jag pratat med konstaterar, tåget har redan lämnat stationen…… detta kommer förändra vår syn på testning.

En bidragande orsak till detta är att nya statistiska metoder utvecklas som gör det möjligt att analysera stora mängder data som inte var möjligt förut. Professor Deniz Ones från Minnesota berättar för mig att idag får hennes doktorander kurser i maskin inlärning och artificiell intelligens för att de i framtiden ska kunna samarbeta med andra yrkesgrupper som datautvecklare och ingenjörer. Som exempel nämner Deniz att i hennes nuvarande undersökningsgrupp av 400 anställda samlas det varje vecka in data som motsvarar 224000 timmar, vilket i datamängd motsvarar 1TB data (i veckan?).

Enligt Deniz handlar det inte om att vi psykologer och beteendevetare ska bli lika bra som andra yrkesgrupper på statistiska formler, men vi måste veta vad det handlar om för att hänga med i utvecklingen och därmed kunna bidra i framtidens testning med psykologisk kunskap. I hennes projekt samlas det information genom att personerna får besvara både traditionella psykologiska test (tex intelligens och personlighetstest) tillsammans med data som samlas in i realtid genom att personerna bär på sig olika sensorer som hela tiden mäter olika beteendemönster (tex vilket röstläge man har samt kroppsrörelser).

En annan väldigt tydlig inriktning som många testleverantörer är intresserade av på ATP är hur den nya tekniken kan bidra med testutveckling. I stort sätt alla sk item som idag ingår i psykologiska test kan rent teoretisk utföras av artificiell intelligens eftersom samtliga beståndsdelar i ett test bygger på någon logisk princip. Om du ska bedöma matematisk förmåga finns det regler och när du svarar på en fråga om hur målmedveten du är bygger även det på en logisk princip. För några år sedan hade jag förmånen att arbeta med en forskningsgrupp från Göteborg i ledningen var Professor Claes Strannegård. Jag fick vara med att publicera en forskningsartikel i en tidskrift som heter general artificial intelligens där vi kunde visa att algoritmerna som Claes & Co hade utvecklat hade en IQ nivå på ca 115. Den fråga jag ställde till Claes var naturligtvis, om nu dina algoritmer är så smarta kan man inte träna dem till att konstruera psykologiska test? Absolut svarade Claes. Claes och jag frågade ett par testleverantörer om det fanns ett intresse att utforska detta, vi gjorde ett pilotprojekt som sedan lades ned trots lovande resultat. Nu har andra kommit betydligt längre med detta, men är det någon som är intresserad av våra idéer är det bara att höra av sig.

En annan nyhet är att det inte längre går att skilja på kvalitativ data och kvantitativ data, metoden kallas för datamining. Flera seminarier ”touchade” detta ämne där företag som google och microsoft lyftes fram. Jag har själv använt datamining i ett pilotprojekt på där vi ställde frågor om hur du som chef stöttar din personal. Genom denna metod kunde vi analysera 28 786 ord från 80 personer utan att någon människa var inblandad i tolkningen av vad cheferna sa. Det fanns klara mönster hur olika personer pratade om sitt ledarskap, dock kvarstår att vi inte i detta projekt hade ett kriterie att validera mot. Men helt klart gav det en ny dimension till hur vi kan analysera verbal information. Tänk på anställningsintervjun där den sociala interaktionen är av så central betydelse, vilket leder till en stor risk för ”bias”. Om istället en analys utförs på ett objektivt sätt utan förutfattade meningar från intervjuaren kan detta leda till mindre diskriminering och mer jämställdhet i arbetslivet.

Robert McHenry, en kollega till mig, berättade på seminariet tillsammans med Deniz Ones, att det faktum att andra yrkesgrupper börjar närma sig det psykologiska testområdet kommer att förändra hela modellen hur testleverantörer tar betalt för sina test. Idag är test ofta en statisk enhet, du köper en utbildning för att lära dig ett test, du betalar en licens för detta, och du betalar varje gång du ska testa någon. Detta är en modell som är på väg ut enligt mig. Redan idag finns det gratis test som är minst lika bra som de test som säljs. Robert berättar i en paus för mig att han tror att hela branschen står inför en enorm utmaning där det inte längre går att ta betalt för test. Istället kan teknikutvecklingen leda till att bedömningen med traditionella test inte kommer vara intressant då mätningen istället är dynamisk genom att informationen om individen hela tiden samlas in i realtid.

Men vad är riskerna då? Ryan Ross från HAS och John Weiner från PSI pratade om att risken att all denna teknikutveckling leder till att aktörer struntar i reliabilitet och validitet, dvs kvaliteten i själva bedömningen. Många företag hoppar på tåget lite väl snabbt utan att tänka på om det som verkligen bedöms har någon mening. Under diskussioner mellan seminarierna är många intresserade av hur olika ”guidelines” och ”standards” kan sätta ramar för att den nya tekniken används på ett adekvat sätt. Inte minst ISO 10667 nämns som ett banbrytande sätt att försöka rama in vad en bedömningstjänst är; ISO 10667 kan fungera som en checklista vad både kunder och säljare bör tänka på innan de gör affär. I USA är man också intresserad hur vi bedömer arbetspsykologiska test i europa, där EFPA review standards är av särskilt intresse, alltså den modell som idag används idag i Sverige och andra länder i europa för att kvalitetsmärka test. Risken med att ha detta system är att leverantörer certifierar test och sedan säljer något annat, tex sk kompetensmodeller. Därför har jag initierat att nuvarande EFPA review standards bör ses över och anpassas efter hur testning och bedömning i verkligheten fungerar i Sverige och i andra länder. En annan del av detta är nya GDPR lagen i Europa där många är oroliga hur detta kommer att påverka branschen. Min personliga spaning är att vi i testbranschen är betydligt mycket mer med i matchen i jämförelse med många andra. Det har funnits och bör alltid finnas en diskussion om hur all denna teknikutveckling påverkar den personliga integriteten.

Av alla konferenser jag varit på inom detta område och närliggande områden är ATP2018 i topp 3. Mycket pga av en proffsig organisering av konferensen där det tillåts att diskutera praktiska spörsmål om bedömningar. På ATP är det nästan är förbjudet att prata signifikanta resultat och krångliga forskningsresultat som inte betyder något i praktiken. Där har G Harris från ATP en tydlig inverkan, en konferens ska enligt G vara en spelplats där alla som är intresserade av bedömningar ska komma till tals och att det väsentliga är interaktionen mellan människor mellan de olika seminarierna (oavsett kön, etniskt ursprung och ålder). G har varit i denna bransch i ca 150 år, typ. Vad han inte vet om testning år inte värt att veta. Så tack G och ATP för en mycket givande och trevlig ATP konferens.

Dela detta inlägg

4 kommentarer på “Min spaning efter tre dagar på ATP 2018, världens största testkonferens”

  1. Tack för denna sammanfattning! Kul att få “följa med” och höra om nya rön/ny teknik. Det blir ohyggligt intressant att se hur teknikmöjligheterna och GDPR kommer gå ihop, åtminstone i Europa. På något sätt kan jag som privatperson känna att det är bra om det finns ett ramverk till all denna forskning, för det finns en oerhörd stor etisk/politisk risk i en allomfattande datainsamling, om den inte begränsas eller styrs upp för samhällets bästa.

  2. Tack Anders!
    Det kan ju kännas ibland som man sitter här i källaren under perrongen där tiden står still och det är svårt att avgöra om det överhuvudtaget går några tåg alls… Men, ändå lyckas man på något sätt få in mellanvåg, eller nå’t slags internet, på rätt våglängd och läser intresserat om en nyhetsbulletin om en framtida värld – som pågår nu. Riktigt spännande – och inspirerande!! Man vill upp till ytan, där ute, liksom. Bearbeta och intergrera. Förbättra manicker och metoder man har i källaren, så att säga. Man blir ju riktigt nyfiken på vilka övriga konferenser som är i topp 3?

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *