European Association of Test Publishers (E-ATP) årliga konferens

Anders SjöbergUrvalsbeslut1 Comment

Den internationella organisationen European Association of Test Publishers (E-ATP) anordnar onsdag-fredag denna vecka sin årliga konferens. Naturligtvis är jag på plats i Aten. E-ATP är en ideell verksamhet som representerar testförlag, testinstrument och tjänster för utbildning, rekrytering, certifiering samt klinisk verksamhet. Deltagarna är främst från Europa och USA men även andra delar av världen är representerade. Under tre dagar presenteras ett intensivt program med seminarier, produktdemonstrationer samt diskussionsgrupper. Efter några dagar av konferensen delar jag med mig några av höjdpunkterna på konferensen.

Direkt kastades jag in i en debatt där två lag tävlade om publikens gunst. De fick på förhand veta om de skulle argumentera emot eller för ett påstående om ”assessment”. Ett av påstående handlade om vem som ska ha företräde att bestämma hur poängsättning av bedömning ska verkställas, tex i psykologisk testning i arbetslivet. Är det personer som har koll på psykometri som ska bestämma eller är det kunden som köper testet som ska bestämma. Nedan ser du uppgiften som de båda teamen skulle fightas om, ett team för och ett team emot.

Det blev en intensiv debatt (inte helt olikt den politiska debatten i Sverige just nu). Där företrädare för experterna hävdade att det är de som ska ta hand om hur test ska poängsättas och återrapporteras till både kandidater och uppdragsgivare, helt enkelt för att de är experter. 

Det andra teamet som var emot att experter ska ta över menade på att det är orimligt, om inte köparen av testet är nöjd kommer det inte bli någon affär, låt andra komma in och bestämma då blir det affär och alla blir nöjda.

Vilket team tror du vann publikens gunst? Teamet emot experterna, låt kunden bestämma. The measurement experts should NOT decide.

Efter denna session pratade jag med några av debattörerna, och det är naturligtvis något mittemellan ytterligheterna. Detta uttrycks väldigt tydligt i ISO 10667, det är både uppdragsgivaren (kunden) och leverantören (experten) som ska komma överens hur resultatet av en bedömning ska presenteras. I den bästa av världar tar experten fram en tolkning av bedömningen som stämmer med den evidens som finns för den tolkningen, kunden är nöjd med detta och presenterar denna tolkning. I verkligheten har jag sett exempel på när både experten och kunden får för mycket att säga till om. Det är därför vi har olika guidelines och standards som både leverantörer och uppdragsgivare bör läsa innan de genomför bedömningen.

Ett annat intressant seminarium jag var på handlade om myter inom testbranschen avseende personlighetstestning. Även där var deltagarna tvungna att ta ställning. Nedan ser ni några av myterna som många tar för sanning.

”Assessments need to be mobile optimized because most people prefer to assess on their phone.”

Här var argumentet självklart från några i panelen, alla använder ”mobile” devices, varför ska vi hindra folk från detta.

Samtidigt menade några att undersökningar visar är att det är bara 11% som väljer att göra testet på sin telefon, resterande väljer stationär dator eller laptop.

”The shorter the assessment, the better”

Här är argumenten tydliga. De som argumenterar för kortare test ser det som en fördel för kandidatupplevelsen, Argumentet emot detta är också solklart, det är svårt att få reliabilitet och validitet i korta test. Här finns det faktiskt inte mycket stöd för att längre test skulle ha en negativ påverkan på kandidatupplevelsen, och samtidigt finns det nya psykometriska modeller som kan göra test betydligt kortare utan att göra avkall på reliabilitet och validitet.

”Faking is a threat to validity to selection procedures such as personality assessments and interviews”

Att folk ljuger i både anställningsintervjuer och test var självklar för några i panelen, några i panelen menade att en urvalsprocess handlar om att ”alla” försöker imponera på andra, om man vill ha jobbet. Forskningen är inte helt klar här heller, en del studier tyder på att det är ett problem med intervjuer och test medan andra studier säger att det är försumbart. Som testutvecklare har jag hört många säga som jag testat (inte minst studenter) att det var lätt att ”veta” hur jag skulle svara på några frågor. När jag tittar på resultatet är jag inte riktigt säker på att denna person har en aning om hur jag tänkt (och empiriskt kunnat bevisa) när jag konstruerade dessa frågor. So, to be continued. 

”People don’t want to take assessments and data scraping will replace current assessments”.

En uppdatering av vad som händer inom testbranschen. En falang hävdar att test som det ser ut idag, nämligen att du vet att du blir testat för ett visst syfte, håller på att dö ut. Istället kommer arbetsgivare i närtid kunna hitta din personlighet och begåvning på nätet, genom att ”scraping will replace current assessments”. 

Flera studier citeras där personligheten kartläggs genom att dina ”likes” på facebook analyseras. Samtidigt menar många att dessa studier är metodologiskt ”häftiga” men att resultaten är tämligen triviala. Sedan kommer GDPR på detta, och då blir det betydligt krångligare, dvs att du blir bedömd utan att du vet om det, avseende din personlighet. Vem kommer vara ansvarig för att detta är ett tillförlitligt sätt att bedöma din personlighet.  

En bra bild är den nedan som visar vad vi idag är när det gäller frågan om Artificiell Intelligens, Maskininlärning etc etc. Det är helt klart att det finns saker att hämta för testbranschen i dessa nya metoder, men det har varit en hype de sista åren som nu håller på att vända till realistiska saker som kommer hända i närtid.

Idag är sista dagen på konferensen, flyger hem efter lunch idag och jag tar med mig en trevlig upplevelse, nämligen att prata med lika nördiga människor som jag som gillar psykometri och test.

Dela detta inlägg

En kommentar på “European Association of Test Publishers (E-ATP) årliga konferens”

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.