SIOP dag 1

Anders SjöbergOkategoriseradeSkriv en kommentar

IMG_0325Idag startade SIOP 2016 med rivstart. Vid öppningen hyllades alla duktiga forskare och bland många andra fick min favorit Dave Bartram pris för ett enastående forskningsarbete under många år, grattis Dave (se bild). Efter öppningscermonin landade jag på en föreläsning om att mäta arbetsminneskapaciteten för att använda resultatet för urvalsbeslut. ”The Overlooked Cognitive Ability—Working Memory: Research and Practical Considerations”.

Arbetsminne är de mekanismer eller processer som är involverade i styrning, reglering och aktivt upprätthållande av uppgiftsrelevant information som är nödvändig för komplex kognition, både för nya och redan bekanta uppgifter. Arbetsminnet är förmågan att upprätthålla och manipulera information under en kortare tidsperiod. Arbetsminnet ses som centralt i förmågor som till exempel språkinlärning, läsförmåga, problemlösning och matematiskt resonerande. Arbetsminnesförmåga korrelerar med generell intelligens

Arbetsminnet ses som bestående av fyra olika komponenter med respektive funktioner: Den fonologiska loopen hanterar auditiv information, till exempel vad någon säger. Vid läsning är bokstäverna från början visuell information men kodas om och hanteras därmed av den fonologiska loopen. Det visuospatiala skissblocket hanterar visuospatial information, till exempel en bild av en frukt (visuell) eller en väg genom en labyrint (spatial). Centralexekutiven koordinerar och styr de andra delarna. den episodiska bufferten hanterar interaktionen med långtidsminnet.

Allt som ska till långtidminnet måste igenom arbetsminnet.

Problemet är detta, vi vet att generell intelligens förutsäger arbetsprestation, nackdelen är att intelligenspoängen (om den används vid urvalsbeslut) diskrimenerar vissa grupper i USA. Frågan är om man istället använder arbetsminnestest, kan man behålla validiteten samtidigt som diskrimeringsrisken minskar?

Detta resonemang är inte nytt, vissa menar att arbetssminnet är samma sak som generell itnelligens. Efter 1,5 timme blev svaret: kanske. Vissa resultat kan tyda på att diskrimineringsrisken minskar men det är fortfarande mycket mer effektivt att administrera ett test som mäter flera olika förmågor (där arbetsminne kan vara en förmåga bland många andra) för att förutsäga prestation i både utbildning och arbete. Jag tror detta kan vara en återvändsgränd, men jag har haft fel förut.

Nästa session handlade om detta.

”This session provides an opportunity to listen to four experts (two academics and two practitioners) in the field of computer-adaptive testing (CAT) discuss advantages and disadvantages for using CAT and forced choice methods for assessing personality. Topics will include psychometric characteristics and potential problems associated with CAT”

Jag fick lyssna på följande experter inom området adaptiv testning.

William L. Farmer
U.S. Food and Drug Administration
Alan D. Mead
Talent Algorithms Inc
Stephen Stark
University of South Florida

Det hetaste just nu är en nygammalt sätt att se på poängsättningen (skalningen) i personlighetstest. Den traditionella skalningen är att varje respondent får ta ställning till ett antal påstående om sig själv och ange hur väl detta överensstämmer eller ej med det man tycker om sig själv (tex jag gillar att gå på fest). Detta är det klart dominerande sättet att mäta personlighet. Ett annat sätt är det ipsativa sättet, dvs att respondenten får ta ställning mellan två beteenden vilka som bäst överenstämmer med vad man tycker stämmer (jag gillar att gå på fest eller jag gillar att läsa en god bok). Nu har dock nya psykometriska modeller använts fär att råda bot mot detta, dvs att använda sk ”forced choice scale, eller ”att tvingas ta ställning till skalor” så att även dessa typer av skalor går att använda i urval. Detta kallas för ”ideal point scaling”, eller Thurstone scaling efter hen som lanserade idén. Thurstone menade att individer tenderar att instämma i påståenden (JA eller NEJ) som bäst liknar dem själva, inte som i Likert skalning, mer eller mindre. Panelen diskuterade komplicerade psykometriska modellers tillämpning för att minska testtiden och minska risken för socialt önskvärda svar. Och där var panelen överens, denna typ av skalning minskar problematiken med social önsvärdhet. Det finns också vissa tendenser att validiteten kan öka, men det är lite tidigt att dra några slutsatser. Det är dyra system att utveckla och hitintills är det bara amerikanska militären som lycktats fullt ut. Å andra sidan höjdes röster från panelen att kandidaterna tycker att det är svårt att svara på frågorna eftersom testen inte är logiska. Så frågan är hur mycket nytta det är att satsa på ett system som kandidaterna (och kanske de som administrerar testen) tycker är helt ologiskt. Men jag tror att mycket på detta område kommer att hända de närmaste åren.

Innan Sofia och min egen presentation hann jag prata med Hogan Assessment, delar av Cut-e, och OPP (MBTI). Både Cut-e och Hogans har flera presentationer på SIOP om ny testutveckling. Dessutom fick vi en pratsstund med Stephen Dilchert som presenterade en studie om kontraproduktivt beteende bland poliser. Dilchert & Co hade följt över 8000 poliser i fyra år och kartlagt avvikande beteende bland poliser i USA. Även om man använder test för att inte anställa dessa personer verkar inte psykologerna ta hänsyn till resultatet utan lyckas anställa dessa poliser som har förhöjd risk för dessa beteenden. Men de är dock ganska snabba när det uppdagas att de inte sköter sitt jobb, då får de sparken. Dilchert kunde beskriva samma fenomen i USA som i Sverige, det adminstreras psykologiska test som är valida, men sedan intervjuar poliserna och tar andra beslut, poliserna vet själva när de träffar en bra poliskvinna/man, inget nytt men ändå intressant att höra.
Avslutade dagen att prata med Nathan Kuncel om hans forskning om amerikanarnas högskoleprov. Data från över 1 miljon testningar kunde bekräfta att det fungerar. Intressant att Sverige ska utreda att lägga ned högskoleprovet! Nathan är intresserad att komma och föreläsa om sin forskning och vi lovade att undersöka saken, vore trevligt att få honom till Sverige för några föreläsningar om både högskoleprov och mekanisk tolkning av testresultat.

Ny spännande dag imorgon.

Dela detta inlägg

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.