SIOP 2013 en rapportering efter första dagen

Anders SjöbergOkategoriserade2 Comments

generalbadge siopIdag startade SIOP.

Dagen startade med den traditionella öppningscermonin. Där utdelades pris för extraordinera prestationer under många års forskning. Där fick bland annat Nancy Tippins pris för ”Distinguished Professional Contribution”. Nancy var bland annat en av pionjärerna på datorbaserad testning långt innan det var känt i Norden. Nancy är en av två medförfattare till den bok som jag använder i min undervisning om evidensbaserat urval och Nancy var också med i den grupp som utvecklade ISO 10667. Nancy är inte bara en bra författare forskare och praktiker, hon är också en väldigt trevlig person, grattis Nancy.

Ordförande för SIOP påpekade i sitt tal till ca 4000 åhörare vikten av att vi som är här ska föra ut resultat av forskningen till den praktiska verkligheten och att SIOP ska vara en organisation som befinner nära den praktiska tillämpningen av god forskning.

En forskare till som jag inspirerats mycket av är Wayne Cascio, han fick priset ”Distinguished Scientific Contribution”. Wayne har bland mycket annat varit en förespråkare att införa nyttotänkadent (utility) vid valideringsstudier och har skrivit bra läroböcker om detta.

Av första dagens symposier som jag hann besöka (det är en hel del att välja på) var det någras saker som stack ut.

På det första seminariet jag var på diskuterades urval inom utbildning. Det första exemplet beskrev Sheldon Zeneck en väldigt ambitiös valideringsstudie bland jurister (blivande advokater) där både prediktorer (nya test) och nya kriterier i form av beteenden undersöktes för att utröna om hur nya mått på personlighet, värderingar och beteenden kan förutsäga vem som blir bäst advokat. Resultatet visade att både personlighet och värderingar kartlagda med dessa test ger tilläggsvaliditet utöver de kognitiva test som används idag. Presentationen var ganska kort, ca 12 minuter så jag hade en kort pratstund med Sheldon efteråt, där han berättade att projektet lades ned och dessa prediktorer används inte idag. Så tyvärr ytterligare ett exempel på där en god valideringsstudie inte kommer till praktisk användning!

Patrick Kyllonen berättade om ett instrument som utvecklats för att välja ut studenter från grundutbildning till vidare studier. Det bygger på att andra studenter bedömer varandra i konkreta beteenden (hålla deadline, förmåga att jobba i team, trevliga i klassrummet). Kyllonen visade på de psykometriska egenskaperna i testet som visade vara goda, och han lovade att nästa år komma tillbaka (SIOP är då på Hawai!) och redovisa valideringsdata, dvs om det funkar. Wayne Camara avslutade med att säga att det är svårt att få ut dessa resultat inom det amerikanska utbildningsväsendet, det finns en tradition i USA att endast använda kognitva test, som är varianter på vårt högskoleprov, på de flesta skolor. Wayne menade att forskare från detta område (I/O) har mycket att lära ut till skolor i USA.

I det andra seminariet jag var på diskuterades metodfrågor i form av myter som finns inom vårt forskningsområde. Den första talaren Scott Donidandel berörde en av den vanligaste frågan jag får på universitet, hur många personer behöver jag i min undersökning för att besvara min forskningsfråga? eller frågan jag kan få från testkonstruktörer, hur många behövs det för att göra en normgrupp? Svaret som jag ger lyder; allt annat lika så många som möjligt. Detta är inget bra svar, det krångliga svaret är då att göra en power analys, som är en ganska krånglig historia, vilket leder till att olika tumregler utvecklats under tiden, dock finns det inget konsensus om dessa regler. Att göra en power analys bygger på att räkna ut hur många personer man behöver för att resultatet ska ”bli signifikant”. Scott avslutar med med att detta i praktiken ofta är en irrelevant fråga, istället är vi i praktiken intresserad vilken effekt jag får av tex av ett urvalstest? eller hur osäkra kan normerna vara? Svaret är då att använda konfidensintervall, har du få personer blir ditt mått på effektivitet osäkert, har du många personer i analysen blir du säkrare på effekten. Ganska självklart, men bra att bli påmind om.

Neil Scmitt berörde ett ämne som jag stött på på som testutvecklare, när är vi nöjda med att ett instrument (ett psykologiskt test) har samma psykometriska egenskaper i olika grupper (tex språkversioner av personlighetstest). Det finns en hel del avancerade statistiska metoder som ofta visar på signifikanta skillnader på item nivå, men det finns nu också en hel del forskning på att dessa skillnader är så små att de i praktiken inte betyder något för beslut som ska tas efter att ett test genomförts. Själv har jag länge varit skeptisk att övertolka dessa skillnader. Så här fick jag stöd för min hypotes.

I det tredje seminariet jag var på samlades meriterade forskare och praktiker för att diskutera gapet mellan forskning och praktik. Leaetta Hough började med att säga att det inte behöver vara en konflikt vi har helt enkelt valt att ”use scientific models to solve practical questions”. Det blev sedan en ganska förvirrad diskussion om vad som egentligen var problemet. En student frågade vad panelen hade för förslag hur hon skulle tänka kring att bli forskare eller praktiker, där Morton McPhail mycket bra konstaterade, att det är fel ställd fråga du kan vara forskare (använda scientific models) men arbeta praktiskt. Vilket också var Elaine Pulakos egna syn på det hela; att efter en längre tid arbetat inom forskningen och där hon nu jobbar idag med praktiska situationer som assessement ansvarig på PDR, an SHL company, så använder hon samma tankesätt, Men hon tillade att forskningen har inte svar på allt inom vårt område, men det är inte heller någon som sagt (min kommenter).

Det fjärde seminariet var en paneldiskussion om ”executive assessment”. Tre praktiker inom DDI (som är en jättestor konsultfirma här) diskuterades fakta att trots att så mycket assessment görs är de flesta missnöjda hur ledare fungerar i organisationer. En diskussion där mycket handlade om att desto mer information man får om ledaren desto bättre beslut tas om ledarskapsträning. Scott Highhouse påpekade att på detta forskningsområde har inget hänt på 40 år och hänvisade till forskning på 70-talet som visade, 1) att det verkar finnas en g faktor av ledarskap och 2) det är bättre att summera upp alla de assessment som genomförs än att hålla på att subjektivt försöka vikta det på olika sätt. En ganska svag diskussion där inget nytt kunde presenteras.

Over and out from Houston

 

 

 

 

 

Dela detta inlägg

2 kommentarer på “SIOP 2013 en rapportering efter första dagen”

  1. Fantastiskt att få dessa referat då man inte själv har möjlighet att vara på plats. Tack Anders!

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *