Tveksamhet kring Warteggs validitet som urvalsinstrument

warteggWartegg teckningstest konstruerades 1939 av den tyska psykologen Ehrig Wartegg. Wartegg är ett personlighetstest som används i mängd olika situationer där människors personlighet bedöms. I Sverige används det av företag när bedömningen utmynnar i ett beslut om anställning, sk urvalsbeslut.

Wartegg är ett projektivt test, dvs testet är indirekt och ett standardiserat tolkningsschema behövs för att kunna tolka de olika teckningarna, som i sin tur antas kunna spegla personligheten. Trots sin popularitet, särskilt bland legitimerade psykologer, är valideringsstudierna sparsamma, detta öppnar naturligtvis för kritik från den akademiska världen; ett exempel är Brasilien där Wartegg förbjudits att användas av personbedömare. Ett annat problem med Warteggs teckningstest är att det finns en mängd olika möjligheter att tolka Wartegg, detta gör naturligtvis att det är svårt att jämföra olika studier avseende Warteggs användningsområden. Fram till nu har ingen studie systematiskt undersökt Warteggs validitet för olika användningsområden. Tack vare Jarna Soilevuo Grønnerød och Cato Grønnerød, universitet i Oslo, kan psychometrics referera till unika resultatet för Ehrig Warteggs test.  Jarna och Cato har genom tålmodigt arbete samlat Wartegg studier från hela världen, analyserat resultatet, och slutsatserna är intressanta;

Warteggs användarkultur är beroende vilket land som undersökts

Interbedömar-reliabiliteten är tillfredställande (.79)

Intern konsistens är god (.74)

Test-retest är undermålig (.53)

Validiteten beräknat på samtliga studier uppskattades till moderata .19, när studier med riktade hypoteser isolerat beaktades ökade validiteten till .33.

Förvisso är validiteten .33 (med riktade hypoteser) i samma kvalitetsnivå som andra projektiva metoder som tex Rorschachs klassiska test, men med tanke på att den generella validiteten i samtliga studier snarare ligger runt .20 rekommenderar psychometrics generellt försiktighet i användningen, särskilt med tanke på att det finns olika tolkningssystem som ger olika resultat. Den undermåliga test retest reliabiliteten uppskattat med endast 1 – 3 veckor bidrar till att ifrågasätta Warteggs antagande att mäta stabil personlighet.

Den tolkning som används i Sverige ger en validitet på .08, vilket är långt från vad man kan förvänta sig av ett tillförlitligt test. När det kommer till användningen av Wartegg som beslutsunderlag vid urval är det än mer tveksamt, två studier finns representerat i  meta analysen, en holländsk studie från 1960 och en finsk studie från 1970, med relativt små urval, sammanlagt deltog 223 personer i båda studierna. Validiteten i studierna överstiger den generella validiteten .19, i båda studierna skattas validiteten till ca .45, vilket kan tyckas över förväntan. Vid en närmare granskning av dessa studier (e-mail korrespondens med Jarna Soilevuo Grønnerød, 2012-01-06) framkom att kriterierna i den holländska studien var ett begåvningstest och chefsskattning och i den finska studien var skolbetyg kriteriet. Med tanke på det begränsade urvalet i studierna, kriteriena i studierna och att studierna är relativt gamla rekommenderar psychometrics att ifrågasätta Wartegg i urvalssammanhang. Betydligt fler studier behövs av Warteggs prediktiva validitet innan poängen på Wartegg kan användas som beslutsunderlag i urvalssammanhang. Leverantörer och uppdragsgivare av bedömningstjänster rekommenderas ta hänsyn till dessa resultat och ifrågasätta de beslut som tas med vägledning av poängen på Wartegg.

Referens

Soilevuo Grønnerød, J., & Grønnerød, C. (2011, November 7). The Wartegg Zeichen Test: A Literature Overview and a Meta-Analysis of Reliability and Validity. Psychological Assessment. Advance online publication. doi: 10.1037/a0026100

 

Kravprofiler vid urval O*NET

Både tid och pengar läggs på att göra kravprofiler vid rekrytering. Ett sätt att spara både tid och pengar är att använda O*NET. O*NET är en gratistjänst där varje kravprofil delas upp i kunskaper och förmågor som krävs för varje yrke i den amerikanska ekonomin. Dessutom beskrivs komplexiteten i varje yrke samt även vilka intressen och värderingar som är signifikanta för yrkena. O*NET kommer spara dig en massa arbeten, och det bästa med O*NET är att det uppdateras hela tiden med den absolut senaste forskningen på området. Så alla som köper bedömningstjänster, kolla in denna sida innan ni betalar dyra pengar för att genomföra kravprofiler som redan finns beforskade av O*NET. Du som funderar på att byta yrke kan använda O*NET som karriärrådgivning. Tyvärr finns inte motsvarande på svenska, men Logga in på O*NET och håll tillgodo.

http://www.onetonline.org/

 

 

Första kursen ISO 10667

Nu arrangeras den första kursen i den nya internationella ISO-standard som blev färdig i oktober 2011. 

Det är Stiftelsen för Tillämpad Psykologi (STP) som anordnar den första kursen i ISO 10667. Syftet med denna kursdag är att introducera både uppdragsgivare och leverantörer av bedömningstjänster till denna nya processstandard. Målgruppen är alla ni som som säljer eller köper bedömningstjänster som rekrytering, medarbetarundersökningar.

Efter avslutad kursdag förväntas deltagarna kunna:

  • Definiera centrala begrepp i ISO 10667
  • Beskriva och ge exempel på olika processer beskrivna i ISO 10667
  • Beskriva processen inför bedömningen
  • Beskriva bedömningsgenomförandet
  • Beskriva utvärderingen av bedömningsgenomförandet

Första tillfället är 20 januari. Fortfarande finns det platser kvar. För ytterligare information skicka mail till anders.sjoberg@psychometrics.se eller gå in på följande sida.

http://ihpu.se/www/diagnostik.asp?segID=2&subID=2

 

ISO 10667

En global ISO-standard för bedömningar i arbetslivet är nu verklighet. Syftet är att effektivisera bedömningar vid exempelvis rekryteringar, urval och intervjuer. 

– Detta är det mest genomgripande internationella arbetet som har blivit genomfört för att säkra kvaliteten i bedömningsprocesser, säger Anders Sjöberg, ordförande i den svenska kommittén som medverkat till att ta fram den nya standarden.

De senaste fem åren har experter från professionella psykologorganisationer, forskningsinstitut, testleverantörer och rekryteringsföretag från mer än 16 länder deltagit i utvecklandet av den nya standarden. Resultatet, ISO 10667, är ett styrdokument som ska underlätta för både utförare av arbetsbedömningar och kunder.

– Målet är att göra bedömningstjänsten transparent och tydlig. Med andra ord höja kvaliteten och öka insynen. I förlängningen leder det otvivelaktigt till bättre och säkrare bedömningar, menar Anders Sjöberg.