Inlägget ”Varför fungerar intervjuer och assessment center? Anpassningsförmåga är svaret” som publicerades på Psychometrics den 6 januari är ett av de inläggen på denna sida som rönt störst intresse under det senaste året, ca 300 personer har varit inne och läst inlägget. I anslutning till inlägget har en diskussion satts igång om förmåga att anpassa sig i urvalssammanhang och eventuell skönmålning av svar i personlighetstest och intervjuer. Nedan publiceras diskussionen i sin helhet och flera är välkomna att diskutera detta heta ämne inom bedömningstjänster.
Leif says: 7 januari, 2013
Tack för ännu ett intressant faktainlägg!
En reflektion blir ifall bedömningen av arbetsprestation från närmsta chef påverkas av samma sociala kompetens? Har man även mätt faktisk prestation med objektiva mått eller är det bara närmsta chefs subjektiva bedömning som korrelerar?
Det finns studier på ex projektledare som visar att det är inte den effektivaste projektledaren som gör snabbast karriär, utan den som är bäst på att säga att den är duktig. Bäst på att få chefen att tro att hen är bäst. I praktiken ser jag förvånansvärt många tydliga narcissister högt upp i hierarkin i många olika typer av verksamheter.
Samma sociala kompetens som påverkar hur man svarar på frågor påverkar troligen hur man hanterar sin närmsta chefs frågor om jobbet. Den som är bra på att ljuga på intervjun ljuger nog lika bra på jobbet:).
Anders Sjöberg says: 7 januari, 2013
Hej Leif,
Tack för kloka synpunkter, det är naturligtvis möjligt att prestationsmåttet påverkar resultatet. Å andra sidan så finns det ett samband mellan ”situations assessment” och prestationsbedömningen som är helt oberoende av varandra. Situations assessment kan ses som ett begåvningstest (rätt eller fel), att detta samband skulle bero på kontamination av variabler är därför osannolik. Att detta samband skulle hindra sambandet mellan AC/Intevju är därför högst intressant. Sedan är jag inte helt säker att ordet ljuga i sammanhanget är så bra, snarare en förmåga att på ett socialt sätt anpassa sitt beteende. Att narcissister kan komma högt upp i organisationer tror jag delvis beror på att urvalsprocesser inte är standardiserade, där man redan på förhand vet vilka egenskaper och kompetenser som man vill kartlägga. Som alltid behövs mer forskning för att helt utestänga andra saker som påverkar resultatet
Caroline says: 9 januari, 2013
Hej Anders,
Jag funderade vidare utifrån ditt och Leifs inlägg, men nu utifrån ett genusperspektiv: går det att påvisa några könskillnader i denna sambandskedja (begåvning-förståelse för vad som krävs vid assessment-resultat på assessment-arbetsprestation)? Utan att riktigt att ha tid att leta fram olika referenser som stödjer mitt resonemang, så tänker jag såhär: OM män som grupp är bättre än kvinnor på att överdriva sina goda sidor i en assessment situation, så blir de oftare vinnare i urvalsprocessen och eftersom (jag tror att) män tenderar att värderas högre i arbetsprestation utifrån sin könstillhörighet, så är ett sådant samband föga förvånande (förutom just det där med begåvning, vilket stör mitt resonemang lite). Att korrigera för skönmålning skulle eventuellt kunna mildra sådana skillnader?
Anders Sjöberg says: 10 januari, 2013
Hej Caroline,
Jag tror inte att du hittar stöd för könsskillnader i kedjan (begåvning-förståelse för vad som krävs vid assessment-resultat på assessment-arbetsprestation). Män har generellt en högre grad av självkänsla, men den är inte så stor att den i sammanhanget skulle ha någon större inverkan på resonemanget. Det är ändå så stor variation mellan individers självkänsla så att om du är man eller kvinna har ingen större betydelse. Det är som du säger begåvning som kommer först i orsakssidan så att det faktum att män och kvinnor inte skiljer sig åt i begåvning gör din hypotes svagare, men värd att undersöka. När det gäller skönmålning så är forskningsresultaten betydligt tydligare, det fungerar inte. Att korrigera för skönmålning (statistiskt) har man hållt på med sedan 1920 talet, och så här långt har man inte funnit något stöd för att det överhuvudtaget skulle gynna varken de sökande eller arbetsgivaren.
Leif says: 11 januari, 2013
Kul med lite tankeutbyte! Någon tipsade mig om Lennart Sjöbergs test. Hemsidan betonar att deras verktyg hanterar skönmålning, men det finns inte så starkt stöd för det empiriskt alltså?
Anders Sjöberg says: 15 januari, 2013
Hej Leif.
När det gäller ett test som korrigerar för skönmålnining kan jag säga att evidensen inte ens är svag, den är i det närmaste obefintligt. Finns det resultat pekar det i motsatt riktning vad företrädarna hävdar; validiteten sjunker. Ganska självklart eftersom dessa skalor som mäter ”grad av skönmålning” tenderar att mäta samma begrepp som i sig har prediktiv kraft att förutsäga vilka som kommer prestera bäst. Vad som händer när en statistisk korrigering sker är att någonstans mellan ca 15 upp till 55% av variationen i ett begrepp (tex noggrannhet och samarbetsvilja) försvinner från testet (Sjöberg & Annell, 2011. Tabell 1, sid 7). Att man inte då finner några skillnader mellan kön och etnisk bakgrund är ju inte så konstigt. Än mer problematiskt blir det naturligtvis om det är låg reliabilitet i personlighetsfaktorerna (vilket det ofta är, runt 30% av variationen är ofta slumpmässiga fel). Om det tas hänsyn till detta är det helt omöjligt att få några skillnader mellan grupper, men det är bara ett statistiskt faktum, att det inte blir några skillnader mellan olika grupper betyder egentligen att alla skillnader mellan individer försvinner.
Som Paul Sackett så utmärkt sammanfattar i en nyutkommen bok ”New perspectives on faking in personality assessment” avseende att statistiskt korrigera för skönmålning (se nedan referens).
”As chapters in this volume document…., the use of social social desirability scales to adjust personality scales is a widespread operational practice. There is emerging consensus among scholars in this area this is not effective” (chapter 19, sid 340)
Lika stort bevisvärde som lögndetektorn skulle man kunna säga…..
Referenser
Li, A., & Bagger, J. (2006). Using BIDR to distinguish the effects of impression management and self deception on the criterion-related validity of personality measures; A meta analysis. International Journal of Selection and Assessment, 14, 131-141.
Ones, D. S., Viswesvaran, C. (1998). Role of social desirability in personality testing for personnel selection. A red herring. Journal of Applied Psychology, 81. 660-679.
Sjöberg, L., & Annell, S. (2011). UPP/SCREEN vid antagning till polisutbildningen. Rekryteringsmyndigheten.
Ziegler, M., Maccann, C., & Roberts, R. D. (2012). New perspectives on faking in personality assessment. Oxford.
Professor Lennart Sjöberg says: 16 januari, 2013
Jag har just blivit uppmärksammad på denna diskussion. Vad jag skriver här gäller självrapporttest.
Det finns många uppfattningar om skönmålning på sådana test och vad man eventuellt kan göra åt saken, om det ens behövs. Icke-specialister tenderar nog att tro att det förekommer att testpersoner bluffar och att skönmålning är ett allvarligt problem. Många forskare har samma uppfattning, se t ex denna sammanfattning:
Donovan, J. J., Dwight, S. A., & Hurtz, G. M. (2003). An Assessment of the Prevalence, Severity, and Verifiability of Entry-Level Applicant Faking Using the Randomized Response Technique. Human Performance, 16, 81-106.The issue of applicant response distortion is a potentially important concern for those who administer noncognitive self-report selection measures. Although it is clear that noncognitive measures can be easily faked and that faking may reduce the utility of these measures, there has been a paucity of research that has directly assessed the prevalence of applicant response distortion. This study used the randomized-response technique to estimate the base rate of entry-level job applicant faking during the application process. The results revealed that a substantial number of recent job applicants did report engaging in varying degrees of misrepresentation, and that the base rate for faking is strongly related to both the severity and verifiability of the deceptive behavior. Implications for personnel selection are presented. (Donovan et al., 2003).
Om man fortsätter att ignorera problemet och forska om metoder för att komma tillrätta med det undergräver man förtroendet för psykologiska test.
Forskningen på området är omfattande och intresset är stort, se en översikt av Sjöberg (2012 b). En bok redigerad av Griffith och Peterson (2006) är mycket användbar och visar på ett stort spektrum av åsikter. Att skönmålning är ett stort problem är det få som förnekar (även om den åsikten förekommer bland vissa testleverantörer), men vad man kan göra åt saken är inte klart. Ipsativa (jämförande) svarsformat är en populär utväg men de medför nya och egna problem och är inte omtyckta av dem som testas som tycker att man ber dem ”jämföra äpplen och päron”. Värre är att effekten av skönmålning inte försvinner helt, bara till en del, och att resultaten påverkas av kognitiv intelligens.
Korrektion med hjälp av särskilda skalor som mäter tendensen till skönmålning har vi med framgång använt oss av. (Korrektionen måste emellertid anpassas till varje skala separat; en del skalor är mycket starkt påverkade av skönmålning, andra knappast alls). Den stora skillnaden mellan skarpt och oskarpt läge försvinner till ca 95 % vid sådan korrektion (Sjöberg & Wolgers, 2012), effekten av instruktion att skönmåla likaså. De data vi fått in från prövningar av chefskandidater har visat en mycket stark tendens att skönmåla: nästan alla beskriver sig själva som ”superstars”, och detta gäller särskilt män, eller födda i Sverige jämfört med utrikes födda.
Validiteten kan faktiskt öka (Sjöberg et al., 2011) efter korrektion för skönmålning, även om den ibland svagt minskar, förmodligen beroende på vilken typ av kriterium man använt. Validiteten är emellertid ett trubbigt mått. Det är viktigare att observera att de som ”lyckas” bäst i ett sjävrapporttest tenderar att ha bluffat, och vem vill anställa dem?
En kortfattad sammanfattning av diskussionen om skönmålning publicerade jag nyligen i Psykologtidningen (Sjöberg, 2012 a). Denna och mina övriga referenser kan laddas ner från länkar som anges nedan.
Referenser
Donovan, J. J., Dwight, S. A., & Hurtz, G. M. (2003). An Assessment of the Prevalence, Severity, and Verifiability of Entry-Level Applicant Faking Using the Randomized Response Technique. Human Performance, 16, 81-106.
Griffith, R. L., & Peterson, M. H. (Eds.). (2006). A closer examination of applicant faking behavior. Greenwich, CT: IAP.
Sjöberg, L. (2012 a). Ny metod att avslöja skönmålning vid personlighetstestning. Psykologtidningen, 58, 9, 22-25. Kan laddas ner från http://www.psykologisk-metod.se/files/SKNMLNING_P_TIDNINGEN.pdf
Sjöberg, L. (2012 b). Skönmålning i personlighetstest. Handelshögskolan i Sockholm. SSE/EFI Working Paper Series in Business Administration, nr 2012:2.
Kan laddas ner från http://swoba.hhs.se/hastba/abs/hastba2012_002.htm
Sjöberg, L., Bergman, D., Lornudd, C., & Sandahl, C. (2011). Sambandet mellan ett personlighetstest och 360-graders bedömningar av chefer i hälso- och sjukvården. Stockholm: Karolinska Institutet, Institutionen för lärande, informatik, management och etik (LIME).
Kan laddas ner från http://ki.se/content/1/c6/11/37/00/Sambandet%20mellan…%20%20.pdf
Sjöberg, L., & Wolgers, G. (2012). Personlighetstestning vid antagning till officersutbildning. En jämförelse av CTI och UPP-testet i olika grader av ”skarpt läge”. Rapport F: 39. Karlstad: Försvarshögskolan, Institutionen för säkerhet, strategi och ledarskap.
Kan laddas ner från http://www.psykologisk-metod.se/files/FHS_rapport_F39_Copy.pdf
Professor Lennart Sjöberg
Center for Risk Research and Center for Media and Economic Psychology
Marketing and Strategy Department
Stockholm School of Economics
Box 6501
113 83 Stockholm
Sweden
tel
+46 (0)8 7557234
+46 (0)768 530 885 (mobile phone)
preferred e-mail address: lennartsjoberg@gmail.com
Home page http://www.dynam-it.com/lennart/
Publications since 1999: http://psykologisk-metod.se/files/bibliografi%201990-2011%20slutlig.pdf
Blogs: http://lennartsjoberg.blogspot.com/ (general about psychological research)
http://psyktester.blogspot.com/ (specialized blog focused on testing and psychometrics)
My consulting firm http://www.psykologisk-metod.se/
• Skalor för mätning av skönmålning mäter enligt ett ganska vanligt argument egentligen ”personlighet” – man kan och bör inte avlägsna den komponenten från testet. Men att skönmålning korrelerar med testskalorna är ett uttryck för att dessa är mer eller mindre laddade med just skönmålning, inte tvärtom. Hur skulle f ö en skala för skönmålning kunna mäta ett stort antal personlighetsaspekter, och varför bara somliga och inte andra?
• Ett ofta diskuterat specialfall av det föregående argumentet är att traditionella skalor för mätning av ”social önskvärdhet” i själva verket mäter personlighetsvariabeln ”behov av att vara omtyckt”. Det visar sig emellertid att mera direkta mått på denna variabel inte har något samband med skalor av den traditionella typen.
• Korrektion för skönmålning innebär att man bildar differenser, och sådana ska enligt testteori vara mindre reliabla (mera behäftade med mätfel) än de ingående grundläggande skalorna. Därför är det bara att vänta att gruppskillnader försvinner när man har korrigerat – om mätfelen är stora är det ju bara slumpfel kvar och dessa ska enligt teorin inte ha samband med några andra variabler. Detta argument utgår från att korrektionen medför mycket stor sänkning av reliabiliteten, men analys har visat att den visserligen förekommer men är av obetydlig storlek.
• Man kan helt enkelt varna de testade för att skönmåla; det borde eliminera problemet. Forskning om denna ansats visar emellertid att den har små och inkonsistenta effekter.