SIOP 2012 personlighetstestning

Anders SjöbergOkategoriseradeSkriv en kommentar

Nedan kommer ytterligare synpunkter på semanarier som presenterades på årets SIOP i San Diego. Särskilt tack till Pearson Assessments personal (Sofia, Lene och Camilla) som delat med sig av sina intryck. Jag vet att det är fler nordbor som var där, vill ni kommentera era upplevelser av SIOP är ni hjärtligt välkomna. Kommentera nedan eller skicka till anders.sjoberg@psychometrics.se

Fake it til you make it: Impression Management in selection

Här fördes en diskussion bland anat om kopplingen mellan Conscientiousness och faking. Vikten av att differentiera mellan Social desirability och Impression management i relation till faking fördes fram och resonemanget om när faking faktiskt är bra eller till och med förväntas av kandidaten engagerade. Faking kan sägas vara en del av den grad av anpassning som en person behöver kunna ägna sig åt för att fungera och att kunna förstå hur man bör presentera sig själv, i det här fallet i en urvalssituation, är en relevant egenskap.

Förutom att en situation kan påverka benägenheten till faking så finns det forskning som tyder på att culture har en viss effekt. Exempelvis så visar studier på europeiska data att man är mindre benägen till faking. Detta kan förklaras av different values i respektive culture men det kan också ha att göra med att ”criterion space” för respektive konstrukt eller med graden av transparens i konstrukten. En annan hypotes är samhällsekonomin påverkar benägenheten till faking, dålig ekonomi och hög arbetslöshet skulle således leda till högre grad av faking i urvalssituationer. Mer forskning om detta behövs.

Recent developments in personality measuerement invariance. Time, Culture and Forms.

Detta seminrium handlade om likvärdigheten i testpoäng från personlighetstest, över tid, kulturer och versioner (kort och lång). Det mest intressanta inspelet gällde det faktum att vissa kulturer (grupper) får högre poäng enbart för att de undviker vissa typer av svarsalternativ. Det vill säga att kultur påverkar eller modererar reponse behavior och att det inte alltid beror på item content.

Chasing the tortoise: Zeno´s paradox in technology-based assessments.

Detta symposium innehöll ett par lite annorluda presentationer med enorma mängder data. En presentation handlade om ekvivalensen i test (textbased and non-cognitive) mellan olika devices (android, iphone, ipad, PC etc.). Resultaten påvisade inga praktiskt meningsfulla skillnader i testresultat på construct level, performance level eller på grad av adverse impact. Den andra presentationen handlade om mobile versus non-mobile devices. Här presenterades och demografiska data på vilka som använder dessa två typer av devices (fler äldre, fler kvinnor och fler från minoritetsgrupper använder mobile devices) och poängen på FFM-nivå visade på mycket små skillnader. I den tredje presentationen påpekades att vi inte säljer test längre utan testningar. Rollen har förändrats för provider och test user. Rapporter som fokuserar på syftet med testningen snarare än testresultat är sannolikt framtiden. Den tredje presentationen berörde pre-screening cybervetting som ett verktyg för assessment. Det vill säga att söka information om kandidater via google och facebook. Mike Zickar, som höll i presentationen började med att stolpa upp ett par av de antaganden som ligger bakom sökning av info på detta sätt:

Online behavior is related to behavior at work.

Online behaviour is a good indicator of traits related to the workplace.

Those who don’t create digital trails are less likely to engage in negative behaviour.

Observera att denna typ av information nästan alltid för med sig ett foto på kandidaten, och med tanke på hur utseende påverkar beslutsfattande är det rimligt att tro att denna typ av info inte alltid är helt relevant för att bedöma arbetsprestation. Diskussionen fortsatte sedan om hur och om man kan standardisera den här typen av inormation och det etiska i att bestraffa kandidater som använder sociala media. Rekommendationer var att inte ägna sig åt denna typ av informationsinsamling förrän det finns evidens på om och hur denna typ av assessment kan genomföras.

Avslutningen kom sedan att handla om framtidens assessment och sannolikheten att vi kommer att se mer av assessment som inte bygger på multiple choice utan mer på öppna svar och på ”the nature of the experience of the candidate” (även om det restes ett frågetecken gällande vad organisationen kommunicerar till kandidaterna, typ ”jobba här – allt är på lek”). Det vill säga mer ”game-like” experiences men också hur säkerheten i denna typ av bedömningar ska kunna bibehållas även i andra typer av assessments (high stake, cognitive ability och unproctored testing för att nämna några).

 

SIOP. En sammanfattning efter två dagar

Anders SjöbergOkategoriseradeSkriv en kommentar

En stor behållning på SiOP konferrenserna brukar vara utställningen, där alla testförlag och konsultföretag får presentera sina tjänster och produkter. De som är huvudsponsrorer på SIOP i år är Aon Hewitt, Hogan Assessment System och The Society for Human Resource Management (SHRM). De har därför en framträdande roll på utställningen.

Förutom de bokförlag som finns representerade är det sparsamt med nyheter i år. Emotional Intelligence (EI) har ingen plats i år på de vetenskapliga presentationerna men finns representerat i form av självhjälpsböcker på utställningen. MHS som förlägger EI-test gör inte reklam för företaget, istället marknadsför de bara produkten, MHS har istället för att satsa på det vetenskapliga köpt en betald presentation av deras EI test. Inget av testförlagen har några särskilda nyheter, överhuvudtaget är det väldigt lite som händer på testområdet. Istället försöker förlagen att kapitalisera på nya koncept men med samma testpoäng, det är tex en sammanblandning bland företrädarna för konsult och tesförlag vad som är kompetenser och vad som är personlighet.

En stor fråga på seminarierna är om hur obevakad internettestning påverkar testresultat vilket inte behandlas bland företagen på utsällningen. Begåvningstest finns knappt representarat på utställningen men finns flitigt representerat på seminarerna. Två stora testförlag finns ej representarade på utställningen, varken Pearson Assessment eller Hogrefe har utställningar i år, mycket tyder på att de stora förlagen backar på detta område och konsultfirmor med egna testlösningar (Valtera, PDI, DDI) tar över marknaden. En annan analys är att det är konsultföretagem som behöver uppmärksamhet på denna typ av tillställning och att de stora förlagens kunder finns inom andra områden som inte finns representerade på SIOP. En liten uppstickare är Siena Reasoning test, ett begåvningstest som av förlaget sägs ej diskriminera vissa entniska grupper (ett hett ämne här i USA). På ett seminarium igår fick dock detta test mycket kritik av forskare som istället menar att detta test knappast ens mäter generell begåvning.

På en av de workshop som hölls innan SIOP började viades att just generella begåvningstest differentierar även på toppen, tom inom den 99 percentilen!

Presentationen om ISO 10667, bedömningstjänster i arbetslivet var välbesökt. Förutom det amerikanska perspektivet diskuterades det europeiska perspektivet på certfiering. I USA kommer inte inom den närmaste tiden någon certifiering introduceras, i England har ett pilotprojekt sjösatts för att testa en processcertifiering, dock endast för den del av standarden som berör leverantören. I Sverige har det svenska standardiseringsinstitutet inte visat något intresse för processcertifiering, istället har både SIS och Det Norske Veritas visat intresse för en personcertfiering, vilket inte är möjligt eftersom ISO 10667 är en processstandard. Publiken var försiktiga i kommentarerna, en oro vad detta kommer att innebära ventilerades, men en av förträdarna för det SHRM:s standardiseringsavdelning menade att tåget redan gått, och det är bara att välja om man vill hoppa på nu eller senare, stora organisationer har visat ett stort intresse för denna typ av tjänstestandards och det är bara en tidsfråga innan leverantörer måste förhålla sig till ISO 10667. Återkommer vad som hände tredje dagen.

Anders

SIOP. Mixed Model Assessment Center

Anders SjöbergOkategoriseradeSkriv en kommentar

Några av världens främsta forskare inom Assessment Center (AC) tog upp en väl debatterad fråga, nämligen är det dimensioner av kompetens vi mäter (det som genomförs idag) eller är det i själva verket de olika övningarna som speglar det som skiljer individer  åt i prestation. Resultatet som redovisas av forskarna är att båda aspekterna är värda att poängsätta och tolka.  Dock uppstår ett problem när detta genomförs, det finns fortfarande en stor del av variation kvar i en generell faktor och det är högst oklart vad denna faktor mäter. Så ett problem är  löst, poängsätt både dimensioner och övningar när ni gör assessment center, båda aspekterna är valida. Ett problem kvarstår, vad innehåller då den generella faktorn? Vi får vänta til nästa SIOP för att få reda på svaret.

Dimensions, Task, and Mixed Model perspectives on Assessment Centers (SIOP, 2012)

27th Annual Conference. Society for Industrial and Organizational Psychology

Anders SjöbergOkategoriserade1 Comment

Imorgon börjar den kanske mest intressanta kongressen om året för oss som arbetar inom ämnet arbetspsykologi. SIOP detta år går av stapeln i San Diego. Årets program ser väldigt intressant ut med höjdpunkter inom team forskningen och internet baserad testning.  Nya forskningsresultat kommer att presenteras inom områden som personlighet, begåvning, kontraproduktivt beteende på arbetsplatser,  arbetsprestation och assessment center.  Det svenska arbetet med ISO  10667 kommer att presenteras under konferensen där olika perspektiv på certfiering enligt standarden kommer att diskuteras. Vid tillfälle kommer intressanta resultat att publiceras här på psychometrics.se

Ingen mångfald bland vd-topparna, ingen förändring efter 40 år!

Anders SjöbergOkategoriserade2 Comments

Studier gjorda över hela Skandinavien under de senaste 40 åren visar samma sak: den typiske koncernchefen är en man på strax över 50 år, han kommer från medel- eller överklassen och är civilekonom eller civilingenjör.

Trots att kraven på en genomlyst process höjts och chefsrekryteringsfirmor är idag med i de allra flesta vd-tillsättningar. Trots detta är det mycket som tyder på att beslutsprocessen är den samma som för 40 år sedan. Frågan är om rekryteringsfirmor endast har en statistroll när det verkligen gäller, dvs vid urvalsbeslut. Psychometrics har tidigare pratat om ISO 10667 som ett sätt att tydliggöra leveransen av rekrytering och andra bedömningstjänster. En artikel i dagens Svenska Dagbladet avslöjar att en standard som talar om hur beslutsprocessen egentligen går till vid VD tillsättningar är välkommen. Det är Pernille Bang och Maria Steffensen, masterstudenter vid Copenhagen business school, som djupintervjuade 13 personer-styrelseordföranden, styrelsemedlemmar, koncernchefer och rekryteringskonsulter som alla har en del i vd-rekryteringar i Skandinaviens allra största bolag. De som blev intervjuade av studenterna gjorde ingen hemlighet av att det slutgiltiga valet sker på magkänsla. Flera jämförde processen att hitta en ny vd med att hitta en livspartner. Och de man trivs med liknar ofta en själv. Då känns det mindre riskfyllt, uttryckte flera av de intervjuade.  Rekryteringskonsulterna fungerar ofta som grindvakt i ett exklusivt nätverk. Mycket talar för att även om rekryteringskonsulterna har en genomtänkt process för urvalet har detta ingen effekt på beslutet. Så frågan är vad företagen betalar för? En process som någon annan levererar för att ha ryggen fri när kritiken kommer. Den rekryteringsfirma som bryter denna trend, att istället för att tala om helhetsbedömningar alltid ha en öppen process där kandidater och beslutsfattare kan följa hela processen fram till urvalsbeslutet kommer vända på branschlogiken. Men är det någon som vågar? Knappast. Läs hela artikeln i Svenska Dagbladet.

http://www.svd.se/naringsliv/karriar/bors-vdar-stopta-i-samma-form_7005987.svd

 

 

 

 

Ny bok om arbets- & organisationspsykologi

Anders SjöbergOkategoriseradeSkriv en kommentar

För alla er som är intresserade av organisationspsykologi ur ett forskningsperspektiv är denna bok ett givet köp. Några av de främsta svenska forskarna inom området bidrar med kapitel om; Människan i arbetslivet, Arbete motivation och välbefinnande, samt Styrning av organisationer. 

Boken anlägger ett brett perspektiv på individen i arbetslivet som spänner över både arbets- och organisationspsykologi. Författarna tar upp de ramar som modernt arbetsliv skapar och hur individen rör sig innanför dessa. De beskriver arbetets roll i livet, samspelet på arbetsplatsen och vilken betydelse det kan ha för individen. Likaså behandlas fenomen som organisationsförändringar, ledarskap och motivation. Författarna har en gedigen erfarenhet av undervisning och forskning inom ämnet vilket gör boken både pedagogiskt upplagd och uppdaterad inom de senaste rönen. Boken är skriven för studerande i psykologi och beteendevetenskapliga utbildningar samt i företagsekonomi med organisationsinriktning. Boken är även lämplig för HR-specialister, chefer och andra med intresse av hur samspelet mellan individ och organisation bidrar till att skapa hållbara arbetsvillkor och effektiva organisationer. Boken är en hyllning till Professor Gunn Johansson, Stockholms universitet,  som under 30 år lett denna grupp av forskare att prestera världsledande forskning inom området.

Referens

Aronssson, G., Hellgren, J., Isaksson, K., Johansson, G., Sverke, M., Torbiörn, I. (2012). Arbets- & organisationspsykologi. Individ och organisation i samspel. Natur & Kultur. ISBN 978-91-27-1190-5

Psychometrics och Sandahl Partners presenterar forskningsresultat

Anders SjöbergOkategoriseradeSkriv en kommentar

I sommar anordnar International Test Commission sin åttonde konferens, denna gång i Amsterdam (8th ITC Conference, July 3- 5 in Amsterdam, 2012). Exempel på ämnen som kommer att presenteras är testning och digitala medier, testning av heterogena grupper, utveckling av testteori och etiska aspekter av testning.

Psychometrics (Anders Sjöberg) och Sandahl Partners (Sara Henrysson-Eidvall & Maria Åkerlund) har tillsammans i ett forskningsprojekt testat 286 chefer med ett personlighetstest (NEO-PI-R; Costa & MacCrae) och ett begåvningstest (BasIQ; Mårdberg Sjöberg & Henrysson-Eidvall). Resultatet av studien kommer att presenteras på ITC konferensen. Studien testar hypotesen att det föreligger ett samband mellan generell intelligens (g) och personlighetens generella faktor (GFP). Nedan presenteras en kort sammanfattning av presentationen.

 

The correlation between general intelligence and a general factor of personality

Spearmans general intelligence construct (g) is well known. Recently research have proposed that there is also a General Factor of Personality (GFP) which accounts for the relationships found between the big five personality dimensions. Rushton (1985) suggested that a positive correlation should exist between personality and intelligence based on the r-K life history theory. The theory claims that hierarchically organized traits can be explained by a single super-factor. The r-K life theory highlights that traits need to be harmonized, not work independently of each other. Based on r-K life history theory this study test the hypothesis of a positive correlation between general g and GFP in a sample of manager candidates (N=286).  The particpants had completed a big five personality inventory (NEO-PI-R) and a measure of general intelligence (BasIQ). Contrary to the hypothesis, the correlations between the GFPs and g were found to be non-significant, suggesting independence between GFP and g. Theoretical and methodological implications of the results are discussed.

 

 

Sveriges Branschförening för Human Resource Konsulter (HRk) diskuterar ISO 10667

Anders SjöbergOkategoriseradeSkriv en kommentar

Vid ett möte idag kommer Sveriges Branschförening för Human Resource Konsulter (HRk) få information om hur ISO 10667 kan fungera i deras verksamhet. HRk har som mål att samla professionella och seriöst arbetande konsultföretag inom HR-området. Föreningens avsikt är att symbolen HRk ska garantera såväl användarna av konsulttjänster som de individer som kommer i kontakt med ett HRK-medlemsföretag en professionell, individuell och etisk oklanderlig behandling. ISO 10667 är ett styrdokument som ska underlätta för både uppdragsgivare och leverantörer av bedömningstjänster, därför bör ISO 10667 kunna fylla en funktion som styrdokument för HRk:s verksamhet. Ett av syftena med ISO 10667 är att göra bedömningstjänster transparenta och tydliga. Med andra ord höja kvaliteten och öka insynen. Idag är det 22 företag som är auktoriserade medlemmar i HRk. ISO 10667 kan köpas direkt från Svenska Standardiserings Institutet (SIS). Vill ni vara med och diskutera ISO 10667 så är ni välkomna att gå med i LinkedIn gruppen “The ISO 10667 Network”.

Kompetensmodeller inom rekrytering, hur överens är experterna?

Anders SjöbergOkategoriseradeSkriv en kommentar

Ett vanligt scenario inför många rekryteringar idag är att hänvisa till företagets eller kommunens kompetensmodell. Innan man tar ett urvalsbeslut diskuteras ofta hur kandidaten “matchar vår kompetensmodell”. Kompetensmodellen har jobbats fram av olika experter inom organisationer ofta tillsammans med en expert, på just kompetensmodeller. Resultatet blir en unik kompetensmodell för organisationen. Rent historisk är kompetensmodellen en produkt av att många var missnöjda med den traditionella arbetsanalysen, där varje del av arbetet identifierades för att sedan delas upp i just olika typer av egenskaper som indviden bör ha för att just passa det arbete som ska utföras. Kritikerna till den metoden framförde att arbetsanalysen inte tillräckligt tog hänsyn till organisationen övergripande mål och visioner. Arbetsanalysen tog inte inte heller avstamp i det förändringsarbete som ständigt pågår i organisationer.

Vad händer då i praktiken när kompetensmodellen omsätts i ett urvalsarbete? Jo, ofta administreras ett psykologiskt test till kandidaten, detta resultat ska sedan passas ihop med kompetensmodellen. Tillsammans med testet genomförs ofta en intervju och sedan “matchar man mot profilen” . Detta utgör således ett kausalt tänkande, egenskaperna som mäts i testet ska förutsäga respektive kompetens. Överfört till evidensbasering ska det föreligga ett samband mellan testresultat och det senare kompetenta beteendet. Få studier har undersökt detta, men om vi nu struntar i det för ögonblicket och fokuserar på om det är möjligt på ett tillförlitligt sätt säga att vi har en gemensam kompetensmodell att utgå ifrån? Detta torde vara en förutsättning, eller hur?

Om vi i det första exemplet tar en hantverkare (målare, elektriker) som ska anställas, hur överens är experterna vilka kompetenser som  är viktiga? Om skalan kan gå från 0 till 100%, där noll är inte alls överens och 100% är helt överens, visar det i fallet hantverkare (vänstra diagrammet), att experterna till 59% är överens, de andra delarna av diagrammet består av 2%, vilket visar  till vilken grad experterna är oense hur kompetenserna ska rangordnas. Och resten är slumpen som avgör vilken kompetens som hamnar i topp; 39%.

Detta betyder att experterna är ganska överens om vilka kompetenser som gäller i hantverkaryrket. Om vi skulle överföra detta i reliabilitetsmått (som vi ofta pratar om i psykologiska test så betyder detta en reliabilitet på 0.82, inte illa). Om vi istället ska bedöma chefers kompetens (det högra diagrammet),då blir det följande resultat. Hela 71% består av slumpen och bara 12% av variationen kan hänföras till att experterna är överens om vilka kompetenser som ska ligga i topp. Resterande 17% betyder att experterna är helt oense. Reliabiliteten i kompetensmodellen som är framtagen för cheferna är endast 0.34, det är inte bra. Slutsatsen är att det är betydligt svårare att bedöma en chefsprofil i jämförelse med en hantverkar profil. Vad får det för konsekvens? Svaret är att en kompetensmodell som har denna reliabilitet sätter taket för hur högt sambandet kan vara mellan ditt test och ditt beslut, i detta fall 0.34.

Det som du lärt dig på utbildningar; att begåvningstest har en validitet på 0,50 att ett arbetsprov har en validitet på 0.54, den strukturerade intervjun har en validitet på 0.51 osv, gäller inte längre. Validiteten av metoden ska istället betraktas tillsammans med hur bra din kompetensmodell är? Och forskningen visar att det kan vara problematiskt att få ihop en sådan modell.

Hur ska man då göra? Detta får du veta när du går utbildningen evidensbaserat urval.

Referens

Lievens, F., Sanchez, J.I., Bartram, D., & Brown, A. (2010). Lack of consensus among competency ratings of the same occupation: Noise or substance. Journal of Applied Psychology, 95, 3. 562-571.

 

Utbildning i evidensbaserat urval

Anders SjöbergOkategoriseradeSkriv en kommentar

Evidensbaserat urval

 

 

 

Kunskapen inom urvalsområdet förändras snabbt och att nya metoder och processer blir ständigt aktuella inom detta område. Denna kursdag ger dig den absolut senaste forskningen inom området. Kursen vänder sig till dig som är uppdragsgivare och/eller leverantör av rekryteringstjänster. Utbildningen stödjer beskrivningen av bedömningstjänster i ISO 10667.

Under 1 dags kurs kommer följande ämnen tas upp:

  • Mekanisk och intuitiv bearbetning av information, historia och nutid
  • Hur förbättrar jag min magkänsla på ett enkelt sätt?
  • Kompetensmodellernas överlägsenhet att leda oss på fel väg
  • Två sätt att tänka; lär känna System 1 & System 2, dina ständiga följeslagare
  • Vi frågar  om förutsägelse och får tillbaka en beskrivning, varför svarar vi på fel fråga?
  • Det är enklare än vad du tror, leverans av evidensbaserade bedömningar

VÄLKOMNA

Information:
Kostnad: 8000 SEK
Tid: 16 april klockan 9-16 
Plats: Hogrefe Psykologiförlaget AB.
Gävlegatan 12B  113 30 Stockholm  www.hogrefe.se

Kurbeskrivning

Kursanmälan
anders.sjoberg@psychometrics.se eller telefon 0732056048