Psychometrics Sweden & Assessment Engine

1. Urvalsgruppen vid Stockholms universitet har publicerat en artikel i Scandinavien Journal of Psychology. Artikeln berör tillämpningen av begåvning -och personlighetstestning i praktiken. Genom att sammanställa resultat från tidigare valideringsstudier framkommer att begåvning bör vägas betydligt tyngre vid urvalsbeslut i förhållande till kandidaters personlighetsresultat. Ett intressant resultat är att det i praktiken genomförs många personlighetsmätningar som inte används vid urvalsbeslut, den sk beskurna spridningen vid genomförda studier är endast 9%, vilket i praktiken betyder att en kandidats personlighet har minimal betydelse för det beslut som tas. I artikeln framgår också exakt hur begåvning och de fem personlighetsdimensionerna bör vägas samman vid urvalsbeslut. Underlaget i artikeln kan användas när rekryterare ska vägas samman testresultat i framtiden. Artikeln i sin helhet kommer att publiceras i nästkommande nummer av Scandinavien Journal of Psychology.

Referens

Sjöberg, S., Sjöberg, A. Näswall, K., Sverke, M. (in press). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology.

2. Urvalsgruppen vid Stockholms universitet har fått forskningsanslag från Försvarsmakten. I uppdraget för urvalsgruppen ligger att utreda hur begåvningstestning inom det militära ser ut internationellt och föreslå hur försvaret i framtiden ska utveckla nya sytem för begåvningsmätningar. I uppdraget ingår också att granska processen där begåvningsmätning ingår som en central del av urvalsbeslut. Data för studien kommer dels komma från forskningslitteraturen och dels intervjuer av både nationella och internationella experter på området. Projektledare från Försvaret är leg. psykolog Gerhard Wolgers och arbetet leds av docent Anders Sjöberg på Stockholms universitet.

3. Urvalsgruppen vid Stockholms universitet har precis avslutat sin datainsamling för den första avrapporteringen om tolkning av information vid urvalsbeslut. Resultatet av den första delen av studien kommer att rapporteras i en student uppsats vid Stockholms universitet. Frågeställningen som kommer att besvaras är om situationen (ansvarsfördelningen) vid urvalsbeslut påverkar hur rekryterare resonerar när de ska fatta beslut vid rekrytering. Rapporten kommer att vara klar innan sommaren och resultatet återkommer vi till. Studiens andra fas fortsätter där även rekryterares beslutsstilar undersöks.

4. Urvalsgruppen vid Stockholms universitet undersöker hur antagningen till polisutbildningen går till. En stor mängd data har samlats in av doktorand och leg. psykolog Stefan Annell. En första teknisk rapport kommer publiceras hos rekryteringsmyndigheten där information om kandidaters bakgrund, personlighet och begåvning presenteras. Den första rapporten i Stefans avhandling kommer att beröra hur kandidaternas resultat på kognitiva test och fysiska test påverkar urvalsbeslut. Handledare till Stefan är professor Magnus Sverke och Docent Anders Sjöberg.

I år genomförde över 57000 svenskar årets upplaga av högskoleprovet (HP).

Först ska sägas att jag är ingen expert på högskoleprovet men enligt min erfarenhet som konstruktör av begåvningstest så är det i stort sätt att likna vid ett traditionellt intelligenstest, fram till nu ett intelligenstest baserad mycket av inlärd kunskap (läsa räkna skriva). Forskning visar att intelligenstest som används för urval till det militära har ett högt samband med högskoleprovet, men det militära provet på ett mer adekvat sätt i jämförelse med högskoleprovet mäter det forskare benämner generell intelligens. Sedan i höstas är provet utformat på ett nytt sätt, mer matematik och färre ord och långa texter. En av anledningen till att provet gjordes om sägs vara att det mer träffsäkert skulle förutspå blivande studenters studieframgång, särskilt för högskolans tekniska program, varför det skulle vara så är oklart för mig. Provets två delar ska sedan kunna viktas, rapporterar SVD, för att passa olika universitetsprogram. Ett tekniskt program ska exempelvis kunna kräva en hög poäng på delen med matematik och logik och en lägre poäng på den språkliga delen.

Det som rapporteras i pressen för mig känns som tiden stått stilla i 50 år. Forskningen är tydlig, det är EJ de specifika färdigheterna som förutsäger hur det kommer gå för studenterna när de kommer ut i arbetslivet det är deras generella intelligens. Nu ska högskoleprovet inte förutsäga hur det kommer gå i arbetslivet utan studieframgång, men även här har den generella intelligensen en överlägsen sk prediktiv validitet. Det kan vara en obekvämt resultat att höra för många, men det är faktiskt ett faktum som ingen kan motbevisa (och folk har försökts i över 100 år).

Istället för att diskutera HP prediktiva kraft hamnar diskussionen om vilka som missgynnas och vilka som gynnas. Högskoleverket är förvånad att det är större skillnad mellan män och kvinnor i år i jämförelse med tidigare år. Det finns också regionala skillnader, åldersskillnader och förmodligen skillnader mellan etnicitet (men det nämns inte i pressen). Det är dock en fråga som inte berörs, hur väl HP verkligen gör det som avses, dvs förutsäga vem som lyckas på utbildningen. Innan frågan om diskriminering ska ställas måste frågan om prediktiv validitet ställas, så länge det inte utreds kommer vi inte få reda på varför poängen varierar för olika grupper. Mitt förslag är att högskoleverket tillsätter en oberoende utredning som seriöst granskar validiteten i HP, gruppskillnader i HP, och vilka implikationer ett resultat får för individer beroende vilken utbildning som söks. Ett tips är att titta på forskningen som producerats kring amerikanarnas HP (SAT) och deras begåvningstest som används inom de offentliga myndigheterna (GATB). Forskningen om indviduella differenser inom psykologin och pedagogiken är idag obefintlig i Sverige, det är dags att ta upp det spåret igen, på 60-talet var Sverige ledande inom området men idag ligger vi långt långt efter, inte minst på det metodologiska planet.

Nedan kommer ytterligare synpunkter på semanarier som presenterades på årets SIOP i San Diego. Särskilt tack till Pearson Assessments personal (Sofia, Lene och Camilla) som delat med sig av sina intryck. Jag vet att det är fler nordbor som var där, vill ni kommentera era upplevelser av SIOP är ni hjärtligt välkomna. Kommentera nedan eller skicka till anders.sjoberg@psychometrics.se

Fake it til you make it: Impression Management in selection

Här fördes en diskussion bland anat om kopplingen mellan Conscientiousness och faking. Vikten av att differentiera mellan Social desirability och Impression management i relation till faking fördes fram och resonemanget om när faking faktiskt är bra eller till och med förväntas av kandidaten engagerade. Faking kan sägas vara en del av den grad av anpassning som en person behöver kunna ägna sig åt för att fungera och att kunna förstå hur man bör presentera sig själv, i det här fallet i en urvalssituation, är en relevant egenskap.

Förutom att en situation kan påverka benägenheten till faking så finns det forskning som tyder på att culture har en viss effekt. Exempelvis så visar studier på europeiska data att man är mindre benägen till faking. Detta kan förklaras av different values i respektive culture men det kan också ha att göra med att ”criterion space” för respektive konstrukt eller med graden av transparens i konstrukten. En annan hypotes är samhällsekonomin påverkar benägenheten till faking, dålig ekonomi och hög arbetslöshet skulle således leda till högre grad av faking i urvalssituationer. Mer forskning om detta behövs.

Recent developments in personality measuerement invariance. Time, Culture and Forms.

Detta seminrium handlade om likvärdigheten i testpoäng från personlighetstest, över tid, kulturer och versioner (kort och lång). Det mest intressanta inspelet gällde det faktum att vissa kulturer (grupper) får högre poäng enbart för att de undviker vissa typer av svarsalternativ. Det vill säga att kultur påverkar eller modererar reponse behavior och att det inte alltid beror på item content.

Chasing the tortoise: Zeno´s paradox in technology-based assessments.

Detta symposium innehöll ett par lite annorluda presentationer med enorma mängder data. En presentation handlade om ekvivalensen i test (textbased and non-cognitive) mellan olika devices (android, iphone, ipad, PC etc.). Resultaten påvisade inga praktiskt meningsfulla skillnader i testresultat på construct level, performance level eller på grad av adverse impact. Den andra presentationen handlade om mobile versus non-mobile devices. Här presenterades och demografiska data på vilka som använder dessa två typer av devices (fler äldre, fler kvinnor och fler från minoritetsgrupper använder mobile devices) och poängen på FFM-nivå visade på mycket små skillnader. I den tredje presentationen påpekades att vi inte säljer test längre utan testningar. Rollen har förändrats för provider och test user. Rapporter som fokuserar på syftet med testningen snarare än testresultat är sannolikt framtiden. Den tredje presentationen berörde pre-screening cybervetting som ett verktyg för assessment. Det vill säga att söka information om kandidater via google och facebook. Mike Zickar, som höll i presentationen började med att stolpa upp ett par av de antaganden som ligger bakom sökning av info på detta sätt:

Online behavior is related to behavior at work.

Online behaviour is a good indicator of traits related to the workplace.

Those who don’t create digital trails are less likely to engage in negative behaviour.

Observera att denna typ av information nästan alltid för med sig ett foto på kandidaten, och med tanke på hur utseende påverkar beslutsfattande är det rimligt att tro att denna typ av info inte alltid är helt relevant för att bedöma arbetsprestation. Diskussionen fortsatte sedan om hur och om man kan standardisera den här typen av inormation och det etiska i att bestraffa kandidater som använder sociala media. Rekommendationer var att inte ägna sig åt denna typ av informationsinsamling förrän det finns evidens på om och hur denna typ av assessment kan genomföras.

Avslutningen kom sedan att handla om framtidens assessment och sannolikheten att vi kommer att se mer av assessment som inte bygger på multiple choice utan mer på öppna svar och på ”the nature of the experience of the candidate” (även om det restes ett frågetecken gällande vad organisationen kommunicerar till kandidaterna, typ ”jobba här – allt är på lek”). Det vill säga mer ”game-like” experiences men också hur säkerheten i denna typ av bedömningar ska kunna bibehållas även i andra typer av assessments (high stake, cognitive ability och unproctored testing för att nämna några).

En stor behållning på SiOP konferrenserna brukar vara utställningen, där alla testförlag och konsultföretag får presentera sina tjänster och produkter. De som är huvudsponsrorer på SIOP i år är Aon Hewitt, Hogan Assessment System och The Society for Human Resource Management (SHRM). De har därför en framträdande roll på utställningen.

Förutom de bokförlag som finns representerade är det sparsamt med nyheter i år. Emotional Intelligence (EI) har ingen plats i år på de vetenskapliga presentationerna men finns representerat i form av självhjälpsböcker på utställningen. MHS som förlägger EI-test gör inte reklam för företaget, istället marknadsför de bara produkten, MHS har istället för att satsa på det vetenskapliga köpt en betald presentation av deras EI test. Inget av testförlagen har några särskilda nyheter, överhuvudtaget är det väldigt lite som händer på testområdet. Istället försöker förlagen att kapitalisera på nya koncept men med samma testpoäng, det är tex en sammanblandning bland företrädarna för konsult och tesförlag vad som är kompetenser och vad som är personlighet.

En stor fråga på seminarierna är om hur obevakad internettestning påverkar testresultat vilket inte behandlas bland företagen på utsällningen. Begåvningstest finns knappt representarat på utställningen men finns flitigt representerat på seminarerna. Två stora testförlag finns ej representarade på utställningen, varken Pearson Assessment eller Hogrefe har utställningar i år, mycket tyder på att de stora förlagen backar på detta område och konsultfirmor med egna testlösningar (Valtera, PDI, DDI) tar över marknaden. En annan analys är att det är konsultföretagem som behöver uppmärksamhet på denna typ av tillställning och att de stora förlagens kunder finns inom andra områden som inte finns representerade på SIOP. En liten uppstickare är Siena Reasoning test, ett begåvningstest som av förlaget sägs ej diskriminera vissa entniska grupper (ett hett ämne här i USA). På ett seminarium igår fick dock detta test mycket kritik av forskare som istället menar att detta test knappast ens mäter generell begåvning.

På en av de workshop som hölls innan SIOP började viades att just generella begåvningstest differentierar även på toppen, tom inom den 99 percentilen!

Presentationen om ISO 10667, bedömningstjänster i arbetslivet var välbesökt. Förutom det amerikanska perspektivet diskuterades det europeiska perspektivet på certfiering. I USA kommer inte inom den närmaste tiden någon certifiering introduceras, i England har ett pilotprojekt sjösatts för att testa en processcertifiering, dock endast för den del av standarden som berör leverantören. I Sverige har det svenska standardiseringsinstitutet inte visat något intresse för processcertifiering, istället har både SIS och Det Norske Veritas visat intresse för en personcertfiering, vilket inte är möjligt eftersom ISO 10667 är en processstandard. Publiken var försiktiga i kommentarerna, en oro vad detta kommer att innebära ventilerades, men en av förträdarna för det SHRM:s standardiseringsavdelning menade att tåget redan gått, och det är bara att välja om man vill hoppa på nu eller senare, stora organisationer har visat ett stort intresse för denna typ av tjänstestandards och det är bara en tidsfråga innan leverantörer måste förhålla sig till ISO 10667. Återkommer vad som hände tredje dagen.

Anders

Några av världens främsta forskare inom Assessment Center (AC) tog upp en väl debatterad fråga, nämligen är det dimensioner av kompetens vi mäter (det som genomförs idag) eller är det i själva verket de olika övningarna som speglar det som skiljer individer  åt i prestation. Resultatet som redovisas av forskarna är att båda aspekterna är värda att poängsätta och tolka.  Dock uppstår ett problem när detta genomförs, det finns fortfarande en stor del av variation kvar i en generell faktor och det är högst oklart vad denna faktor mäter. Så ett problem är  löst, poängsätt både dimensioner och övningar när ni gör assessment center, båda aspekterna är valida. Ett problem kvarstår, vad innehåller då den generella faktorn? Vi får vänta til nästa SIOP för att få reda på svaret.

Dimensions, Task, and Mixed Model perspectives on Assessment Centers (SIOP, 2012)

Imorgon börjar den kanske mest intressanta kongressen om året för oss som arbetar inom ämnet arbetspsykologi. SIOP detta år går av stapeln i San Diego. Årets program ser väldigt intressant ut med höjdpunkter inom team forskningen och internet baserad testning.  Nya forskningsresultat kommer att presenteras inom områden som personlighet, begåvning, kontraproduktivt beteende på arbetsplatser,  arbetsprestation och assessment center.  Det svenska arbetet med ISO  10667 kommer att presenteras under konferensen där olika perspektiv på certfiering enligt standarden kommer att diskuteras. Vid tillfälle kommer intressanta resultat att publiceras här på psychometrics.se

Studier gjorda över hela Skandinavien under de senaste 40 åren visar samma sak: den typiske koncernchefen är en man på strax över 50 år, han kommer från medel- eller överklassen och är civilekonom eller civilingenjör.

Trots att kraven på en genomlyst process höjts och chefsrekryteringsfirmor är idag med i de allra flesta vd-tillsättningar. Trots detta är det mycket som tyder på att beslutsprocessen är den samma som för 40 år sedan. Frågan är om rekryteringsfirmor endast har en statistroll när det verkligen gäller, dvs vid urvalsbeslut. Psychometrics har tidigare pratat om ISO 10667 som ett sätt att tydliggöra leveransen av rekrytering och andra bedömningstjänster. En artikel i dagens Svenska Dagbladet avslöjar att en standard som talar om hur beslutsprocessen egentligen går till vid VD tillsättningar är välkommen. Det är Pernille Bang och Maria Steffensen, masterstudenter vid Copenhagen business school, som djupintervjuade 13 personer-styrelseordföranden, styrelsemedlemmar, koncernchefer och rekryteringskonsulter som alla har en del i vd-rekryteringar i Skandinaviens allra största bolag. De som blev intervjuade av studenterna gjorde ingen hemlighet av att det slutgiltiga valet sker på magkänsla. Flera jämförde processen att hitta en ny vd med att hitta en livspartner. Och de man trivs med liknar ofta en själv. Då känns det mindre riskfyllt, uttryckte flera av de intervjuade.  Rekryteringskonsulterna fungerar ofta som grindvakt i ett exklusivt nätverk. Mycket talar för att även om rekryteringskonsulterna har en genomtänkt process för urvalet har detta ingen effekt på beslutet. Så frågan är vad företagen betalar för? En process som någon annan levererar för att ha ryggen fri när kritiken kommer. Den rekryteringsfirma som bryter denna trend, att istället för att tala om helhetsbedömningar alltid ha en öppen process där kandidater och beslutsfattare kan följa hela processen fram till urvalsbeslutet kommer vända på branschlogiken. Men är det någon som vågar? Knappast. Läs hela artikeln i Svenska Dagbladet.

http://www.svd.se/naringsliv/karriar/bors-vdar-stopta-i-samma-form_7005987.svd

För alla er som är intresserade av organisationspsykologi ur ett forskningsperspektiv är denna bok ett givet köp. Några av de främsta svenska forskarna inom området bidrar med kapitel om; Människan i arbetslivet, Arbete motivation och välbefinnande, samt Styrning av organisationer. 

Boken anlägger ett brett perspektiv på individen i arbetslivet som spänner över både arbets- och organisationspsykologi. Författarna tar upp de ramar som modernt arbetsliv skapar och hur individen rör sig innanför dessa. De beskriver arbetets roll i livet, samspelet på arbetsplatsen och vilken betydelse det kan ha för individen. Likaså behandlas fenomen som organisationsförändringar, ledarskap och motivation. Författarna har en gedigen erfarenhet av undervisning och forskning inom ämnet vilket gör boken både pedagogiskt upplagd och uppdaterad inom de senaste rönen. Boken är skriven för studerande i psykologi och beteendevetenskapliga utbildningar samt i företagsekonomi med organisationsinriktning. Boken är även lämplig för HR-specialister, chefer och andra med intresse av hur samspelet mellan individ och organisation bidrar till att skapa hållbara arbetsvillkor och effektiva organisationer. Boken är en hyllning till Professor Gunn Johansson, Stockholms universitet,  som under 30 år lett denna grupp av forskare att prestera världsledande forskning inom området.

Referens

Aronssson, G., Hellgren, J., Isaksson, K., Johansson, G., Sverke, M., Torbiörn, I. (2012). Arbets- & organisationspsykologi. Individ och organisation i samspel. Natur & Kultur. ISBN 978-91-27-1190-5

I sommar anordnar International Test Commission sin åttonde konferens, denna gång i Amsterdam (8th ITC Conference, July 3- 5 in Amsterdam, 2012). Exempel på ämnen som kommer att presenteras är testning och digitala medier, testning av heterogena grupper, utveckling av testteori och etiska aspekter av testning.

Psychometrics (Anders Sjöberg) och Sandahl Partners (Sara Henrysson-Eidvall & Maria Åkerlund) har tillsammans i ett forskningsprojekt testat 286 chefer med ett personlighetstest (NEO-PI-R; Costa & MacCrae) och ett begåvningstest (BasIQ; Mårdberg Sjöberg & Henrysson-Eidvall). Resultatet av studien kommer att presenteras på ITC konferensen. Studien testar hypotesen att det föreligger ett samband mellan generell intelligens (g) och personlighetens generella faktor (GFP). Nedan presenteras en kort sammanfattning av presentationen.

The correlation between general intelligence and a general factor of personality

Spearmans general intelligence construct (g) is well known. Recently research have proposed that there is also a General Factor of Personality (GFP) which accounts for the relationships found between the big five personality dimensions. Rushton (1985) suggested that a positive correlation should exist between personality and intelligence based on the r-K life history theory. The theory claims that hierarchically organized traits can be explained by a single super-factor. The r-K life theory highlights that traits need to be harmonized, not work independently of each other. Based on r-K life history theory this study test the hypothesis of a positive correlation between general g and GFP in a sample of manager candidates (N=286).  The particpants had completed a big five personality inventory (NEO-PI-R) and a measure of general intelligence (BasIQ). Contrary to the hypothesis, the correlations between the GFPs and g were found to be non-significant, suggesting independence between GFP and g. Theoretical and methodological implications of the results are discussed.