Psykometri när den är som bäst

Det är med stolthet jag igår kunde se att en ny version av Matrigma sjösattes (Adaptive Matrigma). Ett forskningsprojekt som pågått i 6 år är nu klart. Det är ett dedikerat team av forskare och programmerare som tillsammans möjliggjort ett test som bygger på den absolut senaste forskningen inom psykometri. Att detta är möjligt är mycket tack vare Fredrik Niemelä som vidareutvecklat en matematisk modell som effektiviserar testförfarandet där syftet är att bestämma en persons logiska problemlösningsförmåga.

I grunden ligger Matrigma Classic som jag berättat om tidigare på psychometrics. Matrigma Classic och Adaptive Matrigma har hel del gemensamt. De delar teoretisk bakgrund vad gäller intelligensens historia, Spearmans g faktor, och synen på mätning av intelligens. Instrumenten delar också syfte, användningsområden, och kopplingar till relevanta utfall. Dessutom delar de item, det är samma uppsättning av item som ingår i de båda instrumenten.

Men, det finns även flera väsentliga olikheter. Dessa olikheter kan tyckas abstrakta och kanske tekniskt avancerade, men de medför tveklöst konsekvenser för användning, premisser för administrering, innebörd av resultat och tolkning.

Även om den klassiska Matrigma i sin utveckling använde Item Response Therory (IRT) i val av item så bygger själva tillämpningen av testresultatet på den klassiska testteorin. Min erfarenhet att många testleverantörer säger sig ha sk adaptiva test men i själva verket är det test som utvecklats inom IRT, men i själva tillämpningen ändock lutar sig mot den klassiska testteorin.

Adaptive Matrigma håller hela vägen in i mål. Den största skillnaden mellan klassiska testteorin och IRT är att den moderna psykometrin inte behöver ge alla kandidater samma frågor och inte heller samma antal frågor. I Adaptive Matrigma anpassar hela tiden vilka av alla 150 frågor som ”passar” testpersonens intelligensnivå. Utvecklingen av adaptive Matrigma har försigåtts av ett gediget psykometriskt arbete där alla 150 items svårighetsnivå bestämts, hur väl varje item differentierar individer och hur stor chans det är att gissa rätt på varje item. Dessa tre aspekter brukar på psykometrispråk benämnas IRT med 3 parametrar.

Den matematiska algoritmen gör att testprocessen kan effektiviseras över 100% tidsmässigt; från 40 minuter till 12 minuter med minst lika träffsäkert resultat. Vad som sker är följande.

  1. Ett slumpvist item med kända svårighetsnivå administreras till testpersonen. Den första uppgiften som administreras är alltid en slumpmässigt vald uppgift på en svårighetsnivå som motsvarar en låg intelligensnivå
  2. Testpersonens rätt eller fel på detta item registreras
  3. Vid ett korrekt svar på den första uppgiften kommer den andra uppgiften som administreras vara ett slumpmässigt valt item på en svårighetsgrad motsvarande en något högre nivå, något svårare således. Vid ett inkorrekt svar på uppgift 1 så kommer uppgift 2 som administreras vara ett slumpmässigt valt item på en svårighetsgrad motsvarande något lägre nivå. Det betyder att trots ett inkorrekt svar på uppgift 1 så kommer testpersonen att administreras en något svårare uppgift, dock ej ett lika svårt som om svaret på uppgift 1 var korrekt.
  4.  Valet av tredje uppgift sker på samma premisser som innan med skillnaden att det slumpmässiga itemet vid ett korrekt svar på föregående uppgift kommer att motsvara en svårighetsnivå på medelnivå. Alltså ytterligare något svårare. Vid ett inkorrekt svar på uppgift 2 så administreras ett slumpmässigt valt item som motsvarar en betydligt lägre svårighetsnivå. En testperson kan således avvika från uppvärmningsfasen tidigare än en annan testperson.
  5. Detta bygger på att administreringen av de inledande uppgifterna väljer uppgifter som ligger i underkant i svårighetsnivå. Hänsyn tas således till svaret på föregående uppgifter men valet av nästa item ligger i underkant i svårighetsgrad. Uppgifterna som administreras i denna uppvärmningsfas kan därmed betraktas som begränsat adaptiva. Detta hänynstagande minskas successivt i och med att det blir bättre matchning vartefter ett antal uppgifter administrerats.
  6. När uppvärmningsfasen är passerad har tespersonen ett initialt värde (en sk prior), detta värde är vägledande för nästa steg i den interativa processen.
  7. I nästa steg väljs item baserat på tidigare svar med syfte att ”hitta” testpersonens ”sanna” intelligensvärde.
  8. Detta förfarande fortgår fram tills att två minuter återstår av administreringstiden, som är 12 minuter, då item inte väljs slumpmässigt från den aktuella itempoolen. Uppgifter väljs istället utifrån egenskapen att de har maximalt minsta avstånd i svårighetsnivå till någon annan redan besvarad uppgift. Syftet är att täcka av den aktuella nivån så effektivt som möjligt.
  9. Det slutliga resultatet för en testperson efter denna process ”länkas” sedan till den normgrupp från Matrigma Classic, uttryckt i en C-poäng (0-10).

Detta testprojekt är nog det mest avancerade jag varit inblandad i (ibland långt över min nivå i problemlösning) och ett resultat av att många individer med olika kompetenser tillsammans lyckats tillverka en produkt som kommer hålla många år framöver. Allt från Hunter Mabon som först konstruerade alla item och till alla de på Assessio som jobbar med testplattformen Ascend.

Be proud.

Referens

Mabon, H., Niemelä, F., Sjöberg, A., & Sjöberg, S. (2017). Adaptive Matrigma. Technical Manual. Stockholm. Assessio International.

Not. Rättigheterna till Adaptive Matrigma© innehas av Assessio International. Adaptive Matrigma©  finns i deras web-test plattform Ascend. Om du vill läsa mer om Assessios produkter och Ascend klicka här.

MINT granskat av DNV/GL och får högsta betyg

Så här lagom till helgen damp det ned ett mail om att ytterligare ett test som jag varit med och utvecklat har gått igenom en tuff granskning av DNV/GL. Det är testet MeasuringINTegrity (MINT©) som får högsta betyg av bedömarna.

MINT© idén har sitt ursprung i Dr Deniz Ones avhandling från början av 90-talet där hon visade att test som mäter integritet har validitet utöver intelligens när både dåliga och bra beteenden på arbetsplatsen ska förutsägas.

MINT© är ett personlighetsbaserat integritetstest. Det är utvecklat för att användas för screening i urvalssammanhang i syfte att kunna identifiera tendenser till först och främst kontraproduktivt beteende hos individer. Testet bygger på tre av den så kallade femfaktormodellens faktorer som i den moderna forskningen har kunnat konstateras bidra till att ge ett mått på en persons integritet. MINTs teoretiska ramverk ligger i att förutsäga tendenser för kontraproduktiva beteenden. Detta görs genom att mäta personlighetsdimensionerna Emotionell stabilitet (ES), Sympatiskhet (A) och Målmedvetenhet (C). MINT© ger ett övergripande mått på faktorn Integritet, som ger information om personens sannolika tendenser till kontraproduktivt beteende, och mått på underfaktorerna Relationsorientering (R) respektive Uppgiftsorientering (U), som ger beskrivande information om personens sätt att närma sig olika typer av situationer och uppgifter i arbete, och på vilket sätt kontraproduktivt beteende kan antas komma till uttryck.

Jag skötte en hel del av psykometrin vid utvecklingen och Sofia Sjöberg skrev manualen. Redigeringen av texten och tabellerna sköttes av Joakim Lindfors och Tiina Pukkila och grafisk formgivare var Chrsitina Aulin. Manualen består av fem kapitel varav i det första presenteras arbetslivsrelaterade beteenden med fokus på kontraproduktivt beteende utifrån en modell av Counterproductive Work Behavior (CWB); vidare diskuteras ekonomiska konsekvenser av kontraproduktivt beteende i organisationer. I det andra kapitlet definieras begreppet Integritet och dess implikationer för CWB. Utvecklingen av MINT© återges i kapitel 3 som innehåller både beskrivningar av dess teoretiska bakgrund samt utveckling av instrumentets skalor och frågor. Vidare redogörs för det omfattande vetenskapliga arbete som genomförts för att undersöka och säkra testets psykometriska egenskaper. I kapitel 4 diskuteras ekonomiska aspekter på urval och rekrytering. I det avslutande femte kapitlet finns anvisningar om testadministrering samt tolkning och återkoppling av testresultat.

Särskilt Sofia jobbade hårt med att beskriva i manualen varför vi utvecklade testet, hur vi gjorde, vad det ska användas till, vad det INTE ska användas till och vilken ekonomisk nytta användningen kan ha om MINT används på rätt sätt. Därför är det extra roligt att vi kammar (nästan) full pott på bedömningen av manualen (se nedan).

Här publicerades först en bild på betyget, men pga rättighetsskäl har jag tagit bort den bilden (se not nedan)

När bedömarna ger sin verbala bedömning av MINT låter det ungefär så här (egen tolkning av originaltexten). MINT är ett modernt och väl dokumenterat test där manualen ger en tydlig och koncis beskrivning av den psykologiska modellen, hur testutvecklingen genomförts och hur MINT bör användas i praktiken. Det är också mycket välintegrerat i webb plattformen Ascend. Testet har en given position i de allra flesta urvalsprocesser, avslutar bedömarna.

Faktum är att testet idag är så mycket mer än vad det var när vi utvecklade det för tio år sedan. Mycket tack vare ett dedikerat team programmerare på Assessio psychometrics som bygger plattformen Ascend. En anledning att MINT© används idag på 12 språk är också att många duktiga utbildare i Sverige, Norge och Finland genom åren på ett pedagogiskt sätt förklarat begreppet integritet såsom det mäts med MINT©.

Not. Rättigheterna till MINT© innehas av Assessio International. MINT© finns i deras web-test plattform Ascend. Om du vill läsa mer om Assessios produkter och Ascend klicka här. Rättigheterna till DNV-GL granskningsrapport av Matrigma ägs av Assessio och DNV-GL.

Matrigma granskat av DNV/GL och får högsta betyg

För ett antal år sedan hade jag förmånen att få arbeta tillsammans med Professor Hunter Mabon för att utveckla ett matristest för att mäta intelligens. Detta resulterade i testet Matrigma©. Nu har Matrigma© granskats av oberoende granskare av certfieringsinstitutet DNV/GL. Matrigma© får strålande betyg.

Matrigma© utvecklades av min mentor Professor Hunter Mabon. Idén kläcktes för länge sedan av Charles Edward Spearman (1863–1945), personen som lanserade begreppet generell intelligens (g). g-faktorn är inte relaterad till en specifik problemlösning (i testsammanhang: item), menade Spearman. En närmast oändlig variation av item är kapabla att mäta g eftersom den generella faktorn finns i alla typer av problemlösning (Jensen, 1998). De item som bäst fångar g-faktorn är de som utmanar förmågan till att se dolda samband, fylla i luckor där information saknas, se relationer mellan objekt, hitta beröringspunkter mellan figurer som skiljer sig åt – det vill säga typer av problemlösning som Spearman (1904) benämner ”eduction of relations and correlates”. Spearman föreslog till sina studenter att g kan mätas med ett matrisrelationstest. Tekniken vidareutvecklades av en av hans studenter, psykologen John C. Raven, och den brittiska genetikern Lionel Penrose, vilka anpassade teorin till en matrisform (Penrose & Raven, 1936). Figurerna i matrisformen var två-dimensionella, dvs. innefattade simultant både horisontella och vertikala transformationer Raven var ansvarig för publiceringen av det första Progressiva Matristestet och dess efterföljande förbättringar och vidareutvecklingar (Raven, 1947, 1960). Raven beskriver de Progressiva Matriserna som ”ett test på en persons förmåga att utforma jämförelser, resonera genom analogier, och utveckla en logisk tankemässig metod oberoende av tidigare erhållen information” (Raven, 1938, s. 12).

Hunter satt en sommar i Italien och ritade ca 50 matriser som utgjorde den första versionen av Matrigma. Dessutom lät han sina studenter försöka lösa dessa matriser, och det är här mitt arbete började. Hunter var tvärsäker på att matriserna, som han svårighetsbestämt, skulle fungera. Jag var försiktigare, jag ville prova detta med en modell av item respons teori. Data från 61 studenter som samlades in och analyserades . I stora drag hade Hunter rätt, det var ett reliabelt test. För att testa begreppsvaliditeten gjordes ytterligare sambands studier med andra begåvningstest, och vi hade härmed en första version som lanserades 2009. Jag skrev manualen tillsammans med två duktiga redaktör; Cicek Svensson och Joakim Lindfors. Och den grafiska layouten gjordes av Christina Aulin. Från början hette inte testet Matrigma, arbetsnamnet var Mabons matriser. Det var en duktiga kollega, Åsa Nordin, som kom upp med namnet, och vi nappade på det direkt. Namnet har både MATriser och General Mental Ability (gma) i sig, suveränt Åsa.

Som alltid tar det sin tid innan ett test börjar användas, även Matrigma tog några år att komma upp på banan. Men när Hogan Assessments visade intresse att vara återförsäljare började det hända saker. Idag finns Matrigma med instruktioner på ca 30 språk i fem olika parallella versioner. Vi har gjort normberäkningar med över 80 000 individer och flera valideringsstudier i olika länder. Jag har gjort de allra flesta analyserna i manualen (några analyser har min tidigare kollega Mats Englund gjort). Detta har sammanfattats i en alldeles ny manual (Mabon & Sjöberg, 2017) som skrivits av mina kollegor Sofia Sjöberg och Johan Larsson. Det är denna manual som resulterar i att de två oberoende personer som bedömt testet, efter senaste kraven från EFPA kan säga att (obs egen tolkning av originaltext) att Matrigma är ett utmärkt intelligenstest och manualen visar på god dokumentation av de psykometriska egenskaperna. Dessutom har bedömarna praktiskt testat Matrigma och tycker att Matrigma är mycket enkelt att använda integrerat i Ascend webbplattform. De konstaterar slutligen att Matrigma är ett väl validerad test som kan användas för att förutsäga övergripande arbetsprestation.

Jag vet att jag skryter nu, men faktum är att jag har genom åren inte läst en bättre bedömning av ett test som bedömts enligt riktlinjerna av EFPA, det är nästintill högsta poäng på allt, inte minst användarvänligheten i Ascend.

Tack vare ett otroligt dedikerat team av utvecklare, psykometriker, redaktörer och programmerare på företaget som en gång hette Psykologiförlaget och som idag heter Assessio Psychometrics används Matrigma© i personbedömningar någonstans mellan 20 000 – 30 000 gånger varje månad! Det är så tillfredställande att se att hårt arbete lönar sig och att Matrigma idag är världens bästa matristest (OK, jag är inte helt objektiv här).

Not. Rättigheterna till Matrigma© innehas av Assessio. Matrigma© finns i deras web-test plattform Ascend. Om du vill läsa mer om Assessios produkter klicka här. Rättigheterna till DNV-GL granskningsrapport av Matrigma ägs av Assessio och DNV-GL.

 

Referenser

Jensen, A. R. (1998). The g Factor. The science of Mental Ability. Westport, CT: Praeger Publisher.

Mabon, H., & Sjöberg, A. (2017). Matrigma. Technical Manual. Stockholm. Assessio International.

Penrose, L. S., & Raven, J. C. (1936). A new series of perceptual tests: Preliminary communication. British Journal of Medica Psychology, 16, 97–104.

Raven, J. C. (1938). Progressive Matrices: A Perceptual Test of Intelligence. London: H. K. Lewis.

Raven, J. C. (1947). Coloured Progressive Matrices. London: H. K. Lewis.

Raven, J. C. (1960). Guide to the Standard Progressive Matrices. London: H. K. Lewis.

Spearman, C. (1904). General intelligence: Objectively determined and measured. American Journal of Psychology, 15, 201–292.

Begåvning och motivation: Evidens för tolkning i urvalssituationer

Den psykologiska forskningen skiljer på adderande och modererande faktorer för att predicera prestation. Adderande faktorer fungerar som det låter, varje faktor adderar varandra för att förklara variationen i ett utfallsmått (tex prestation). I en modererande modell (också kallad interaktionsmodell) är det samvariation tillsammans mellan två eller fler variabler som tillsammans bidrar till att förklara variationen i den beroende variabeln.

Väldigt många teorier som används för att förklara hur olika psykologisk faktorer samvarierar har modererande inslag, alltifrån forskning om ohälsa på arbetet till arbetsmotivation.

Rent statistiskt för att undersöka detta så använder vi + (plus) för de adderande modellerna och * (gånger) för interaktionsmodellerna. En klassisk teori som anammar denna modererande modell är Vrooms (1964) teori om motivation och begåvning, formellt kan den uttryckas som;

Prestation =f(Begåvning*Motivation).

Teorin utgår från ett antagande att om personen INTE är motiverad spelar det ingen roll hur begåvad personen är. Alltså noll motivation och hög begåvning ger låg prestation, men om motivationen höjs kommer kommer begåvningen att betyda att prestationen höjs betydligt.

I praktiken är det vanligt att rekryteraren (förmodligen utan att veta om Vrooms teori) kan uttrycka sig så här.

Kandidaten har höga poäng på BasIQ (ett begåvningtest) vilket betyder sannolikt en god problemlösningsförmåga, men vi ser i MAP (ett personlighetstestet) och i intervjun att kandidaten inte visar på tillräcklig motivation för att ta sig an arbetsuppgiften (lågt på ambition och ordentlighet). Däremot har vi en kandidat med medelpoäng på BasIQ och väldig tydlig motivation för arbetsuppgiften, därför rekommenderar vi hen.

Med andra ord så ”straffas” personen för sin låga motivation, och den höga poängen på begåvning ”spelar ingen roll”.

Men stämmer detta, är det verkligen så? Ett annat alternativ är att både motivation och begåvning har lika starkt samband med prestation, det är bra att vara både begåvad och motiverad och sämst för prestationen är om kandidaten är varken begåvad eller motiverad. Men, avsaknad av antingen begåvning eller motivation har lika stor negativ effekt, med andra ord, de båda faktorerna kompenserar varandra, den lågt begåvad kan kompensera med en enorm motivation, och den omotiverade kan kompensera med sin höga begåvning.

Alltså + istället för *.

Ett annat sätt att illustrera en adderande modell är att motivation och begåvning är oberoende faktorer som inte påverkar varandra i förhållande till prestation, de förklarar olika delar av prestationen.

Men om nu många teoretiker och praktiker anammar den modererande modellen (*) vad säger forskningen, stämmer det verkligen?.

Nu har detta undersökts, och det är förvånande resultat, den adderande modellen vinner överlägset, många av vår gamla hederliga teorier inom psykologin bör ses över och modifieras, OMGÅENDE.

Det är ett forskarteam bestående av Van Iddekinge, Aguinius, Mackey, och DeOrtines (2017) som har gjort ett fantastiskt arbete genom att inte bara läsa igenom 3000 publicerade artiklar, bokkapitel och avhandlingar utan också kontaktat forskare och sammanlagt kunna få ta del av 55 databaser för att testa forskningsfrågan om + eller *. I en vanlig meta analys räcker det att läsa artiklar för att finna data som kan ingå i en analys, men för att testa interaktioner behövs oftast original data, dvs individuella resultat från de som ingått i studien. Efter att kontaktat 57 författare som hade data på tre variabler i en och samma studie, prestation begåvning och motivation kunde analysen börja. Sammanlagt var det 11 283 individuella resultat som ingick i analysen. En mängd olika intelligenstest ingick som mått på begåvning och olika typer att motivationsmått ingick i analysen. Intelligenstest utgick från att det var ett mått på generell begåvning. Motivation definieras som ” an unobservable force that directs, energizes, and sustains behavior”. Motivationsmåtten delades upp i ”state” och trait” mått. State mått på motivation mäter om individen är motiverade av en viss typ av prestation, medan trait mäter en generell motivationsfaktor hos individen. Dessutom delades data upp om det var experiment eller fältstudier, och om måttet på prestation var subjektivt eller objektivt, och om prestation mättes som lärande eller arbetsprestation.

Resultatet visade att state var viktigare än trait för att predicera prestation, motivation och begåvning var lika viktiga för att förutsäga prestation. Den multiplikativa effekten var INTE starkare i experimentella studier i jämförelse med fältstudier. Begåvning var viktigare för lärande (training performance) i jämförelse med arbetsprestation. Och begåvning var viktigare i jämförelse med motivation när prestation mäts objektivt (inte skattningar av prestation).

Även om detta är intressanta resultat så de viktigaste fyndet i denna studie är att den multiplikativa modellen inte får stöd, istället är det så att den additativa modellen får stöd. Vid en jämförelse så står den multiplikativa modellen endast för ytterligare 2% förklaringsgrad i prestation, en försumbart samband när det sätts i jämförelse med den kompensatoriska modellen där begåvning och motivation (52%) tillsammans samvarierar betydligt starkare med prestation. Således kan många teorier som säger att ”om personen INTE är motiverad spelar det ingen roll hur begåvad hen är”. Det är alltså fel. Istället ger forskning idag stöd för att både motivation och begåvning är viktiga för prestation, men att dessa båda variabler kan kompensera varandra, tex kan en person som inte är så motiverad prestera bra på jobbet om samma person är begåvad. Och tvärtom, en person som inte är så begåvad prestera bra på jobbet om samma person är motiverad.

Detta får naturligtvis inte bara en teoretisk betydelse utan en högst praktisk betydelse vid bedömning i urvalssituationer. Du ska välja de som är både begåvade och motiverade, men du ska inte per automatik välja bort begåvade som inte bedöms vara motiverade, och inte heller välja bort de som är motiverade men inte begåvade.

Ett exempel på den additativa modellen är Evidensbaserat Urval (EBU) där målmedvetenhet och begåvning tillsammans ses som två kompenserande faktorer. Målmedvetenhet, som det mäts i MAP, har ett inslag av motivation som mycket väl kan användas i urvalssituationer. Algoritmen för att predicera arbetsprestation struntar i interaktionseffekten och går 100% på den additativa modellen, nu med ytterligare stöd från denna meta analys.

Referenser

Van Iddekinge , C.H., Aguinis, H., Mackey, J.D., & DeOrtentiis, P.S. (2017). A meta-analysis of the interactive, additive, and relative Effects of cognitive ability and motivation on performance. Journal of Management. DOI: 10.1177/0149206317702220

Vroom, V. H. 1964. Work and motivation. New York: Wiley.

 

 

Jag är helt enkelt för smart! Intelligensens förmåga att påverka arbetsgruppen. Ny spännande forskning presenteras

Runt begreppet intelligens har funnits – och finns – en rik flora av olika teorier och modeller. Frågetecknen har ofta rört huruvida det finns ”olika sorters” intelligenser eller om intelligens är en enhetlig egenskap hos människan. En av de tidigaste teoretikerna, Charles Spearman (1904), såg begåvning som en i huvudsak odifferentierad, generell dimension, medan senare forskare som delade upp intelligensbegreppet i en mängd olika faktorer (Thurstone & Thurstone, 1941). Även om olika modeller diskuterats genom åren så är det tveklöst att det finns ett linjärt samband mellan intelligens (IQ) och arbetsprestation och att det sambandet påverkas av komplexitet i arbetsuppgiften. Om arbetsuppgiften är komplex ökar det linjära sambandet mellan IQ och prestation (Sjöberg, Sjöberg, & Forssén, 2006).

Sambandet mellan ledarskap och IQ är dock mer komplext. Forskare har funnit att IQ har ett positivt samband med ledarskap, där ledarskap definieras som en kombination av ”Emergence och Effectivensess”. ”Emergence ” avspeglar i vilken utsträckning individen kommer att framstå som en trovärdig ledare, det vill säga om individen sannolikt kommer att uppfattas som en ledare av medarbetarna. ”Effectivensess”  avspeglar hur effektiv individen är som ledare, det vill säga hur väl personen leder medarbetarna i syfte att dessa ska utföra handlingar och beteenden som är kopplade till och/eller bidrar till organisationens mål. Dessa två komponenter utgör i en meta analys tillsammans den övergripande prestationen i rollen som ledare (Judge, Colbert, & Ilies, 2004).

Ett problem i ledarskapsforskningen är kriteriet, vad är egentligen en effektiv bra ledare. Alltifrån att vara omtyckt som chef till att bidra med ekonomisk vinst till företaget har använts som utfallsmått. Själv har jag tagit positionen att det linjära sambandet har liknande effekt som när komplexitet i arbetsuppgiften påverkar sambandet mellan intelligens och arbetsprestation. Den kognitiva förmågan påverkar naturligtvis prestation som har med problemlösning att göra, INTE hur omtyckt man är som chef.

En viktig del i ledarskapet är att få med sig sina medarbetare. Alla kan vittna om en chef som förvisso kan lösa problem men inte får med sig gruppen. Att påverka andra är en huvuduppgift för ledaren, men detta omöjliggörs om inte medarbetarna har samma mentala bild vad som ska göras på arbetsplatsen, och dessutom kan identifiera sig med det målet som ska uppnås.

Det låga sambandet mellan ledarskap och intelligens har gett upphov till teorier om att det kan finnas icke linjära samband mellan den kognitiva förmågan och förmågan att påverka andra medarbetare.

Nu har spännande forskning publicerats som delvis kan bekräfta detta samband. Den teoretiska utgångspunkten är att sambandet är linjärt upp till en viss nivå, sedan avtar det positiva sambandet för att sedan bli negativt.

Redan 1985 föreslog Dean Keith Simonton (Simonton, 1985) olika orsaker till att sambandet mellan IQ och påverka andra personer (eng influence in groups) kan vara kurvlinjärt.

Som tidigare påpekats handlar intelligens om problemlösning, denna problemlösning kan tränas upp där de med hög IQ lär sig snabbare och mer i jämförelse med de som har låg IQ. Om en grupp är intelligent kommer detta märkas genom hur gruppmedlemmar och ledare kommunicerar med varandra. Intelligenta personer använder ett sofistikerat språk med mer komplexa inslag. Intelligenta har också ett större ordförråd där logiken hela tiden sätts i första rummet. Det snabba sättet att tänka gör också att lösningarna på problemen kommer snabbt och att lösningarna på problem har en flexibel karaktär, ett exempel är när de personer med hög IQ lyckas ser problem redan innan de uppkommit. Eftersom kommunikationen är så central för att övertyga andra människor påverkar detta effektiviteten i gruppen. Från teamforskningen vet vi tex att mentala modeller som kan delas av alla i en grupp påverkar hur proaktiv gruppen är. Om komplexiteten i arbetsuppgiften också är hög kan detta vara avgörande för gruppens prestation (Lantz-Friedrich, Sjöberg, Friedrich, 2016).

Simonton menar att om ledaren har hög IQ och gruppmedlemmarna har en lägre IQ kan följande inträffa.

  1. Chefen presenterar lösningar på problem som är alltför komplexa för att medarbetarna ska förstå vad de ska göra med informationen
  2. Chefen pratar ett språk som medarbetarna inte förstår, detta handlar inte bara om lösningar på problem utan också när chefen pratar till medarbetarna på kafferasten, på företagsfesten eller vid det årliga jultalet.

Dessa två punkter kan då påverka ”avståndet” mellan chefen och hens medarbetare. Chefen kan då uppfattas som lite väl speciell för att ”tillhöra” gruppen. Detta i sin tur påverkar hur medarbetaren upplever chefen, även om chefen är bra på att lösa problem kommer inte chefen ”fram” med sitt budskap till medarbetarna.

Simonton föreslår, med ledning av ovan resonemang. att det kan finnas vissa ”gränser” där det positiva sambandet mellan IQ och ledarskap vänder och blir negativt. En utgångspunkt är att de allra flesta är normalbegåvade (IQ=100) med en standardavvikelse på 16. Faktum är att om vi antar detta och Chef har en IQ på 100 så är det 50% som ligger under hens IQ. Däremot om chefen har en intelligens som ligger på 116 så är det 84.13% som ligger under chefens IQ. Så en ökning med 1 SD kan göra att medarbetarna sannolikt upplever chefen som smartare än de själva.

Det är sålunda gapet (skillnaden) mellan medarbetarnas och Chefens IQ som är i fokus. Simonton föreslår att gränsen går vid en persons IQ på 119 (om vi antar att gruppen ligger på 100).  Om chefen har högre IQ är sannolikheten att hen upplevs som för ”speciell” för att tillhöra gruppen.

Om vi sedan betraktar att gruppens IQ kan variera så flyttas naturligtvis gränserna antingen upp eller ned i fördelningen. Detta kan illustreras genom att forskningen visar att vissa yrken har högre komplexitetsgrad i jämförelse med andra. Sålunda kan man tänkas sig att olika ”gränser för chefens IQ” kan variera var chefen arbetar. Om skillnaden är liten finns det en chans att den nuvarande Chefen hela tiden utmanas av andra gruppmedlemmar, är skillnaden stor finns risken att avståndet ökar mellan medarbetare och chef, och sannolikheten att chefen ”får med sig” medarbetarna sjunker dramatiskt.

Antonakis, House, & Simonton, (2017) testade om ovan resonemang går att bekräfta i verkligheten. De undersökte 379 ledares IQ nivå (med Wonderlic Intelligence test) i en internationell organisation (24 chefer var från Sverige). Förutom IQ, testades samtliga ledare med ett personlighetstest. Hela 2905 medarbetare skattade hur bra ledarskapet var bland de 379 cheferna. Skattningen bestod av 9 faktorer som mäts med instrumentet Multifactor Leadership Questionnaire. Dessa nio faktorer kan delas in i transformational leadership, transactional leadership, laissez-faire och instrumental leadership.

Resultatet bekräftar i stora drag hypoteserna (en gräns på 124 föreslogs givet gruppernas sannolika IQ nivå). Nedan ser ni sambandet för fyra av faktorerna av ledarskap.

I samtliga fyra figurer ovan illustreras det kurvlinjära samabandet mellan antal rätt på intelligenstestet och fyra olika aspekter av ledarskap. Såvitt jag vet är detta den första studien som undersöker Simontons teori från 80-talet. Även om resultats är intressant så bör studien upprepas innan  praktiska rekommendationer att ”inte ta de med högst IQ”.

Som jag sagt ovan är det viktigt att komma ihåg att prestationen för cheferna bygger på subjektiva data från medarbetare. Författarna beskriver det på detta sätt.

”Because we used observer ratings, we argued that too highly intelligent leaders might not be seen as effective, even though they may be objectively effective on the basis of data that is not biased by perceptions; thus, our results should not be interpreted as showing that a high levels of intelligence do not matter for leadership.” (sid 14).

Sammantaget kan det sägas att detta är inledande intressanta resultat, men för att få en praktisk inverkan, dvs rekommendera att välj bort de mest intelligenta behövs mycket mer forskning, inte minst med en kombination av både subjektiva och objektiva data som kriterier på ett bra ledarskap.

Men låt oss anta att det kommer mer resultat som kan bekräfta dessa resultat, vad ska man tänka på.

Om detta ska användas i det praktiska urvalsarbete bör man veta gruppens IQ nivå, eftersom gränsen hela tiden är ”flytande”. Det finns andra faktorer som är viktiga, i denna studie visade det sig att personlighet hade en positivt samband med ledarskap, där framförallt Extraversion hade ett högt positivt samband med hur inspirerande cheferna upplevdes. Och sympatiskt hade ett positivt samband med intellektuell stimulering. För att få effektivitet i urvalet bör därför flera individuella differenser beaktas tillsammans i framtiden.

Referenser

Antonakis, J., House, R. J., & Simonton, D. K. (2017). Can super smart leaders suffer from too much of a good thing? The curvilinear effect of intelligence on perceived leadership behavior. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/apl0000221

Lantz Friedrich, A., Sjöberg, A., & Peter Friedrich, P. (2016). Leaned teamwork fattens workplace innovation: the relationship between task complexity, team learning and team proactivity, European Journal of Work and Organizational Psychology, DOI 10.1080/1359432X.2016.1183649

Judge, T. A., Colbert, A. E., & Ilies, R. (2004). Intelligence and leadership: A quantitative review and test of theoretical propositions. Journal of Applied Psychology, 89, 542–552. http://dx.doi.org/10.1037/0021-9010

Sjöberg, A., Sjöberg, S., & Forssén, K. (2006). Predicting Job Performance. Manual. Stockholm: Assessio.

Spearman, C. E. (1904). General intelligence, objectively determined and measured. American Journal of Psychology, 15, 201–293.

Thurstone, L. L., & Thurstone, L.G.(1941). Factorial studies of Intelligence. Psychometric Monographs, 1941, 2.

 

Dags att sluta citera Schmidt, F. L., & Hunter, J. E. (1998)?

Intelligens bedömt med ett begåvningstest har sedan Hunter & Schmidts artikel från 1998 stått i centrum för en effektiv urvalsprocess om intresset är att förutsäga en god arbetsprestation. Test som mäter problemlösningsförmåga har därför en central plats i rekryteringen för professionella rekryterare. Anledningen att denna typ av test fungerar är att en förmåga att lösa dessa problem ökar sannolikheten till lärande på arbetsplatsen som i sin tur syns i en bra prestation på arbetet. Men visar ny forskning att sambandet mellan intelligens och prestation beror på hur arbetsprestation definieras. Nedan kommer jag beskriva alldeles ny forskning på området. Det är helt enkelt dags att sluta citera Hunter & Schmidts artikel från 1998, det var då, även om en hel del inte förändrats är det läge att gå vidare.

En vanlig missuppfattning är att Hunter & Schmidts artikel från 1998 är en meta analys, det är fel, det är en sammanfattning av de olika meta analyser som genomförts fram till 1998. Det är också fel att denna artikel handlar enkom om validitet, titeln på artikeln är ”The validity and utility…”, dvs validitet vägt med nyttan att använda olika metoder för att förutsäga arbetsprestation. Rationalen för att sätta intelligens som första val var 1998 den låga kostnaden för ett begåvningstest (ca 75 kronor per testning) tillsammans med den höga validiteten (r=.51). Tillsammans med ett integritets test, som mäter andra egenskaper än intelligens, föll pusselbitarna på plats med en validitet (r = .65). I jämförelse med tex intervju och assessment center var begåvningstest ett effektivt och billigt sätt att förutsäga arbetsprestation. Viktigt att komma ihåg var att en mängd olika beslut fick tas av författarna vilka resultat som kom att ingå i denna artikel. Alla dessa beslut finns redovisade under en av världens längsta fotnot, i anslutning till tabellerna i artikeln. Olika beslut att ta med olika resultat har kritiserats av en del forskare, men fram tills idag har ingen kunnat redovisa resultat som skulle ändra på slutsatsen att använda begåvningstest i rekrytering.

Ett problem med 1998 studien är att en del resultat bygger på metanalyser från en mängd olika studier som definierat arbetsprestation på olika sätt. Det är här viktigt att skilja på olika typer av prestation som text ”task performance” som omfattar den prestation i faktiska och konkreta arbetsuppgifter som bidrar till produktionen av organisationen varor eller tjänster som formellt erkänns av arbetsgivaren. I allmänhet motsvarar detta beteenden och handlingar som bidrar till fullgörandet av uppgifter och det ansvar som är förknippat med en viss uppgift och att utföra arbetet med god kvalitet.

En annan typ av prestation är Organisationsmedborgarskap (eng. Organizational Citizenship Behaviour, OCB) som definieras som alla de frivilliga och positiva beteenden som inte omfattas av Task Performance men som på olika sätt främjar organisationens mål (Organ, Podsakoff, & MacKenzie, 2006).

Denna typ av beteenden bidrar till en väl fungerande organisation genom att stödja den övergripande organisatoriska, sociala eller psykologiska miljön. OCB omfattar beteenden som inte direkt eller uttryckligen erkänns i organisationens formella belöningssystem.

Enkelt uttryckt, task performance är tydligt kopplat till problemlösning medan OCB kan handla om beteenden som inte tydligt är kopplat till individens kognitiva förmåga.

I ytterligare en aspekt av arbetsprestation görs distinktion mellan den ”goda” arbetsprestationen (som representeras av TP och OCB) och ”skadliga” eller kontraproduktiva beteenden ”Counterproductive Work Behavior” som är relaterade till arbetet eller organisationen. Den vanligaste och mest allmänt vedertagna definitionen av CWB är:

“any intentional behavior on the part of an organization member viewed by the organization as contrary to its legitimate interests” (Sackett & DeVore, 2001, s. 145).

CWB är således ett samlingsbegrepp för alla medvetna och avsiktliga beteenden utförda av en medarbetare inom en organisation och som på något sätt har en negativ inverkan på eller skadar organisationen eller dess anställda.

Tillbaka till begåvning. Den studie som ingick i 1998 artikeln som bestämde validiteten .51 utgick från en och samma meta analys. Denna meta analys innehöll 425 mindre studier med ett och samma begåvningstest (GATB) med kriteriet Task Performance. Idag, nästan 20 år senare, har vi vetskap om att arbetsprestation bör definieras av lika stora delar TP, OCB och CWB, och då ändras begåvningens kraft att förutsäga arbetsprestation. Som jag tidigare skrivit om visar den senaste meta analysen (Gonzalez-Mulé, Mount, & Oh, 2014), att begåvnings viktning blir lägre beroende på att begåvningens förmåga är mindre för OCB och obefintlig för att förutsäga CWB. I själva verket är sambandet mellan begåvning och TP starkare (.69), medan sambandet mellan begåvning och OCB är svagare (.31), medan sambandet mellan begåvning och CWB är obefintligt (.12), vid jämförelse med 1998 studien. Om TP, OCB och CWB utgör ett övergripande mått på arbetsprestation är sambandet mellan begåvning och prestation .42. Detta betyder att sambandet sjunkit för den övergripande prestationen med 18% och att skillnaden mellan TP och prestation är hela 39% i styrka.

Detta resultat betyder att begåvning för medelkomplexa arbeten bör ha 18% lägre vikt vid förutsägelse av arbetsprestation vid en jämförelse med resultatet från 1998 studien om man definierar prestation som en kombination av TP, OCB och CWB. I de fall man istället vill predicera enbart Task Performnce bör vikten öka med 17%.

En kritik som framförts om 1998 studien är att författarna blandar metoder med psykologisk begrepp. Ett intelligenstest (begrepp) är konstruerat att mäta en egenskap, vilket betyder att en meta analys med intelligens test går att generalisera till praktiken medan en tex en ntervju kan se väldigt olika ut beroende på vad syftet med intervjun är. Det blir därför svårare att generalisera att alla intervjuer har en viss validitet.

Åter till 1998 studien, Assessment Center (AC ) uppskattades 1998 att ha en validitet på .37 att jämföra med begåvning på .51. Tillsammans med det faktum att AC är en dyr historia ska det mycket till för att rekommendera AC i praktiken. Ett problem med detta estimat på .37 är att de studier som ingår i de studier som estimerade denna validitet förmodligen inte hade samma kriterier som etstimatet på .51 för begåvning. Sannolikheten är att det är inte TP som varit kriteriet utan snarare en kombination mellan TP, OCB och avsaknad av CWB samt olika ledarskapbeteenden.

I en precis färsk studie (Sackett, Shewash, & Keiser, 2017) testar författarna hypotesen att begåvning har en lägre validitet i jämförelse med AC om detta undersöks med ett bredare kriterie som inte bara mäter TP. Forskarna gör en jämförelse mellan begåvnings validitet och AC validitet genom att meta analysera 17 studier som på ett tydligt sätt har ett kriterie som bygger på vad AC ska förutsäga (tex påverka andra, stresstålighet, kommunikation, motivation). Även om problemlösning ingår även det som ett kriterie definieras prestation inte prestation som enkom Task Performance.

I motsats till Schmidt och Hunters (1998) meta-analys där validiteten uppskattades till .37 estimeras validiteten till .44 i denna studie. Begåvning däremot uppskattades betydligt lägre i denna studie (.22).

Författarna menar att den mest troliga förklaringen av detta resultat är att i den klassiska 1998 artikeln baserades .51 estimatet i begåvning först och främst på kriteriet task performance, när man istället breddar kriteriet att innehålla beteenden som inte direkt är kopplade till problemlösning sjunker sambandet för begåvning och prestation.

Detta resultat implicerar att begåvning ska vägas lägre i förhållande till assessment center övningar. Dock bör detta resultat kompletteras. Inte minst för att ett Assessment Center kan se väldigt olika ut från olika leverantörer. Jag skulle rekommendera de leverantörer som genomför Assessment Center att göra egna studier för att bekräfta hur viktigt begåvning är för att förutsäga prestation.

En annan aspekt som jag upptäckt i egna studier är att begåvning samvarierar med hur kandidater bedöms i assessment center. I en studie från Göteborg (Bergvall, 2012) fann vi att begåvning tillsammans med extraversion hade det högsta sambandet med den övergripande poängen kandidaterna fick i Assessment Center. Mitt förslag är att tidigt i processen innan assessment center screena med begåvningstest och personlighetstest som mäter extraversion för att få en större nytta i urvalsprocessen.

Slutsats
Det är dags att omvärdera vissa resultat av den klassiska 1998 studien. För att vara evidensbaserad i ditt urval bör ny forskning ligga till grund för tolkning av data för att hitta de bästa kandidaterna.

Referenser

Gonzalez-Mulé, E., Mount, M. K., & Oh, I.-S. (2014, August 18). A meta-analysis of the relationship between general mental ability and nontask performance. Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/a0037547

Organ, D. W., Podsakoff, P. M., & MacKenzie, S. B. (2006). Organizational citizenship behavior: Its nature. antecedents, and consequences. Thousand Oaks, CA: Sage.

Sackett, P. R., & DeVore, C. J. (2001). Counterproductive behaviours at work. In N. Anderson, D.S. Ones, H. K. Sinangil, & V. Viswesvaran (Eds.), International Handbook of Work Psychology (Vol. 1, pp. 145-164). London: Sage Publications.

Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2017, May 22). Assessment Centers Versus
Cognitive Ability Tests: Challenging the Conventional Wisdom on Criterion-Related Validity.
Journal of Applied Psychology. Advance online publication. http://dx.doi.org/10.1037/apl0000236

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, (2), 262–274.

Psykologikonferens i Sydafrika

I år skippade jag SIOP och åkte istället till en konferens i Skukuza, Sydafrika, där jag är inbjuden att prata internationella standards, och hur vi använder dessa i Europa, samt hur evidensbaserad urval fungerar i praktiken. Nedan kommer några av mina anteckningar från konferensen. 

Kolla in hela programmet här

Skukuza är det huvudlägret för Kruger National Park i Sydafrika (ca 6 timmars bilresa från Johannesburg), det är den största ”campen” i Kruger National Park. Det ligger på södra stranden av Sabie-floden i Mpumalanga-provinsen. Konferensanläggningen är i Skukuza som ligger alltså inne i krugerparken, det är alltså vilda djur bara några 100 meter från anläggningen (och apor innanför skyddstängslet). Igår vandrade 20 elefanter förbi vårt hus på eftermiddagen!

Jvr är de som anordnar denna konferens, konferensen som berör alla typer av bedömningar i arbetslivet. Jvr är leverantör av en mängd olika psykologiska test som används på den arbetspsykologiska marknaden. Sammanlagt är det 140 deltagare på konferensen och dessa deltagare får lyssna på föreläsningar om emotionell intelligens, ledarskap, personlighet och mycket mycket mer.

Första dagen bjöd på ett inledningstal där Mmasekgoa Maire-Mwamba pratade om utvecklingen i Botswana från 1966, deras ”independence day”, då fanns det endast 12 personer som avslutat universitetsstudier i hela landet. Idag finns det flera högutbildade i Botswana, där övervägande delen av befolkningen är under 25 år! Bra ledarskap har utvecklat detta land tillsammans med fynd av diamanter och en ständigt utvecklande arbetsmarknad, men det är en lång väg kvar tills vi är nöjda, avslutade Mmasekgoa.

Nästa talare var Hazel Wehldon CEO på Multi Health Systems MHS, UK. MHS är en stor testleverantör av psykologiska test, både inom arbetspsykologi men också inom skola och psykologiskt klinisk verksamhet. Hennes tal handlade om skillnaden mellan entreprenörer och ledare. Hazel konstaterade att endast 50% av entreprenörer som kommer på nya affärsmöjligheter är kvar i verksamheten efter 5 år, och efter 10 år är endast 20% kvar. En del av förklaringen, menar Hazel) är att det är helt olika egenskaper som krävs av en entreprenör i jämförelse med en leda.

Efter detta lyssnade jag på Darin Nei från Hogan Assessment. Darin berättade om hur Hogan jobbar med kompetensmodeller. Genom att analysera HPI och HDS (två personlighetstest) tillsammans med experters bedömning av vad som är viktigt för att vara en bra ledare vill Darin komma åt vilka kompetenser som är viktigast för att vara en bra ledare. Teoretiskt visade Darin att detta bör vara olika kompetenser, dock fick han inte så mycket stöd för detta i sina statistiska analyser.  Frågan kom upp vad en egentligen kompetens är? Darin medgav att det kan innehålla allt, och att anledningen att Hogan använder kompetensbegreppet är därför att kunder gillar det…..

Sedan var det min tur, jag pratade om hur ”EFPA review model of psychological test” och ISO 10667 fungerar i Sverige och övriga europa. I båda fallen är det psykologer som drivit på utvecklingen att ta fram riktlinjer hur bra bedömningar ska genomföras. Efter att jag i ca 25 minuter gått igenom uppbyggnaden av dessa standards berättade jag för publiken hur dessa båda standards kan användas praktiskt där utmaningen är att anställa ca 700 chefer på 1,5 år till Nya Karolinska. Jag fick applåder så jag gissar att några tyckte det var intressant.

Bob Hogan hade en keynote. Alltid underhållande att lyssna på Bob Hogan. Hogan pratade om sitt favoritområde, ledarskap. Han började att prata om personlighet och hur dessa fem dimensioner kan förutsäga ett gott ledarskap. Detta sker genom att ledarens personlighet påverkas genom att det påverkar beteende, som i sin tur påverkar värderingar i organisationen som påverkar beslut. Det viktigaste faktorn för en bra ledare är att medarbetare litar på hen, dvs känner att detta är en människa som medarbetarna kan ge förtroende till att fatta svåra beslut. Karismatiskt ledarskap är en myt menar Hogan, karismatiskt ledarskap betyder egentligen ett narcisstiskt ledarskap. Och anställer du en narcisstisk chef kommer det förr eller senare sluta i katastrof. Karisma funkar när du ska sälja saker, men inte när du ska leda andra. Och som vanligt avslutade Hogan med att påpeka att den verkligt effektiva ledaren är den chef som inte tar plats utan snarare låter sina team medlemmar ta ledningen.

Nu är det semester för mig, nu ska jag kolla in BIG FIVE, på riktigt.

EFPA Certifieringsutbildning i arbetspsykologisk testning i Göteborg

OBS FULLT. ÅTERKOMMER SNART MED NYTT DATUM

Syftet med denna utbildning är att ge deltagarna teoretiska och praktiska kunskaper i arbetspsykologisk testning som leder till en internationell certifiering enligt efpa (läs mer om efpa här).

Målgrupp
Utbildningen vänder sig till personalvetare, psykologer, ekonomer, m.fl. som arbetar med psykologisk testning vid rekrytering.

Mål med utbildningen
Denna utbildning kommer att ge dig som testanvändare de kunskaper om psykologiska test och testanvändning i arbetslivet som kan leda fram till en certifiering i enlighet med de kriterier som är fastställda av European Federation of Psychologists’ Association.

Innehåll i utbildningen

  1. Styrkor och svagheter hos arbetspsykologiska test
  2. Kvalitet i arbetspsykologiska test
  3. Tolkning av testresultat
  4. Återkoppling och hantering av testresultat
  5. Rättvisa och diskriminering
  6. Personalekonomi, urvalsprocesser och ekonomisk nytta
  7. Arbetspsykologiska kriterier
  8. Begåvning och begåvningstest
  9. Personlighet och personlighetstest

Tid och information
Utbildningen genomförs under två heldagar. I priset ingår en e-learningsmodul där du på distans kan sköta inlärningen mellan kurstillfällena.

Dag 1. 19 maj 2017, klockan 09.00 – 16.00.
Dag 2. 16 juni 2017, klockan 09.00 – 16.00.

Dag 3. Examination anordnas av Stiftelsen för Tillämpad Psykologi (STP) den 30 juni 2017.

Plats
Campus Nya Varvet, Fredrik Bloms Väg 25, Västra Frölunda
Kursledare
Docent Anders Sjöberg och leg psykolog Eva Bergvall.
Kurslitteratur
Mabon, H (2014). Arbetspsykologisk testning. Stockholm. Assessio. ISBN 978-91-7418-366-5. Artikelnummer 778-000.
Kostnad
25.000 exklusive moms (inkl kostnad för kurslitteratur och e-learning). Examination sker i STP:s regi (kostnad tillkommer).
Intresseanmälan
info@psychometrics.se eller ring 0732056048.