Psychometrics Sweden & Assessment Engine

När vi utvecklade Assessment Engine inspirerades vi av den forskning som handlar om beslutsfattande. Asssessment Engine kombinerar olika resultatet till en sk Suitability Score, en lämplighetspoäng. Istället för att du som bedömare själv kombinerar en stor mängd resultat sköter algoritmer detta åt dig, du kan göra annat och samtidigt vara evidensbaserad i ditt arbete. Nu har ny forskning producerats som återigen bevisar att vi som människor inte har förmågan, som många tror, att väga ihop olika typer av information i en urvalsprocess på ett konsekvent och standardiserat sätt.

Den 28 september 2013 skrev jag på min blogg om intuitiv tolkning och mekanisk tolkning av bedömningsresultat, läs gärna den bloggen innan ni läser vidare.

Informationen vid personbedömning för urvalsbeslut kan vägas ihop på två olika sätt. Det första tillvägagångssättet är så kallad intuitiv tolkning, vilket betyder att vägningen av informationen insamlad om kandidaten avgörs av bedömarens subjektiva tolkning. Det går till så att flera olika datainsamlingsmetoder används, tex intervju, personlighetstest, begåvningstest och referenstagning. Dessa resultat utgör sedan helhetsbedömningen som sedan blir avgörande för urvalsbeslutet.

Det andra sättet att tolka samma information är mekanisk tolkning. Denna tolkningsmetod bygger på att det finns en i förväg utvecklad evidensbaserad tolkning av informationen som anger sannolikheten att en viss individ ska prestera bättre (eller något annat man vill förutsäga) på arbetet än andra.  Istället för att rekryteraren använder sin subjektiva tolkning grundas tolkningen på en väl beforskad vägning av olika informationskällor (intervju, testpoäng och CV).

Det kanske inte är konstigt att den vanliga arbetsgivaren (som ej har utbildning i personalfrågor) använder sig av den subjektiva helhetsbedömningen. Jag menar, när man i det vanliga livet träffar människor har vi en tendens att använda den intuitiva känslan för att bedöma personers egenskaper, det är enklast så och det kräver minimalt av din tankekraft, istället för att koppla på det logiska systemet så går vi direkt på känslan. Så här kan det låta när en chef (utan utbildning i bedömning) fattar sitt urvalsbeslut.

Det är en signal, en känsla som jag får att där här kommer inte att lira riktigt bra… Om det fortfarande ligger kvar och spökar…då går jag inte emot den, då litar jag på att det inte är bra, att jag inte har valt rätt i den situationen. 

Men om den oinformerade chefen går på ren intuition hur är det då med de som har en längre utbildning på universitetet. Faktum är att en stor del av de som har en professionell titel, som tex rekryterare, och psykolog använder den subjektiva helhetsbedömningen, TROTS att all evidens talar för raka motsatsen. När vi frågade HR personer (via LinkedIN) för några år sedan var det hela 85% som fortfarande går på den subjektiva helhetsbedömningen. Så här kan det låta från en högt utbildad person som har personbdömning som en central arbetsuppgift

”Det intressanta ligger också ofta i det man inte förstår – i den okända variansen, relaterat till förmågan att uppfatta och märka det som avviker från det man trodde.”

Jag vill mena att båda citaten ovan beskriver samma fenomen, en överdriven tro på sin egen förmåga att se runt hörn, att känna något ingen annan känner, att vara unik bedömare, helt enkelt en övertro på sin egen förmåga.

Om vi nu ändå går på forskningen och accepterar att det mekaniska/analytiska bedömningen är överlägsen helhetsbedömningen hur mycket bättre är olika mekaniska/analytiska metoder i jämförelse med den experters helhetsbedömning.

I en alldeles färsk forskningsrapport undersöker Yu och Kuncel (2020) detta. Forskarna har undersökt hur bra en kombination av resultat av några assessment center övningar, ett personlighetstest, ett begåvningstest och intervju förutsäger arbetsprestation i två olika organisationer (tre olika grupper). I denna studie tilldelades varje kandidat sju olika poäng som antogs mäta; adjustment, administration, communication,interpersonal, judgment, leadership, and motivation.

Dessa sju poäng kombinerades på tre olika sätt:

Experternas helhetsbedömning (experten själv sätter en övergripande poäng)

Summering av alla 7 poäng (enkel viktning)

Optimal vikt genom en statistisk formel (linjär regressionsanalys)

Vid jämförelsen av de olika sätten att väga ihop informationen uppträder ett tydligt mönster. För grupp 1 är det den statistiska formeln som har högst validitet (Optimal vikt; r=.25). På andra plats kommer summeringen (Summering; r=.19) och på tredje plats helhetsbedömning (Helhetsbedömning; r=.17). 

Samma mönster återfinns i grupp 2 (Optimal vikt; r=.40; Summering r=.33; Helhetsbedömning r=.16). 

Och detta mönster upprepas i grupp 3; Optimal vikt=.30; Summering=.22; Helhetsbedömning =.13.

Med andra ord, i samtliga grupper hade experterna helhetsbedömning lägst validitet.

För att gräva vidare genomfördes simuleringar hur det skulle gå för de tre olika metoderna om vi skulle genomföra ett oändligt antal bedömningar. Utgångspunkten i all urvalsverksamhet är att slå slumpen, om våra bedömningar inte slår slumpen (eller har en negativt samband med kriteriet) är det helt värdelöst att göra bedömningar, då kan vi lika gärna dra lott vem som ska ha jobbet. Fördelen med slumpen är som bekant att den inte diskriminerar, samt är väldigt billig.

Så hur bra är experternas helhetsbedömning? I den första gruppen slår experterna en helt slumpmässig modell alla gånger (100%). I den andra gruppen är det 8,5% av experterna som blir slagna av slumpen och i den tredje gruppen är det faktiskt hela 22,2% av experterna som är sämre än slumpen. Det betyder att en hel del av experterna utlåtande är sämre än slumpen.

I nästa steg genomfördes en liten korrigering för att minimalt införa en systematik i bedömningen, detta skedde genom att alla individer fick samma vikt men den vikten var framtagen slumpmässigt, det var en positiv vikt som kunde variera mellan 0 till 0.5. 

Om denna lilla korrigering genomförs så slår denna systematik experterna i grupp 1 i 76,83% av fallen, i grupp 2 slås alla experter (100%) och samma sak i grupp 3 (100%).  Slutsatsen är att så fort en systematik genomförs så slås experterna ut, dvs de har i sina beslut lägre validitet i jämförelse med en synnerligen enkel formel, dvs att vikterna är någonstans mellan 0 och 0,5. Detta betyder att även experter som är tränade att väga ihop information av olika bedömningsmetoder är icke-konsekventa i sin bedömning.

”In conclusion, no matter how strongly a set of predictors relate to the criterion, the predictive power of a decision system is dependent on how information is combined. Consistency in weighting predictors across all judgments heavily contributes to maximizing predictive validity. The bad news is that human judges and even experts are often inconsistent” (sid 9).

En intressant iakttagelse i detta tillämpade fall är att experterna naturligtvis har möjlighet att föra in ny information i sina beslut, alltså information som inte inkluderas av de sju poängen, men ändå presterar de betydligt sämre i jämförelse med en summering av resultatet och till och med slumpmässigt framtagna vikter.

”It is possible that the expert assessors could have had more information about the candidates beyond scores on these seven assessment dimensions, such as their performanceon individual assessment activities, test profiles, and biographical information obtained from sources such as résumés and personal interaction. This could be viewed as an advantage that a human judge has over a mechanical method. Despite the possibility that the experts had this information available to them, they still performed worse than any mechanical method”. (sid 9)

Slutkommentar

Vad ska vi då ha experter till? Det är naturligtvis för att utveckla olika metoder som är valida, dvs metoder som har ett positivt samband med det beteende som ska förutsägas, tex arbetsprestation. Algoritmer, eller slumpen för den delen, kan inte utveckla nya intervjumetoder, referenstagningar, asssessment center, psykologiska test etc etc. Experter bör utveckla metoder, men absolut inte kombinera resultatet.

Vill du gratis testa Assessment Engine och Evidensbaserat urval klicka här.

Vill du kolla på hur Assessment Engine fungerar med Teamtailor klicka här

Vill du ha en demonstration av Assessment Engine maila till team@assessmentengine.se så hjälper vi dig att komma igång, helt gratis (inga licenser eller andra dolda kostnader)

Vill du läsa om hur Evidensbaserat urval fungerar och våra tests psykometriska egenskaper maila till team@assessmentengine.se så skickar vi vår tekniska manual

Referens

Yu, Martin C. and Kuncel, Nathan R. (2020). Pushing the Limits for Judgmental Consistency: Comparing Random Weighting Schemes with Expert Judgments, Personnel Assessment and Decisions: Vol. 6 : Iss. 2, Article 2. Available at: https://scholarworks.bgsu.edu/pad/vol6/iss2/2.

Lästips

Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. Science, 243, 1668- 1674.

Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013, September 16). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034156

Debatten om användningen av standardiserade test går vidare, i senaste numret av Psykologtidningen beklagar sig en legitimerad psykolog sig över att standardiserade test har motsatt effekt, hen antyder att ”att de personer som vi har störst behov av att identifiera ur ett riskperspektiv, är de som är sämst på att rapportera sanningsenligt om sig själva. I senaste numret av chefstidningen ondgörs sig vidare både praktiker och forskare om ovetenskapliga test och pengar som slängs i sjön. I skottgluggen står till 99% personlighetstest, men även begåvningstest får sig en släng av sleven. I Psykologtidningen påstår sig en legitimerad psykolog att begåvning är bara avgörande om du ligger under medel, det spelar sedan inte någon roll om du är superbegåvad, det påverkar tydligen inte om du blir en bra chef, menar hen!

I både Psykologtidningen och Chefstidningen finns det även kloka synpunkter om hur du ska använda test, att testet bör vara granskat av oberoende instanser och att det förekommer ”så mycket skit” på marknaden kan skyllas på okunniga uppdragsgivare (läs upphandlingar), samt ett utstuderat icke-vetenskapligt sätt att förhålla sig till hur svårt det är att förutsäga mänskligt beteende.

Nedan kommer min syn på vad som gått snett i debatten om standardiserade test på den svenska marknaden.

Vad är ett test?

Som redan sagt ovan är det ofta självrapporterande personlighetstest som får klä skott, men test är så mycket mer. ”Testing” i USA är alla typer av bedömningar, det kan vara prov i skolan (Educational Testing), det kan vara föräldrars skattningar av barns aggressiva beteende i hemmet (Clinical testing) och det kan var anställningsintervjuer som poängsätts av rekryterare (Selection testing).

Jag föreslår att vi tar bort ordet test från diskussionen och ersätter test med standardiserade bedömningar (eng Assessments). Här ingår anställningsintervjuer, andras bedömningar av personlighet (sk observerad personlighet) etc etc.

Hur ska bedömningen användas?

En bedömning är således ett standardiserat förfarande som garanterar att alla blir bedömda på samma sätt. Inom forskningen har vi sedan urminnes tider två begrepp som används för att utvärdera ett standardiserat bedömningsförfarande; reliabilitet och validitet. Reliabiliteten handlar om träffsäkerheten, alltså hur säkra på är vi att denna poäng inte är endast slumpmässig. Och validitet då? Ett vanligt svar är; att vi mäter vad vi avser att mäta. Men det är lite krångligare än så, för här måste vi ta in bedömaren, dvs hur kommer den som tittar på individens bedömningspoäng använda den? Det går, enligt mig, aldrig ange att en bedömning är valid, så länge du inte tar med bedömaren i bilden. I rekryteringssammanhang är ofta leverantören av bedömningen ansvarig för detta, men det är alltid arbetsgivaren som är ansvarig för urvalsbeslutet. Det gäller således att flera aktörer är överens hur resultatet ska användas efter bedömningen.

Evidensbaserat urval

Maria Åkerlund, Sara Henrysson Eidvall och jag arbetade fram en metod för att maximalt ta tillvara information från standardiserade bedömningsmetoder som underlag för urvalsbeslut, Maria kom på namnet Evidensbaserat urval. Istället för att bedömaren vägde ihop resultatet från ett begåvningstest (BasIQ) och ett personlighetstest (NEO) på ett intuitivt sätt, utvecklade vi en enkel formel får att addera ihop resultatet. Redan på 1950-talet visade forskningen (Meehl, 1954) att den mekaniska tolkningen är överlägsen den intuitiva. I en metaanalys fann Grove, Zald, Lebow, Snitz & Nelson (2000) att av 136 studier, som ingick i analysen, var 63 till den mekaniska tolkningens fördel, 65 visade att båda metoderna var lika bra, och endast 8 studier visade att den intuitiva tolkningen var överlägsen. Den intuitiva tolkningen kräver ofta mer resurser i form av både tid och pengar, vilket gör den intuitiva metoden underlägsen den mekaniska metoden.

Den mekaniska metoden får även den kritik i Psykologtidningen där en psykolog uttrycker det så här.

”Det finns ju en yrkeskunskap som är kopplad just till psykologen, att man har läst en vetenskaplig utbildning och sedan arbetat inom fältet, en teoretisk och praktisk grundad erfarenhet som är viktig. Allt detta samlat gör det möjligt för psykologen att tolka enskild data i det sammanhang som bedömningen gäller”.

Detta är långt ifrån det första argumentet som förts fram som ett argument för det intuitiva metoden.  För att citera Paul Meehl

”the honest clinician cannot avoid the question “Am I doing better than I could do by flipping pennies?”

Forskningsresultatet är glasklara, den intuitiva metoden, även om den slår slumpen är underlägsen den mekaniska metoden.

Vad är mekanisk tolkning?

Den mekaniska metoden betyder, trots vad andra framför, att du kan väga in subjektiva inslag i din bedömning. Den mekaniska metoden betyder att du har en regel hur du ska väga ihop informationen. Denna regel kan vara resultat av enskilda valideringsstudier, meta analyser eller experters bedömningar. 

Den mekaniska metoden handlar inte enbart om psykologiska test. Det är riktigt att jag personligen, sedan utvecklingen av PJP (Sjöberg, Sjöberg, & Forssén, 2006) arbetat med den mekaniska tolkningen baserat på psykologiska test. Men den mekaniska tolkningen kan innefatta referenstagning, andras bedömning av kunskap, intervjuresultat, så länge det finns ett resultat som kan adderas in i formeln så går det att använda i den mekaniska tolkningsmodellen. Naturligtvis måste informationen vara valid, dvs ha ett samband med det du vill förutsäga (arbetsprestation, arbetsglädje, personalomsättning, kontraproduktivt beteende, etc etc).

Men varför används inte mekanisk tolkning oftare?

Mycket tyder på att den mekaniska tolkningen tar bort känslan av autonomi för psykologen/rekryteraren och att det delvis tar bort ”expertens” unika status i samhället. Att kunna hänvisa till att en arbetsgrupp har en unik förmåga är inte ovanligt, men att psykologen skulle på ett unikt sätt bidra till att intuitivt kunna väga ihop information för långsiktiga förutsägelser, är helt enkelt inte sant. Vad som är sant är att psykologen är bra på att intervjua (och en mängd andra saker), dvs ta fram unik valid information, men psykologen har inte en unik förmåga att väga ihop en stor mängd data för ändamålet urvalsbeslut.

[When it comes to prediction], the whole trick is to decide what variables to look at and then to know how to add (Dawes and Corrigan, 1974).

Det är detta bedömaren bör fokusera på, inte intuitivt väga ihop samma information. 

Detta är stegen i den mekaniska tolkningmodellen, även kallad Evidensbaserat urval.

1. Bestäm vad du vill förutsäga
2. Bestäm vilka metoder du ska använda för att samla information
3. Samla data
4. Bestäm vilka regler som ska användas för att slå ihop data för urvalsbeslut.

Och håll dig till reglerna.

Tips på litteratur

Dawes, R. M. (1979). The robust beauty of improper linear models in decisionmaking. Am. Psychol. 34, 571–582. doi: 10.1037/0003-066X.34.7.571

Dawes, R. M., & Corrigan, B. (1974). Linear models in decision making. Psychological Bulletin, 81, 95–106. doi: 10.1037/h0037613

Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 1, 19–30.

Highhouse, S. (2008). Stubborn reliance on intuition and subjectivity in employee selection. Industrial and Organizational Psychology, 1, 333–342.

Kuncel, N. R. (2008). Some new (and old) suggestion for improving personnel selection. Industrial and Organizational Psychology, 1, 343–346.

Kuncel,  N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology, 98, 1060–1072.

Meehl, P. E. (1954). Clinical versus statistical prediction. A theoretical analysis and a review of evidence. Minneapolis, MN: University of Minnesota Press.

Meehl, P. E. (1967). What can the clinician do well? In D. N. Jackson & S. Messick (Eds.), Problems in human assessment (pp. 594–599). New York: McGraw-Hill.

Meehl, P. E. (1986). Causes and effects of my disturbing little book. Journal of Personality Assessment, 50, 370–375.

Sjöberg, A., Sjöberg, S., & Forssén, K. (2006). Predicting Job Performance. Swedish version. Manual. Stockholm: Assessio International.

I mitt förra inlägg berättade jag hur vi på Assessment Engine bygger processer som maximerar validiteten från testresultat, vi kallar dessa processer Evidensbaserat urval, EBU-processer. Säkerheten på arbetsplatser är en viktig fråga för många organisationer. Nu har vi tagit fram en EBU-process som kan användas för att tidigt i en process screena bort individer som har en högre risk för att hamna i eller orsaka arbetsplatsolyckor.

Olycksincidenter orsakade av anställda kan äventyra säkerheten för både den anställde själv, för medarbetare i organisationen och för andra personer, samtidigt som det kan vara kostsamt för arbetsgivare i form av försäkringar och skadestånd. Redan 2016 skrev jag om detta här på Psychometrics.

Arbetsplatsolyckor kan bero på en mängd olika saker, inte minst säkerhetskulturen på arbetsplatsen, men en bidragande orsak kan också vara personens personlighetsdrag. Forskning visar t ex att av 20% av professionella chaufförer var inblandande i 80% av alla olycksincidenter. Även om säkerhetstänket prioriteras på arbetsplatser i Sverige så sker det fortfarande arbetsplatsolyckor och även om antalet dödsolyckor sjunkit något de senaste åren så ligger de runt 50 stycken per år. Räknar man med personer intagna för vård på kriminalvårdsanstalter och liknande, anställda i utländska företag som är verksamma i Sverige men registrerade i andra länder, samt vissa elever så hamnar vi runt 60 dödsolyckor per år. Om vi räknar incidenter så var det inom byggbranschen 2015 över 5000 olyckor registrerade.

Första gången jag kom i kontakt med urval inom ett yrke där säkerhet är en stor del av arbetsmiljön var för ca 12 år sedan när jag och en kollega genomförde en mindre valideringsstudie där vi testade om personlighet kan förutsäga ogynnsamma beteenden hos busschaufförer (klagomål från kunder, olycksincidenter och andra avvikande beteenden). Vi lät 43 busschaufförer svara på ett personlighetsformulär som mäter fyra av de fem faktorerna i FemfaktorModellen (FFM), Emotionell stabilitet, Extraversion, Samvetsgrannhet och Sympatiskhet. Förutom personlighetsdata samlade vi in hur många klagomål personerna hade fått (0-10 st). Resultatet visade att låg Emotionell stabilitet, låg Samvetsgrannhet och hög Extraversion förutsade vilka personer som fick klagomål på sig. När vi delade in gruppen i de som fått klagomål (N=15) och de som EJ fått klagomål (28) kunde personlighetstestet träffa rätt i 34 fall av 43 (slumpen skulle kategorisera ca 21-22 rätt). Slutsatsen enligt mig var att om de från början administrerade detta test och vägde testpoängen enligt ovan redovisade resultat, så skulle en hel icke önskvärda beteenden kunna undvikas. Detta skulle bespara organisationen stora pengar då en olycka av bussbolaget uppskattades kosta företaget i genomsnitt 1 miljon kronor, och en hel del personligt lidande.

Vilka personlighetsdrag bidrar då till att anställda inte följer föreskrifter och med en högre sannolikhet hamnar i situationer som bidrar till olycksincidenter? Nedan kommer en beskrivning av en person som har en förhöjd risk att hamna i olyckssituationer.

Denna person sätter sig själv främst och engagerar sig ogärna i andras problem, i synnerhet inte om det medför uppoffringar, stora som små, för den egna personen. Hen är avslappnad och ointresserad av att vara effektiv och driven i det man tar sig för. Hen prioriterar och värdesätter inte att hålla ordning och reda, speciellt inte för sakens egen skull. Hen har överlag en lättsam inställning till ansvar, skyldigheter och förpliktelser. Hen sätter sällan upp tydliga och explicita mål att arbeta mot och har vanligtvis inte någon förutbestämd plan för hur livet ska te sig. Däremot tenderar hen att vara uppmärksam, på sin vakt och snabb på att reagera. Hen oroar sig ofta för framtiden och blir nervös för saker som kan komma att gå fel. Hen är ofta temperamentsfull har ett livligt humör. Hen kan tappar humöret när hen uppfattar att hen blir orättfärdigt och ojuste behandlad av andra. 

Nedan kommer en beskrivning av en person som har en sänkt risk att hamna i olyckssituationer.

Denna person är osjälvisk och altruistisk och visar ofta stor omtanke om andras välbefinnande. Hen är mycket förnuftig och grundlig i hur hen tar sig an och genomför uppgifter och projekt. Hen är mycket ordningsam, välorganiserad, strukturerad och systematisk, samvetsgrann, plikttrogen och ambitiös. Hen är mycket lugn och avslappnad och ger ett stabilt intryck. Hen är i regel tålmodig, är lättsam och har ett jämnt humör. Brusar sällan upp och tappar inte humöret. Hen är kontrollerad och beräknelig och har en mycket god impulskontroll. I grunden har hen ett avsiktligt och därmed förutsägbart beteende och agerar sällan på stundens ingivelse. Hen har generellt ett mycket begränsat behov av spänning och äventyr och undviker aktivt situationer som präglas av det oväntade och oförutsägbara. 

EBU Workplace Safety

Så här gör man. I Assessment Engine väljer du EBU-processen Workplace Safety. Assessment Engine plockar sedan ihop de frågor som behövs för att täcka av om personen mer liknar den första profilen (Safety behavior) eller den andra profilen (Unsafety behavior). När respondenten besvarat frågebatteriet tillämpas en algoritm, baserad på ovan beskrivna forskning, och genererar en så kallad ”Suitability Score” som kan variera från 30 till 70. Högre poäng betyder att den personen har minskad risk för att hamna i olyckssituationer. EBU Safety går naturligtvis att kombineras med andra EBU:er. Om det gäller en chefstillsättning rekommenderas till exempel EBU:erna Functional och Dysfunctional Leadership som tillägg och de tre EBU:erna vägs samman i en övergripande ”Suitabilty Score”. Vill du prova Assessent Engine så bjuder vi på dessa tre EBU:er, plus två till om du testar inom en månad. Välkomna till Assessment Engine (klicka på nedan länk)

Assessment Engine

Från starten av Assessment Engine har vår ambition varit att göra bedömningstjänster för arbetslivet mer effektiva till en lägre kostnad genom att helt automatisera bedömningsprocessen. Detta genom att underlätta dina urvalsbeslut genom att använda algoritmer istället för känslor. För att lyckas med detta har vi bla utvecklat vad vi kallar Evidensbaserat urval, EBU™. Genom att kombinera den absolut senaste forskningen avseende urval, psykometri och IT kan EBU™ öka din träffsäkerhet i olika typer av beslut.  EBU™ är inte begränsat till psykologiska test,  EBU™ har även tillämpats vid anställningsintervjuer och Assessment Center. Inom Assessment Engine har vi börjat med att tillämpa sk EBU:s för våra psykologiska test.

EBU™ används när syftet med en urvalsprocess är att fatta så korrekta urvalsbeslut som möjligt baserat på ett antal olika bedömningspoäng (i Assessment Engine upp till 50 olika testpoäng). Bedömningstjänsten EBU™ ska förutsäga (predicera) framtida relevanta beteenden på arbetsplatsen, vilket återspeglas i våra EBU:s. Följande EBU:s finns idag i Assessment Engine. 

EBU™ i Assessment Engine bygger på den senaste empiriska forskningen om hur individuella egenskaper som begåvning och personlighet bör vägas samman för att ge ett träffsäkert underlag för urvalsbeslut. EBU™ ger för varje kandidat en övergripande lämplighetspoäng baserat på den/de EBU:s som valts. De psykologiska test som ligger till grund för samtliga våra EBU:s är femfaktorbaserade personlighetstestet Personality150 och Personality30, tillsammans med våra kognitiva test Talserier och Logiska serier. Under utveckling är vårt intresse test och fyra nya test som mäter kritiskt tänkande. När testen är genomförda får testadministratören en enkel lista över hur väl kandidaten matchas med hjälp av EBU™.

Ett annat syfte med urval är att ge återkoppling till kandidaten, detta ska inte blandas samman med den prediktiva syftet, att rangordna kandidater. EBU™ skiljer tydligt på det prediktiva syftet och återkopplingen, dvs beskrivningen av resultatet. Utöver Suitability Score får testadministratören direkt tillgång till olika resultatrapporter, av vilka några kan rekommenderas för att ge återkoppling till kandidaterna.

Om du följer de tre processtegen i Assessment Engine, följer du också ISO standarden ISO10667.

Om du vill testa Assessment Engine så bjuder vi på upp till fem EBU:s. De närmaste veckorna kommer vi att uppdatera med nya EBU:s. Återkommer i nästa blogg.

Länk till Assessment Engine

En av de vanligaste frågorna om personlighet jag får när jag föreläser är om ”det går att förändra en persons personlighet”? Jag har djupdykt i forskningen och svaret redovisas nedan.

Personlighetsforskningen avseende ”trait” perspektivet är idag rörande överens att människans personlighet kan beskrivas med fem följande övergripande faktorer.

Känslomässig Instabilitet/Stabilitet

Denna personlighetsfaktor rör generellt hur känslomässigt instabil stabil en person är. Faktorn säger något om hur säker eller osäker en person är på sig själv, hur väl man kan motstå impulser, på vilket sätt man hanterar stress, och vilken sinnesstämning man i allmänhet har. En del personer blir lättare irriterade och frustrerade och är mer benägna till depressivitet, svartsyn och nedslagenhet. Andra har ett lugnare och jämnare humör, en positiv syn på framtiden och är stabila även under besvärliga och pressande omständigheter. 

Extraversion

Personlighetsfaktorn Extraversion avspeglar hur social och sällskaplig en person är, i motsats till att vara mer reserverad, tillbakadragen och kanske blyg. Vissa personer gillar att träffa nya människor, de stimuleras av nya omgivningar, är pratsamma och ofta underhållande. Andra håller en lägre profil, är inte lika benägna att ta kontakt med andra och trivs bäst i mindre sällskap eller att vara på egen hand. Extraversion omfattar också graden av gladlynthet i motsats till ett mindre sprudlande uttryckssätt (men inte nödvändigtvis ledsenhet!), grad av vitalitet och ”livstempo”, liksom huruvida en person uppskattar spänning och yttre stimulans eller ej.

Öppenhet

Personlighetsfaktorn Öppenhet ger information om egenskaper som fantasifullhet, kreativitet och öppenhet för det nya i motsats till ett mer alldagligt och jordnära förhållningssätt, liksom viljan att prova det nya kontra att föredra det som är känt och sedan tidigare beprövat. Faktorn säger också något om i vilken grad en person är intellektuellt nyfiken och generellt sett öppen för nya erfarenheter och upplevelser.

Sympatiskhet

Sympatiskhet handlar om hur en person förhåller sig till andra, vilken ”stil” en person har i sina relationer med andra. Vissa personer är varma, tillitsfulla, sympatiska och ivriga att hjälpa, andra är mer avvaktande och skeptiskt inställda till sin omgivning och antar lättare ett kritiskt synsätt. I denna faktor brukar ibland även egenskaper som ”ömsinthet kontra realism” och ”följsamhet kontra konkurrensinriktning” ingå.

Målmedvetenhet

Denna faktor handlar om i vilken utsträckning en person gillar att aktivt planera, ifall man har en stark vilja och är beslutsam. Den omfattar även drivkraften att prestera, att vara noggrann, pålitlig och att ha självdisciplin, i motsats till att vara mer avslappnad, spontan och att ta lättare på förpliktelser och åtaganden. Faktorn innehåller också inslag av förtänksamhet, kontra en tendens att fatta snabba, ibland förhastade beslut.

Mätning av personlighet

Ofta mäts dessa faktorer på en skala som kan variera från lågt till högt. Personlighet kan tex mätas genom att andra bedömer dig som person eller att du själv svarar på frågor om din personlighet. Personlighet kan också mätas i strukturerade intervjuer och i framtiden förmodligen av sociala robotar.

Personlighet och effektmått

Vad vet vi då om hur personlighet förändras över ett livsspann? Innan vi besvarar den frågan måste vi särskilja hur vi mäter stabilitet och förändring i personlighet över tid.  

Det första sättet att mäta stabilitet är att bedöma personer över tid med självrapporterande personlighetstest och sedan beräkna ett samband mellan två tillfällen. Korrelationen säger något om hur stabil personligheten är över de två tillfällena. Detta säger inte hur nivån förändras utan endast hur stabil rangordningen är över de två tillfällena. Tiden som går mellan de två tillfällena kan variera från några veckor till 40-50 år. 

Det andra sättet att studera utvecklingen av personlighet är att jämföra nivån över tid. Samma datainsamlingsmetod används men istället för att beräkna en korrelation beräknas medeltalsskillnad över tid, ofta uttryckt i Cohens d (som avser hur mycket förändring sker i nivå uttryckt i standardavvikelse). 

Personlighet och ålder

Hur kan då forskningen sammanfattas om fråga är hur personlighet förändras över ett livsspann. När det gäller korrelationen är det sällan den understiger .60 vilket betyder att rangordningen är relativt stabil över tid för samtliga faktorer. När det gäller nivån av personlighet tyder studier på att Neuroticism och Extraversion sjunker när åldern höjs och Sympatiskhet och Målmedvetenhet höjs med åldern. När det gäller Öppenhet så ser den ut att höjas fram till vuxen ålder för att sedan sjunka något på ålderns höst.

Detta är studier där personligheten ej aktivt har försökt förändrats (se Costa, McCrae, C., & Löckenhoff, 2019 för en utmärkt sammanfattning) utan bygger ofta på att man helt enkelt beräknat sambandet mellan ålder och personlighet på större urval.

Aktiv personlighetsförändring

Men om man aktivt jobbar med att förändra sin personlighet, eller får hjälp att förändra sin personlighet, vad händer då?

Jag har funnit några studier som undersöker detta utifrån lite olika vinklar. Den första studien beskriver hur en grupp fick i uppgift att sätta egna mål för att förändra en eller flera av de fem faktorerna. Den andra gruppen bedömdes också men fick inte till uppgift att förändra något. Den grupp som fick i uppgift att förändra sin personlighet fick stöd av psykologer för att upprätta en plan för att detta skulle ske. Ett exempel är att om en person ville höja sin extraversion upprättades en plan upp för denna individ att under en period träffa flera personer än vad som var vanligt för denna person. Viktigt att påpeka var dock att det personerna själva fick komma med förslag på hur personligheten skulle förändras. Studien pågick i 16 veckor. Där personligheten mättes före och efter interventionen.

Resultat visade att personligheten kan förändras om personer sätter upp tydliga mål för sig själva, men att förändringen är relativt liten. Den största skillnaden var i extraversion där de som satte upp mål att förändra sin extraversion ökade med Cohens d = 0.67. Det betyder att på en T skala där medelvärdet är 50 (och standardavvikelsen är 10) så höjs medelvärdet från 50 till runt 56-57 T-poäng. Extraversion var den klart enklaste faktorn att förändras de andra faktorerna hade lägre förändringsbenägenhet.

I den andra studien användes meta analys-tekniken för att sammanfatta alla interventionstudier som genomförts för att undersöka om en tydlig insats av olika typer av terapier och medicinsk behandling kan förändra personligheten. De interventioner som undersöktes var bla Kognitiv beteende terapi, Medicinsk behandling, Psykodynamisk terapi. De vanligaste problemen personerna hade var depression, ångest, personlighetsstörning, ätstörning och beroendeproblematik. Med andra ord var det djupt hälsorelaterade problem i botten som gjorde att dessa personer ingick i studierna.

Sammanlagt identifierades 201 studier där terapimetoden som tillämpades varde i snitt 27 veckor. Medeleffekten var signifikant men inte särskild stark (Cohens d = .37), dvs i T poäng ökade eller minskade nivån med i snitt 3.7 poäng. Det fanns dock stora skillnader mellan de olika personlighetsfaktorerna, se figuren nedan.

Den överlägset starkaste effekten fanns hos faktorn emotionell stabilitet, och den svagaste effekten återfanns i faktorn målmedvetenhet. Den terapiform som hade starkast effekt var kognitiv beteende terapi. Men skillnaderna mellan terapiformerna var förhållandevis små. Gemensamt för samtliga faktorer var att förändringen planade ut redan efter 4 veckor, så en fokuserad korttidsinsats verkar ha störst effekt. 

Sammanfattning

Min inledande fråga var, går det att förändra din personlighet. Svaret är, JA, men du behöver hjälp och effekten kan vara liten, men ändå betydande (se nedan).

För oss allra flesta av oss, förutom personer som känner sig fulländade, har tanken kommit under en livsperiod; varför är jag inte annorlunda? eller jag vill förändra mig. Men varför är det så svårt? Till stor del beror svårigheten att vår personlighet delvis är beroende av ärftlighet, mellan 30-40% har av individuella differenser i de fem faktorerna har visat sig var ärftlighet, resterande variation kan förklara med situationer och mätfel. Så kontext har en stor betydelse för din personlighet men en hel del ca 1/3 har du från din mamma och/eller pappa (snitt får vi lika mycket från mamma och pappa, men en del kan få upp till 90% från ena föräldern).

Studierna ovan visar att det går men att det trots stora insatser är relativt små förändringar, men de små förändringar kan för vissa personer innebära ett bättre välmående. Vi kan ta som exempel känslomässig instabilitet. Om en person känner djup ångest och oro, om denna person kan få hjälp att gå från en T-poäng från 30 till 36 kan det vara avgörande för hens livskvalitet. Men att gå från 50 till 52 i Målmedvetenhet kanske inte spelar så stor roll.

Vad har detta för implikationer för bedömningstjänster i arbetslivet, dvs att vi använder personlighetsmätning i urval och utveckling? En rekommendation är att testa oftare, det finns en del förändringar så inför ett nytt beslut bör det testas i närtid. Vid urval är det extra viktigt för emotionell instabilitet som ändock verkar påverkbar, men mindre viktigt för övriga faktorer. När du använder personlighet för urvalsbeslut tänk på att inte tolka små skillnader runt medel och över medelvärde, det är snarare att du ska välja bort på avvikande låga värden på samtliga fem faktorer eftersom alla har positiva korrelationer med prestation (och då tänker jag känslomässig stabilitet, inte instabilitet). 

När personlighetsbedömningar sker för utvecklingssyfte, var medveten om att det kräver åtminstone en 4 veckorsperiod av intensiv behandling med evidensbaserade metoder för att uppnå förändring. Skilj på syftet med bedömningen, är det till för att bedöma förändring eller endast medvetandegöra en persons personlighet? Att föreslå som konsult att insatsen kommer att förändra personligheten är problematisk.

Testa din personlighet

Just nu kan du testa vårt nya personlighetstest (Personality150). Om du är intresserad av detta bjuder vi på upp till 5 test, helt gratis. Anmäl dig på Assessment Engine så skickar vi dig mer information hur du går tillväga.

Request Account – Assessment Engine

Referenser

Hudson, N. W. , Fraley, R.S. (2015). Volitional personality trait change: can people choose to change their personality traits. Journal of personality and social psychology, 143 (2), 1-25.

Roberts, B. W. , Lou, J., Briley, D.A., Chow, P.I., & Hill, P.L. (2017). A systematic review of personality trait change through intervention. Psychological Bulletin, 109 (3), 490-507

Costa, P.T. McCrae, C., & Löckenhoff, C (2019). Personality Across the Life Span Annual Review of Psychology, 70: 423–48.

När jag var med att utvecklade mitt första psykologiska test (PJP, Sjöberg, Sjöberg, Forssén, 2006) för snart 20 år sedan var min förhoppning att algoritmer skulle effektivisera urvalsprocessen samtidigt som diskriminering i processen skulle förhindras. För 20 år sedan fanns inte de tekniska lösningarna och rekryterarna var fortfarande uppfyllda av sin egen förmåga att ”tolka” testresultat. Då som nu pekade forskning på att den subjektiva tolkningen av fler än 1 testpoäng endast sänker validiteten i urvalsprocessen, särskilt när baskvoten är hög, dvs när det är bra sökande till tjänsterna (Sjöberg, Sjöberg, Näswall, Sverke, 2012).

Nu har vi integrerat Assessment Engine med Teamtailor, på detta sätt kan du använda våra ”assessments” i sekventiellt urval (Multipel Hurdle Selection). Genom att maximera mekanisk tolkning av data där algoritmer står för helhetsbedömningen (Suitability Score), samtidigt som algoritmerna tar hänsyn till att du har bra sökande (korrigering av beskuren spridning) kan du minimera din tid och maximera träffsäkerheten. Kort och gott du får bättre beslutsunderlag.

Företaget Cupole med Kristoffer Frenkiel i spetsen har byggt en extremt slimmad process, från att annonsen går ut till att urvalsprocessen avslutas. För upp till 1000 sökande kvalitetssäkras processen genom att Assessment Engine och Teamtailor gör det möjligt att uppfylla processkraven i ISO10667 och kraven på psykometrisk kvalitet i erkända internationella standards för psykologisk testning.

Vill ni veta mer om hur vi jobbar med att effektivisera urvalsprocessen så hör av dig till team@assessmentengine.se eller be om ett inlogg till Assessment Engine.

Referenser

Sjöberg, A., Sjöberg, S., & Forssén, K. (2006). Predicting Job Performance. Stockholm: Assessio International.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology, 53, 368–373.

Har du redan köpt alla julklappar, skrivit alla julkort och förberett all mat till julafton? Då har du förmodligen en hög nivå av egenskapen Samvetsgrannhet, eller Conscientiousness (som knappt går att uttala). Det psykologiska begreppets bredd och dess innebörd har gett Conscientiousness en särställning, inte bara i jultider, utan i alla arbetsrelaterade sammanhang. Nedan beskriver jag denna faktor (den sista i min genomgång) och redovisar sambanden mellan alla ingående delar av Conscientiousness och arbetsprestation.

Teorier kring Conscientiousness

Freud förklarade Conscientiousness som den första faktorn som utvecklas i livet, benämnd som individens Superego. Superegot bestämmer individens inställning till auktoritet och enligt Freud är Superegot av avgörande betydelse eftersom stora delar av vår vakna tid handlar om att komma överens med andra. Freud erkände inte bara vikten av Conscientiousness, utan han förutsåg också ett dilemma: att för mycket Conscientiousness kan vara lika oönskat som för lite. Även om dagens psykologer verkar vara upptagna av endast för alltför lite Conscientiousness, var Freud också upptagen med problemen med för mycket – d.v.s. problemen orsakade av en stelt och straffande Superego som definieras av extremt höga nivåer av Conscientiousness. I dagens kliniska psykologi kallas detta för rigid perfektionism, detta är så höga nivåer av Conscientiousness så att det blir problem både för individen och omgivningen. Det är dock inga problem för individen och omgivningen att ligga högt på Conscientiousness med de mätmetoder vi har inom arbetspsykologin, det är alltså felaktigt att tolka höga värden på ”vanliga” Big Five mått som problematiska i sin isolering, forskningen är tydlig (se nedan) att en hög Conscientiousness sannolikt leder till bra prestationer för både individen och organisationen.

En annan stor tänkare avseende Conscientiousness är Bob Hogan. Hogans socioanalytiska teori menar att Conscientiousness är en del av individens identitetsval – en strategi för att hantera den grupp individen tillhör, tex arbetsgruppen. Det är lätt att förstå hur Conscientiousness främjar överlevnad i arbetsgruppen och den större organisationen. Människor deltar i aktiviteter som överensstämmer med deras identitet; de som vill att andra ska se dem som flitiga och ordentliga kommer att dyka upp på arbetet i tid och fullfölja sina arbetsuppdrag på ett korrekt sätt. Personer som har rykte för att vara samvetsgranna gör inte heller dumma saker på jobbet, utmanar inte myndigheter, avviker inte från uppställda mål med arbetet – de är helt enkelt ”goda organisationsmedborgare”.

Dagens definition av Conscientiousness

Conscientiousness är den huvudsakliga personlighetsegenskapen i situationer där alla former av prestation är i fokus, till exempel arbete, inlärning och utbildning. Denna egenskap förbinds ständigt till kriterier som relaterar till arbetsprestation och faller oftast ut som den viktigaste faktorn. Denna personlighetsegenskap representerar drivkraften att uppnå något och innehåller egenskaper som är nödvändiga för att kunna följa denna drivkraft, bland annat att vara organiserad, systematisk, plikttrogen, effektiv, ordentlig och uthållig. Personer som är målmedvetna har tydliga mål, stark vilja och är beslutsamma och har lätt för att motivera sig själva. Skalan Conscientiousness i Personality150 (se nedan) beskriver hur man föredrar att arbeta och hur man förhåller sig till förpliktelser och åtaganden.

Utvecklingen av Personality150

Anledningen att vi valde nedan definierade facetter av Conscientiousness när vi byggde vårt test i Assessment Engine är att dessa facetter av Conscientiousness har stöd i forskningen. När vi nu är klara med detta ville vi testa hur väl vi lyckades med detta. Vi samlade därför in data från 400 testpersoner valda från normalpopulation, det enda kravet vi hade för att delta var att de skulle ha ett arbete, då personality150 ska mäta personligheten hur den tar sig uttryck på arbetet. Vi testade vår modell genom faktor analys. Nedan definieras facetterna av Conscientiousness i Personality150.

Duglighet

Personer med höga poäng är dugliga i den meningen att de är förnuftiga, grundliga och effektiva i hur de tar sig an uppgifter och projekt. De uppfattar sig själva som välrustade och kapabla att utföra och hantera uppgifter, utmaningar och situationer som som de ställs inför. Personer med låga poäng är vanligtvis inte lika drivna och effektiva, och de har inte samma tilltro till den egna förmågan och kapaciteten. Personer med låga poäng tenderar att känna sig olämpliga inför uppgifter och andra kan uppfatta dem som oförberedda, ineffektiva och ibland lite oförnuftiga.

Ordningsamhet

Personer med höga poäng är ofta välorganiserade, och de håller ordning och reda runtomkring sig. De håller ordning på sina tillhörigheter och ser alltid till att ha rätt sak på rätt plats. Personer med höga poäng lägger mycket tid och kraft på att organisera. Emellanåt kan de spendera lite för mycket tid och kraft på att organisera både saker och människor. De störs av andras oreda och kan ha svårt att nöja sig med att organisera något tillräckligt bra. Personer med låga poäng är mindre organiserade. De har inget emot, utan trivs ofta med, att ha lite oordning. För personer med låga poäng kan det vara utmanande att vara systematiska och metodiska, och de uppfattas ofta som ostrukturerade och lite kaotiska.

Samvetsgrannhet

Personer med höga poäng är plikttrogna, tar sina åtaganden på allvar och följer strikt alla sina etiska och moraliska skyldigheter. Andra uppfattar dem som pålitliga och samvetsgranna, och de strävar efter att alltid leva upp till sina åtaganden. Personer med låga poäng är inte nödvändigtvis opålitliga, men de är mindre noggranna när det gäller att leva upp till åtaganden och förpliktelser. Personer med låga poäng tar i regel också lättare på moraliska och etiska principer. Att de tar med lätthet på åtaganden och förpliktelser gör att de kan uppfattas som oberoende och ibland även lite opålitliga.

Ambition

Personer med höga poäng karaktäriseras av en hög ambitionsnivå. För dessa personer är det viktigt att prestera, de arbetar hårt och fokuserat för att uppnå sina mål och att nå framgång är en stark motivationskraft för dem. Personer med höga poäng har en känsla av riktning i livet som de strävar efter att följa ihärdigt och målmedvetet. Personer med låga poäng motiveras inte på samma sätt av denna typ av framgång. De drivs sällan av samma vilja att prestera och sätter därför sällan upp explicita mål att uppnå. Bristen på fokus och målmedvetenhet gör att man kan få intrycket av att personer med låga poäng är mindre benägna att investera i sin utbildning och karriär. Personer med låga poäng har en mer avslappnad inställning till prestation och kan av andra ibland uppfattas som lite lata. Bristen på fokus och ambition kan av andra upplevas som oroande, men personer med låga poäng är ofta nöjda med sin prestationsnivå.

Disciplin

Personer med höga poäng har en hög grad av självdisciplin vilket manifesteras i förmågan att påbörja och slutföra uppgifter och åtaganden. Dessa personer har förmågan att motivera sig själva till att få jobbet gjort och att slutföra uppgifter och projekt, även när det handlar om tråkiga och monotona uppgifter och när de blir distraherade. Personer med låga poäng har en lägre nivå av självdisciplin och har inte samma förmåga att motivera sig själva. De har ofta svårare att påbörja uppgifter som de behöver utföra och de blir lätt distraherade och uttråkade. Det kan vara utmanande för personer med låga poäng att slutföra en uppgift, speciellt om den tråkig eller monoton. Att skjuta upp saker eller avbryta i förtid, innan uppgiften är genomförd och avslutad, ligger nära till hands. Observera att låg självdisciplin inte ska förväxlas med brist på impulskontroll.

Eftertänksamhet

Personer med höga poäng är eftertänksamma, de tänker noggrant igenom saker innan de agerar. De tar tid på sig att tänka igenom konsekvenserna av olika handlingar vilket gör att de sällan fattar beslut som de sedan ångrar eller hamnar i oväntade situationer. Personer med låga poäng är mindre eftertänksamma, de är skyndsamma och spontana. De pratar och agerar ofta utan att tänka igenom alla konsekvenser vilket gör att de kan fatta beslut som de sedan ångrar. Personer med låga poäng kan fatta snabba beslut när så krävs, vilket personer med höga poäng kan uppleva som utmanande. 

Test av modell

Vi testade några olika modeller, den första antog att det i svarsmönstret från 400 individer endast döljer sig en övergripande Conscientiousness faktor. Vi testade även en modell som delar upp Conscientiousness i två aspekter, Flit (Ambition, Duglighet och Disciplin) och Ordning (eftertänksamhet, samvetsgrannhet och ordningsamhet). Se bild nedan .

Även om modellen som förespråkar en övergripande modell för Conscientiousness passade data bra, så passade modellen med två faktorer något bättre, dock var korrelationen hög mellan aspekterna Flit och Ordning (r = .86). Det betyder att de som är flitiga är också ordningsamma. Men för att illustrera hur dessa två aspekter av Conscientiousness samvarierar med arbetsprestation behölls även den modellen för detta bloggginläggs syfte.

Resultatet (se nedan graf) visar att den övergripande faktorn Conscientiousness har det högsta sambandet med arbetsprestation. Det betyder att summan av alla facetter, eller aspekter är bättre att förutsäga arbetsprestation i jämförelse med de ingående delarna av Conscientiousness. Flit har en marginellt högre samband med arbetsprestation i jämförelse med Ordning. Och är det några av facetterna man ska fokusera på i en rekrytering är det Ambition och Samvetsgrannhet, alltså en blandning av både Flit och Ordning. Kort och gått, det är bra med anställda som det är ordning och reda på, med lite jävlar anamma så att verksamheten går framåt, dvs någon som vill något samt tar befälet.

Sammanfattning

Resultatet visar att Personality150 på ett bra sätt speglar den övergripande faktorn Conscientiousness. Min rekommendation är att använda summan av alla delar när arbetsprestation ska förutsägas. När syftet med testningen är endast av beskrivande art rekommenderas att tolka på både aspekt- och facettnivå.

Referenser

DeYoung, C. G., Quilty, L. C., & Peterson, J. B. (2007). Between facets and domains: 10 aspects of the Big Five. Journal of Personality and Social Psychology, 93, 880–896. doi:10.1037/0022-3514.93.5.880

Digman, J. M., & Inouye, J. (1986). Further specification of the five robust factors of personality. Journal of Personality and Social Psychology, 50, 116-123.

Digman, J. M., & Takemoto-Chock, N. K. (1981). Factors in the natural language of personality: Re-analysis, comparison, and interpretation of six major studies. Multivariate Behavioral Research, 16, 149-170.

Fiske, D. W. (1949). Consistency of the factorial structure of personality ratings from different sources. Journal of Abnormal and Social Psychology, 44, 329-344. ’

Goldberg, L. R. (1981). Language and individual differences: The search for universals in personality lexicons. In L. Wheeler (Ed.), Review of personality and social psychology (Vol. 2. pp. 141-165). Beverly HUls, CA: Sage.

Goldberg, L. R. (1992). The development of markers for the big-five factor structure. Journal of Personality and Social Psychology, 4, 26-42.

Hogan, R. T. (1983). A socioanalytic theory of personality. In M. Page (Ed.), Nebraska Symposium on Motivation: Personality-Current theory and research (pp. 58-89). Lincoln: University of Nebraska Press.

Horney, K. (1945). Our inner conflicts. New York: Norton.

Judge, T. A., Rodell, J. B., Klinger, R. L., Simon, L. S., & Crawford, E. R. (2013, September 9). Hierarchical Representations of the Five-Factor Model of Personality in Predicting Job Performance: Integrating Three Organizing Frameworks With Two Theoretical Perspectives. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0033901

Tupes, E. C, & Cristal, R. E. (1961). Recurrent personality factors based on trait ratings (USAF ASD Tech. Rep. No. 61-97). Lackland Air Force Base, TX: U.S. Air Force. Underwood, B., & Moore, B. (1982). Perspective-taking and altruism. Psychological Bulletin, 91, 143-173.

Codescale och Psychometrics har under ca 1 års tid arbetat med projektet Assessment Engine. Under detta år har vi utvecklat test, genomfört datainsamlingar, genomfört psykometriska analyser, skrivit manualer, programmerat och testkört 1000-tals processer, men framför allt så har vi lyssnat på våra kunder och samarbetspartners för att kunna utveckla bedömningstjänster som stödjer evidensbaserade processer som leder till tillförlitliga beslut. Några av våra kunder är Cupole, Cepheid, Agile Search , Refapp, Angry Creative och MPS Sweden. Detta är organisationer som har ökat sin träffsäkerhet, sparat tid och förbättrat sin kandidatupplevelse. Nedan redovisas den senaste uppdateringen av Assessment Engine.

I vårt arbete med att tillsammans med våra användare kontinuerligt förbättra, utveckla, öka användbarheten och tillgängligheten i Assessment Engine så behöver vi alltid ha örat mot rälsen. Det våra användare har efterfrågat den senaste tiden är att få våra processer och bedömningar på engelska och nu är de här!

Som administratör kan du nu välja vilka de språk som en respondent ska kunna välja mellan: engelska eller svenska, eller endast svenska.

Väljer du alternativet engelska eller svenska så ger du respondenten möjlighet att själv välja vilket av språken han/hon vill ha innan processen startar. Det valda språket kommer att användas för alla bedömningar i processen och kan inte ändras när processen har startat.

De bedömningar som nu finns tillgängliga på både engelska och svenska är:

• Kognitiv förmåga — Talserier och Instruktioner
• Personlighet — kort version (Personality30) som ger resultat på fem faktorer
• Personlighet — lång version (Personality150) som ger resultat på fem faktorer och 30 underskalor 

Även vår populära och omfattande beskrivande rapport, Descriptive Personality Report, som bygger på Personality150 och ger individuella beskrivningar på 30 underskalor, finns nu tillgänglig på engelska.

Dessutom så finns alla processer som inkluderar mekaniska och evidensbaserade bedömningar för att förutsäga olika typer av prestation och beteenden (så kallade EBU:er) tillgängliga på både engelska och svenska. Använd Assessment Engine för att förutsäga:

• Job Performance – generell arbetsprestation
• Organizational Citizenship Behavior (OCB) – organisationsmedborgarskap
• Counterproductive Work Behavior (CWB) – kontraproduktiva beteenden
• Functional Leadership – välfungerande ledarskap
• Dysfunctional Leadership – dysfunktionellt ledarskap
• Sales Performance – prestation i säljyrken

Om du är intresserad av eller har behov av andra EBU:er så maila oss på team@assessmentengine.se

Vi har standardiserat processerna i Assessment Engine så ingen utbildning krävs om du är en van användare av bedömningstjänster. Du kan komma igång direkt!  Vi tillämpar inga licenskostnader eller andra fasta kostnader – du betalar enbart för det som du faktiskt använder. Om du vill ha personlig information eller en kortare utbildning så bjuder vi naturligtvis på det. Maila oss på team@assessmentengine.se så hjälper vi dig.

Inte nog med detta, nu kommer vi att öka takten än mer. Fyra nya kognitiva test, som bygger på den absolut senaste forskningen inom kritiskt tänkande, är under utveckling. 

Och redan nu finns en första version uppe av vårt nya intresse/motivationstest som du gratis kan testa här. Detta bygger på den absolut senaste forskningen om intressen för det moderna arbetslivet.

Assessment Engine är även integrerat med Teamtailor vilket gör det möjligt för användare att vässa urvalprocessen ytterligare. Använd Temtailor för hela urvalsprocessen, från annonsering till urvalsbeslut. Nu med våra validerade EBU:er. Om du redan använder Teamtailor är det bara att koppla upp dig mot Assessment Engine. Maila oss på team@assessmentengine.se så hjälper vi dig.

Naturligtvis finns alla våra bedömningstjänster dokumenterade i våra tekniska manualer. Maila oss på team@assessmentengine.se så skickar vi all information du behöver för att känna dig trygg i dina bedömningar.

Och följ oss gärna på LinkedIN. Där kan du även titta närmare på vår personlighetsrapport.

Vi ser fram emot att höra av dig!

Vänliga hälsningar,

The Assessment Engine Team

Öppenhet i FemFaktorModellen (FFM) är den faktor som jag tycker är svårast att förstå som en personlighetsfaktor, eftersom den kan tolkas på olika sätt. Det finns faktiskt inte en övergripande enighet bland forskarna hur denna faktor ska definieras och mätas. Faktum är att när vi utvecklade ett test som vi namngav Predicting Job Performance (PJP) för många år sedan valde vi bort den faktorn i testet då den hade låg reliabilitet och hade på den tiden obefintlig korrelation med arbetsprestation. Öppenhet är också den enda faktorn som har en positiv korrelation med intelligens, så i urval kommer alltid denna faktor mätas till viss del med ett intelligenstest. Idag är Öppenhet en del av FFM och byggs upp av sex facetter (som kommer att beskrivas nedan). Jag kommer i detta inlägg beskriva hur denna faktor definierats av tidiga personlighetsforskare. Sedan kommer jag diskutera vad den övergripande faktorn mäter och hur Öppenhet korrelerar med Intelligens. Och avslutningsvis redovisas en analys av hur Öppenhet mäts i Assessment Engine och hur denna faktor relaterar till lönenivå.

Tidiga definitoner

Öppenhet kan spåras bak i historian hos en mängd olika forskare. Goldberg (1981) och Digman och Inouye (1986) föredrog termen Intellekt, Norman (1963) använde Culture. Det är således svårt att sammanfatta en av de bredaste konstruktionerna inom personlighetspsykologi i ett enda ord. Guilford, Eysenck och Cattell ansåg att Öppenhet handlar om intellektuella intressen och är en del av intelligensbegreppet och kan bäst mätas med ett intelligens test. Denna konceptualisering gjorde att det var relativt sent som personlighetspsykologer blev intresserade av denna svårfångade faktor.

När jag jobbade med Hogan Personality Inventory (HPI) för många år sedan lärde jag mig att Bob och Joyce Hogan delade upp denna faktor i två delar. Den ena delen benämndes intellektans och den andra faktorn benämndes på svenska studiehåg. I intellektansfaktorn ingick frågor om intresse för vetenskap, nyfikenhet hur saker och ting fungerar, om man gillar att lägga pussel, om man tycker om klassisk musik. Men även delar som idag ingår i Extraversion som spänningssökande ingick i intellektans. Den andra delen studiehåg handlade om personen hade ett bra minne, varit en duktig student, är duktig på att räkna och man gillade att läsa böcker. 

Denna operationalisering av öppenhet har stora drag av intelligensbegreppet. Vid ett tillfälle analyserade jag data från ett större urvalsgrupp (N=275) där både HPI och begåvningstestet BasIQ analyserade. Korrelationen mellan de ingående delarna av HPI och totalpoängen var väsentlig (r=.36). Då detta var ett urval där många var begåvade (Högskolepoängen låg för denna grupp på medel=1,69) var det sk beskuren spridning i urvalet. När variationen jämfördes mellan denna grupp och normeringsgruppen i BasIQ så upptäckte jag att variationen bara nådde upp till 60% i denna urvalsgrupp i jämförelse normeringsurvalet (N=5043). För att undersöka hur stark korrelationen skulle varit om urvalsgruppen var lika stor som normeringsgruppen korrigerades korrelationen (r=0.36). Korrelationen blev väsentligt högre när denna korrigering genomförts, r=0.51, dvs över 50% av variationen är gemensam med ett intelligenstest. Helt klart ligger denna mätning bra nära intelligensbegreppet.

Dagens definition av Öppenhet

Men vad innebär då denna breda faktor i dagens FemFaktorModell (FFM). Öppenhet i FFM som vi innebär att personen har livlig fantasi, estetisk känslighet, lyhördhet för inre känsloliv, förkärlek för variation, intellektuell nyfikenhet och oberoende av andras omdömen.  Öppna individer beskrivs av andra som nyfikna, både på den egna inre och den yttre världen, och deras liv är rika på inre upplevelser. Dessa personer har ofta förmågan att komma på nya idéer och har okonventionella och självständiga värderingar. De har ofta både en intensiv och mer nyanserad känslovärld. De är ofta mer uppmärksamma mot den inre känslomässiga världen och ger den också mer utrymme i sina liv, bland annat i beslutsfattande där de ofta låter sin intuition styra. 

En självklar situation dessa personer trivs i är när de får uttrycka deras konstnärliga läggning och intellektuella nyfikenhet. När dessa personer inte får generera nya idéer personer blir de lättuttråkade och söker eller skapar situationer som tillfredsställer behovet av känslomässig och intellektuell stimulans. De ser ofta sig själva som originella och artistiska och andra kan uppfatta dem som excentriska och komplexa personer som konstant letar efter nya upplevelser att reflektera över. De har generellt en preferens för det komplexa och ovanliga, och de ogillar ofta traditionella förfaringssätt och konservativa värderingar. Vid en avsaknad av öppenhet beskrivs dessa personer som ytterst praktiska och jordnära med fokus på det som sker här och nu. Nya saker och händelser är ett störningsmoment för dessa personer vad som ska göras just nu. De har inget större behov av, och söker heller inte, intellektuella eller känslomässiga upplevelser enbart för upplevelsernas skull. Den egna känslomässiga världen ges begränsat med uppmärksamhet och begränsat med utrymme både inom individen och i förhållande till omvärlden. Deras känslomässiga reaktioner kan, i kontrast till personer med höga poäng, upplevas som något dämpade eller trubbiga men också som okomplicerade och enkla. Dessa personer gör logiska analyser och väger objektivt fördelar och nackdelar mot varandra. Intuition och känslomässiga upplevelser ges ett begränsat utrymme.

Utvecklingen av Personality150

Anledningen att vi valde nedan definierade facetter av Öppenhet när vi byggde vårt test i Assessment Engine är att dessa facetter av Öppenhet har stöd i forskningen (McCrae, & Costa, 2003). När vi nu är klara med detta ville vi testa hur väl vi lyckades med detta. Vi samlade därför in data från 400 testpersoner valda från normalpopulation, det enda kravet vi hade för att delta var att de skulle ha ett arbete, då personality150 ska mäta personligheten hur den tar sig uttryck på arbetet. Vi testade vår modell genom faktor analys. Till skillnad från övriga faktorer i FMM så har forskning visat att det är endast en facett som ”sticker” ut från övriga och det är Intellektuell Nyfikenhet, vilket hänvisar till öppenhet som intelligens enligt ovan nämnda resonemang.  När vi analyserade modellen framkom det att endast en övergripande faktor bäst kan förklara variationen mellan individer i Öppenhet. Nedan definieras facetterna i Öppenhet i Personality150.

Föreställningsförmåga

Denna skala mäter öppenhet för fantasi, samt huruvida man har en livlig föreställningsförmåga och ett aktivt fantasiliv. Personer med höga poäng har öppenheten och förmågan att utveckla och utarbeta sina fantasier genom en god föreställningsförmåga. De anser att en god fantasi bidrar till ett rikt och kreativt liv. Personer med låga poäng är mer prosaiska, jordade i vad som är här och nu, och de ägnar mycket lite tid och energi åt att dagdrömma och fantasiera. De föredrar att fokusera på nuet och det som är konkret och påtagligt. Personer med låga poäng ser sig själva som realistiska och jordnära.

Estetik 

Denna skala mäter intresse och uppskattning för estetik och konstnärliga uttryck. Personer med höga poäng är intresserade av och uppskattar estetiska och konstnärliga uttryck. De uppmärksammar, njuter och fascineras av konst, de berörs av poesi och blir absorberade av musik. Personer med höga poäng är inte nödvändigtvis estetiska eller konstnärligt begåvade själva, men deras intresse har och/eller kommer sannolikt att ge dem en större kunskap inom dessa områden jämfört med personer med låga poäng. Personer med låga poäng saknar intresse för, kan vara ganska okänsliga för,  och uppskattar sällan estetiska uttryck som konst, poesi och musik i någon större utsträckning.

Känsloliv

Denna skala mäter mottaglighet för de egna känslorna och i vilken utsträckning känslor värderas som en viktig del av livet. Personer med höga poäng är känsliga i sin affekt, de har en stor mottaglighet och öppenhet för (alla typer av) känslor, och de upplever dessa känslor djupare och mer intensivt än personer med låga poäng. Personer med höga poäng upplever dessutom ett bredare spektrum av känslor och mer differentierade känslomässiga tillstånd jämfört med personer med låga poäng. De är dessutom benägna att tillskriva sina känslor större betydelse och ge dem större utrymme och påverkan i beslut och åsikter. Personer med låga poäng är mer trubbiga i sin affekt. De tillskriver inte lika stor betydelse för sina känslor som personer med höga poäng.

Aktiviteter 

Denna skala mäter benägenheten och villigheten att prova det som är nytt. Inom faktorn Öppenhet är denna fasett den som uttrycks i explicita beteenden: främjandet av förändring och engagemang i nya aktiviteter såsom att besöka nya platser, prova nya (ovanliga) maträtter, nya aktiviteter, arbetsuppgifter, utbildningar, och även relationer. Personer med höga poäng är nyfikna på allt som är nytt och de uppskattar variation. Personer med låga poäng föredrar det som är välbekant och rutinmässigt. De kan ibland aktivt undvika förändring och föredrar vanligtvis att hålla fast vid det som är beprövat och har visat sig fungera.

Intellektuell nyfikenhet

Denna skala mäter grad av intellektuell nyfikenhet. Personer med höga poäng ägnar sig gärna åt intellektuella intressen och aktiviteter (som till exempel frågesport, sudoku, korsord, gåtor och abstrakta och filosofiska resonemang) för sakens egen skull. De har ett öppet sinne och är villiga att överväga nya tankesätt och ibland okonventionella idéer. Personer med låga poäng är inte lika intresserade av intellektuella resonemang och frågeställningar. De har en begränsad nyfikenhet för och känner sällan något större behov av att ägna sig åt sådana aktiviteter för sakens egen skull. Personer med låga poäng tenderar att fokuserade på och dedikera sina resurser till ett snävare antal ämnen och områden.

Värderingar 

Denna skala mäter benägenheten att omvärdera rådande värderingar, normer och strukturer. Personer med höga poäng är öppna för omvärdering och förhåller sig kritiska till rådande strukturer, inklusive auktoriteter, traditioner, arbetssätt, samt sociala, politiska och religiösa strukturer. Personer med höga poäng står för tolerans och ifrågasättande av fördomar och förutfattade meningar. Personer med låga poäng är mer benägna att acceptera rådande värderingar, normer och strukturer. De ifrågasätter ogärna auktoriteter och rådande arbetssätt. De värdesätter tradition och uppfattas därmed ofta som konservativa och traditionella.

Intellektuell nyfikenhet som en unik facett inom öppenhet

Sammanfattningsvis visade vårt resultat att alla faktorer bildar en Öppenhetsfaktor utan att olika aspekter av Öppenhet kan identifieras i testet. Inte desto mindre utgör Intellektuell nyfikenhet en unik aspekt av Öppenhet eftersom den ligger närmast intelligensbegreppet. Detta visas tydligt i den senaste meta analysen av FFM och arbetsprestation (Judge et al 2013). När Intellektuell nyfikenhet separeras från övriga facetter är det endast Intellektuell nyfikenhet som har en positiv korrelation med arbetsprestation, även om den är svag (r=.10) i jämförelse med övriga facetter (r=.03). Den troliga orsaken till att det finns en svag korrelation är att Intellektuell nyfikenhet  har en positiv korrelation med intelligens. Med andra ord eftersom intelligens har ett positivt samband med arbetsprestation borde därför även Intellektuell nyfikenhet ha en positiv relation med arbetsprestation.

Lönenivå, Öppenhet och Intellektuell nyfikenhet

Ett sätt att testa om Intellektuell Nyfikenhet särskiljer sig ifrån Öppenhet är att undersöka hur dessa två delar av öppenhet relaterar till någon annan variabel som inte är personlighet. Vi testade detta i vårt urval (N=400) genom att undersöka Öppenhet med lönenivå. Vår hypotes är att det är endast Intellektuell Nyfikenhet som har en svag positiv korrelation med lönenivå. Nedan redovisas resultatet.

I figuren ovan visas korrelationen på den vertikala axeln och facetterna delas upp i Öppenhet (utan intellektuell nyfikenhet) och intellektuell nyfiken separerat ifrån övriga facetter. Resultat visar på en svag (r=.16) korrelation mellan intellektuell nyfikenhet och lönenivå, helt enligt hypotesen. Däremot är det en helt obefintligt relation mellan övriga facetter (Föreställningsförmåga, Estetik, Känsloliv, Aktiviteter och Värderingar) och lönenivå (r=-.02). Detta ger övertygande stöd för att Intellektuell Nyfikenhet bör tolkas separat från de övriga facetterna i Personality150.

Slutsatser

• Öppenhet kan bäst beskrivas som en övergripande faktor men Intellektuell Nyfikenhet bör tolkas som en unik komponent som relaterar till intelligensmätningen
• Öppenhet har en svag relation till arbetsprestation
• Intellektuell Nyfikenhet har en positiv relation till lönenivå.

Referenser

Cattell, R. B. (1946). The description and measurement of personality. Yonkers-on-Hudson. NY: Worid Book.

Cattell, R. B., Eber, H. W., & Tatsuoka, M. M. (1970). The handbook for the SixteenPersonality Factor Questionnaire. Champaign, IL: Institute for Personality and Ability Testing.

Digman, J. M., & Inouye, J. (1986). Further specification of the five robust factors of personality. Journal of Personality and Social Psychology, 50, 116-123

Goldberg, L. R. (1981). Language and individual differences: The search for universals in personality lexicons. In L. Wheeler (Ed.), Review of personality and social psychology (Vol. 2, pp. 141-165). Beverly Hills, CA: Sage.

Judge, T. A., Rodell, J. B., Klinger, R. L., Simon, L. S., & Crawford, E. R. (2013, September 9). Hierarchical Representations of the Five-Factor Model of Personality in Predicting Job Performance: Integrating Three Organizing Frameworks With Two Theoretical Perspectives. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0033901

Norman, W. T. (1963). Toward an adequate taxonomy of personality attributes: Replicated factor structure in peer nomination personality ratings. Journal of Abnormal and Social Psychology, 66, 574-583.

Det saknas idag en seriös och modern bedömningsmetod på den svenska marknaden för att mäta motivationsdrivande intresse. Det är därför vi under de senaste 6 månaderna utvecklat ett helt nytt test.

Tack till alla er som genomfört vårt nya intresse/motivationstest och lämnat värdefulla kommentarer. Vi har fått många positiva kommentarer och en del frågor. Jag försöker besvara ett urval av dem här:

Säger kombinationen av intressen något ytterligare om vilket eller vilka yrkesområden som intresserar och motiverar mig? 

Svar: Ja, vi kommer definitivt att kunna kartlägga mer om kombinationer av intressen.Men, det behövs ytterligare data på en stor population där många yrkesområden finns representerade. I denna första version får vi nöja oss med att tolka motivationsområde var för sig.

Mycket intressant att ta del av resultat och bra pedagogisk presentation av resultaten. Vore bra om man också kunde få läsa analys av de tre intresseområden som testet indikerar att man är minst intresserad av. 

Svar: Tack för det. Mycket bra synpunkt, detta kommer att beaktas när vi utvecklar testet i nästa steg.

Går det att korta ned antalet frågor utan att kvaliteten försämras avsevärt?

Svar: Detta kommer de psykometriska analyserna visa. Förhoppningsvis kan vi korta ned testet betydligt redan till nästa version.

Den stora arbetskraftsreserven har inte svenska som modersmål. Om testet översattes till flera språk skulle marknaden för det bli avsevärt större. Även en version på lätt svenska skulle vara efterfrågad.

Svar: En förhoppning är att aktörer som till exempel arbetsförmedlingen kommer att vara intresserade av seriös utveckling och därmed även av sådana här verktyg. En version på lätt svenska är då ett utmärkt förslag! Vi vill förstås gärna att det ska finnas ett behov av detta verktyg på många olika språk och vi står redo när behovet finns men först behöver den svenska versionen valideras. Sedan kommer sannolikt en engelsk version. 

Kan det vara intressant att koppla testet mot olika personlighetsverktyg?

Svar: Det är vår ambition och avsikt. Till skillnad från personlighetstest så är detta verktyg högst kontextuellt vilket betyder att dessa två mätverktyg, sannolikt, kan komma att komplettera varandra på ett bra sätt. Tänk en målmedveten person som blir erbjuden en utmaning som stämmer överens med de intressen hen har, då kommer energin och motivationen att förstärkas. Och tvärtom, en person som är en målmedveten men hamnar i en kontext som står i kontrast till vad hen är intresserad av. Effekten blir sviktande motivation och lågt engagemang.

Vill du vara med i utvecklingen av denna moderna bedömningstjänst så har du möjlighet att kostnadsfritt besvara frågorna som ligger till grund för vår forskningsversion. Klicka på länken nedan för att komma till frågorna. Är du intresserad av att använda detta verktyg i din verksamhet? Maila oss på team@assessmentengine.se så kan vi prata mer.

https://assessmentengine.se/#/interests