Psychometrics Sweden & Assessment Engine

Som vanligt sken solen i Djursholm i den underbara omgivningen av Villa Pauli när Dr Robert Hogan inledde årets höjdpunkt i Assessio världen (tror jag). Vid sin sida hade Dr Hogan Professor Hunter Mabon, grundaren till Assessio. Båda herrarna är vana att stå inför publik och lockade som vanligt till leende och skratt när de inledde hur samarbetet mellan professorerna började i början av 90-talet.

Hunter inledde och introducerade Bob Hogan och sig själv, som levande legender med en ironisk ton som jag tycker är riktigt rolig. Hunter berättade hur han tog hit Hogan Assessments instrument i början av 90-talet till den Nordiska marknaden, Hogan Assessment utgör ett flagskepp i Assessios produktpalett.

Under hela uppbyggnaden av Assessio har Hunter hävdat att god psykometri lönar sig för organisationer. Hunter har i sitt forskningsliv många forskningspublikationer som visar att används psykometriska test på rätt sätt så kan vara ytterst lönsamt för organisationer.  En av anledningen att publicera Hogans instrument, var enligt Hunter, att instrumenten har högsta möjliga kvalitet.

Robert Hogan inledde att fråga sig själv vad framgång är i livet. Han svarade själv att en grundfaktor är var du växer upp, vilket skolsystem du går och vilken regerings som styr. Det är naturligtvis avgörande om du växer upp i en diktatur i jämförelse med en demokrati. Avgörande, oberoende var du befinner dig, så tillhör du en grupp, denna grupp ska samarbeta för att nå framgång. Gemensamt för grupper är att det finns ledare, informella och formella, och mycket tyder på att dessa ledare är avgörande för den individuella framgången i livet. Tyvärr har hela psykologiska forskningen missat detta, särskilt psykologer som är intresserade av ledarskap.

Här lanserade Hogan sina välkända begrepp, ”getting along” and ”getting ahead”, de individer som har förmågan att både samarbeta och ”slå sig fram” tar makten och blir ledare. Detta kallar Hogan politisk förmåga. De som har politisk förmåga tar sig till toppen. Problemet är att forskare istället utgår ifrån de som redan är ledare och sedan undersöker vilka egenskaper de har, på det sättet missar man hela poängen. Istället finner forskarna att ledares karisma betyder något, vilket är helt fel, enligt Hogan. Att vara karismatisk tyder istället på narcissitiska drag. Istället ska ledare ödmjuka, ärliga och inge förtroende. Hogan lanserade ett 1 item test, om en blivande chef säger att hen ska ta företaget till toppen, tyder det på narcissism, inte en bra gruppledare. Det man inte som ledare får göra är att ljuga, då kastas du direkt ut från gruppsammanhållningen, gruppen förlåter sällan. Hogan gav flera exempel på hur stora ledare fallit på att man helt enkelt ljugit. En hel del av föreläsningen gick sedan genom olika kompetensmodeller för att ”tänka rätt” kring urval och utveckling av chefer.

Förutom en bra föreläsning är det naturligtvis trevligt att umgås med kunniga och trevliga kollegor inom testvärlden.

Idag är det Norges tur att lyssna på denna föreläsning.

Tackar Assessio för en intressant dag

Anders

Denna bok presenterar den senaste forskningen när det gäller bedömningstjänster. Den här boken borde varje konsult läsa som hävdar att hen arbetar evidensbaserat. Och den här boken borde vara standard för undervisning i ämnet bedömningstjänster.

Samtidigt som denna bok presenterar det allra senast avseende forskning om bedömningstjänster så är det en praktisk handledning för oss som i det dagliga arbetet sysslar med bedömningstjänster. Boken innehåller nio delar med sammanlagt 41 tema. De nio delarna är; (1) introduction and overview; (2) historical and social context of selection and the nature of individual differences; (3) Research strategies; (4) Individual difference constructs; (5) Measures of predictor constructs; (6) Performance and outcomes assessment; (7) Societal and organizational constraints on selection; (8) Implementation and sustainability of selection systems; (9) Conclusions and future directions.

Redaktör för boken är Neal Schmitt, Ph.D. Professor (Emeritus) of Psychology and Management at Michigan State University. Författare till de olika kapitlen är skrivna av de allra främsta experterna inom respektive område. Denna bok följer en bra logik som passar utmärkt för att användas i undervisning och konsultation. Jag kommer att använda den här boken många år framöver när jag undervisar i ämnet, både inom det akademiska och i näringslivet.

Referens och information

The Oxford Handbook of Personnel Assessment and Selection is edited by Schmitt, Neal (Ed.), Michigan State University, Department of Psychology, East Lansing, MI, US: The Oxford Handbook of Personnel Assessment and Selection. Oxford University Press, Oxford, New York/NY, USA, Hardcover:

Innehållsförteckning

 

cut-e har instiftat innovationspriset Theta för att premiera framstående lösningar för att matcha rätt person med rätt tjänst. Nomineringsperioden pågår till och med den 30 Juni 2013. Det kan handla om teknik, projekt, psykometriska lösningar, app eller produkt… om det är innovativt, användbart och dessutom skapar värde har du chansen att vinna 5000 Euro! Såväl forskare och studenter som praktiker och entreprenörer är välkomna att söka. Läs mer och ansök på: www.theta-award.com

Som ni har märkt har det varit få inlägg från psychometrics senaste veckorna. En av anledningarna är att jag varit på två konferenser och presenterat forskningsresultat som har med bedömningstjänster att göra. Den första presentationen genomfördes på EAWOP en stor kongress för psykologer som först och främst är intresserade av arbetspsykologisk forskning. Där presenterade jag min erfarenhet att utveckla två system för att utvärdera bedömningsmetoder, ett för psykologiska test i arbetslivet (EFPA) och ett system som vi lokalt i Sverige har utvecklat för Socialstyrelsen. Nedan ser ni min sammanfattning.

The background and development of two test review systems that are in use today in Sweden are described: The National Board of Health and Welfare (NBHW) test review system and the European Federation of Psychologists’Associations (EFPA) test review system. Advantages and disadvantages of both systems are discussed from the perspectives that validity is (or is not) a characteristic of a test

__________________________________________

Den andra presentationen genomfördes på Psykologförbundet och HR Societys Testdag i Stockholm. Där pratade jag om hur jag ser på gårdagens, dagens och morgondagens intelligenstestning i arbetslivet. Nedan ser ni min sammanfattning och du kan också ladda ned min presentation.

Under mer än hundra år har intelligenstest varit utgångspunkten vid psykologisk testutveckling. Den klassiska testteorin som utvecklades med de första intelligenstesten har moderniserats betydligt de senaste 30 åren. Det har skett mycket tack vare utvecklingen av internet-baserade test.  Men trots både internet och modern psykometri konstrueras och tolkas test på samma sätt som vid 1900-talets början. Kunskapen om artificiell intelligens och modern psykometri gör det möjligt att utveckla helt unika test för varje testtillfälle. Inom en snar framtid kan test utvecklas i samma sekund som du besvarar en fråga.

pdf Anders Sjöberg Presentation Testdagen 2013 visad

 

Nu är det snart dags för VM finalen i hockey där Sverige har chansen att koras till världens bästa hockeylag. Du kanske undrar varför detta är intressant att läsa om på denna sida? Jo, en anledning att det trots kritik i början av turneringen nu slutar i en final kan åtminstone delvis tillskrivas psykologisk kunskap. Bakom VM truppen finns nämligen Pär Pettersson som är psykologisk tränare för Tre Kronor. Pär är doktor i ämnet psykologi, och träningen i psykologi har han genomgått vid Stockholms universitet.

The examinations and assessment team at the College of Policing has made history by becoming the first in the UK to reach an international standard for their work in supporting the career progression of police officers and police staff.

The team has achieved certification against ISO 10667 for the delivery of their assessment services to policing. This is a major achievement for the team who underwent an in-depth six-month assessment by leading certification body SGS United Kingdom Ltd. The independent award underlines the high quality of the services being provided to police forces, and the professional standards being achieved by officers and staff as they progress in their careers.

College of Policing board director, Sara Thornton, Chief Constable of Thames Valley Police, said: “The award of this new international standard is a fantastic achievement for the College of Policing examinations and assessment unit. The quality of policing relies very heavily on the quality of our staff and this award shows that we are supported by the very best there is in terms of assessment and selection.  I hope that the public are reassured by the high standards of selection which enable us to be able to say with confidence that we are identifying, developing and nurturing talent effectively and fairly.”

College of Policing head of examinations and assessment, Ciaran McGuigan, said:

”Certification to an international standard demonstrates to our members that the products and services designed and delivered by the examination and assessment team are of a high quality and meet rigorous external and internationally recognised standards. This award supports the emerging role of the College of Policing in developing and applying standards of professionalism for the service.”

The auditing team at SGS who carried out the assessment of the business unit’s practices and procedures were particularly impressed by the systems in place.

SGS lead auditor, Ana Inacio, who led the assessment work on the examinations and assessment team, said:

”ISO 10667 sets the benchmark for assessment activities and ensures that these lead to successful recruitment and career progression processes within organisations. The College of Policing already had in place the best practices of this sector and used the standard requirements as a means to confirm their leadership in this arena.”

In preparing for the external assessment the College team used a software application they had developed called Quality Assurance Management Systems (QAMS). QAMS reduces unnecessary bureaucracy and staff time within police forces around the management of quality assurance, business improvement and inspection frameworks.

Robert Hogan är en av världens mest kända forskare på personlighet, ledarskap och effektivitet i organisationer. Han doktorerade vid University of California Berkeley, och har arbetat på flera prestigefyllda universitet. Dr Hogan har byggt upp och leder fortfarande Hogan Assessment Systems, ett globalt forskningsinstitut och testleverantör.

Assessio anordnar en exklusiv konferens för dig som är Hogananvändare men även för dig som är intresserad av personlighetstester. Den 17 juni får du möjligheten att träffa Dr. Robert Hogan och ett par av hans kollegor från huvudkontoret i Tulsa, USA.

Under en hel dag kommer du att få ta del av det bästa som Hogan kan erbjuda dig och ditt företag. Du kommer att få ta del av nyheter, nya rapporter och den världsledande forskning som Hogan representerar.

Läs mer här

Robert Hogan om Ledarskap

För några veckor sedan var jag med i en paneldebatt avseende psykologiska test i arbetslivet vid Högskolan i Dalarna med en mängd duktiga studenter och praktiker. En intressant diskussion där den vanliga frågan kom upp vilka som är de bästa psykologiska testen?

– Det finns en mängd seriösa testleverantörer på marknaden, men jag kan inte säga namn på varken seriösa eller oseriösa leverantörer då jag långt ifrån har tillgång till komplett information avseende tests kvalitet, svarade jag.

Jag har tänkt vidare på denna fråga om vad man som uppdragsgivare (kund) bör tänka på när man lyssnar på testleverantörer. Då det ofta handlar om personlighetstest för att användas i urvalssammanhang har jag valt att fokusera på detta nedan. Jag har listat utsagor från testleverantörer som bör tända en varningslampa, samt försökt beskriva en situation där du kan känna trygghet i vad tetleverantören säger och säljer.

Varning när testleverantören säger så här

• Argument för att perfekta prognoser kan göras på individnivå
• När du frågar om en teknisk manual för att läsa om reliabilitet och validitet säger leverantöreren att de ”håller på att skriva en sådan”
• Pratar om år av egen erfarenhet inom området snarare än kvalitet i testet
• Säger att testet går att använda i alla urvalssammanhang
• Rabblar siffror om reliabilitet och validitet som du inte förstår
• Säger att alla andra test på marknaden är skräp
• Påstår att detta test kan hitta vem som ljuger om sig själv, och sedan påstår att samma test kan ”rätta till” fusket.
• Erbjuder dig att besvara ett test för att validera testet
• Erbjuder dig testa några i din organisationen för att få fram rätt profil på en framgångsrik medarbetare som du sedan kan använda som ”idealprofil”
• Baserar kvaliteten i testet med några få enstaka bra ”cases”
• Säger att detta personlighetstest är toppen om du har ett fåtal kandidater som du ska välja bland
• Påstår att detta test är ett diskussionsunderlag som du kan använda i intervjun.
• Anger att testresultatets kvalitet ligger hos betraktaren av testresultatet
• Att detta personlighetstest, förutom Big Five också mäter kompetenser

Samtliga av dessa punkter är varningssignaler att testleverantören inte har ”koll på läget”. Om allt detta händer är det bara att vända på klacken, om enstaka saker händer är det mindre allvarligt.

Grönt ljus om testeleverantören har denna inställning

• Visar vad den tekniska manualen säger om testets reliabilitet och validitet i det beslutsunderlag då får av testpoängen
• Kan förklara hur kvaliteten i ditt urval tillsammans med hur många du ska välja ut samt validiteten (den kriterierelaterade validiteten) samvarierar med den ekonomiska nytta du får av testpoängen
• Kan räkna ut (baserat på din situation) vilken nytta detta test ger dig, uttryckt i kronor
• Kan säga hur ditt testresultat ska vägas ihop med annan information du har om kandidaterna
• Visar i manualen hur testförfarandet följer de riktlinjer som sätts upp i ISO 10667
• Visar en granskningsrapport där en oberoende tredje part genomfört en granskning
• Kan visa på resultat vilket samband som finns mellan olika testpoäng med ett etablerat fem-faktortest på marknaden
• Kan förklara skillnaden mellan ipsativa och normativa testpoäng, samt förklara vad som är för- och nackdelar med respektive poängsättning
• Kan förklara hur den psykologiska teorin som testet baseras på hänger ihop med de resultat som redovisas till dig som administratör av testet
• Kan redovisa vad som är skillnaden mellan beskrivning av en kandidat och testets prognosförmåga
• Kan föreslå, baserat på din situation, lämpligheten att använda gränsvärden.
• Kan förklara vad en kompensatorisk modell är i förhållande till de testpoäng som testet ger dig.
• Ger dig ett bra pris per test i förhållande till den ekonomiska nytta du får ut av testpoängen
• Hänvisar till denna lista

Och tänk på att du som köpare har ansvar tillsammans med testeleverantören för att kandidaterna får en rättvis bedömning.

Anders

Kognitiva test, utformade och standardiserade för personer med svenskspråkig bakgrund, används bland annat i samband med vägledning och urval till arbete och utbildning. Det har funnits en osäkerhet kring vad testen mäter, och hur rättvisande de är, då de används för människor med annan språklig och kulturell bakgrund. En avhandling av Ann Valentin Kvist vid Göteborgs universitet visar dock att det inte finns några starka skäl att avstå från de kognitiva testen för invandrare i samband med bedömning till utbildning och arbete.

Sveriges arbetsmarknadspolitik syftar till att på kortast möjliga tid integrera nyanlända grupper i arbetslivet. Ett redskap är arbetsmarknadsutbildning. För att matcha person mot utbildning och arbete finns kognitiva tester att tillgå.
Med hjälp av data från Arbetsförmedlingen och SCB belyser Ann Valentin Kvist hur säkra testen är, bland annat vilka kognitiva förmågor testen mäter för svenskar respektive invandrare, och inom vilka områden den kulturella bakgrunden ger skillnader i genomsnittliga prestationer. Hennes studier grundas bland annat på data från 3500 riktade arbetspsykologiska utredningar med 17 olika kognitiva test i södra Sverige, från åren 1993-2004.

Skillnad i utfall
– De visar att testen i stort mäter samma kognitiva förmågor hos svenskar, europeiska invandrare och utomeuropeiska invandrare. Skillnader i genomsnittliga prestationer fanns som förväntat främst inom det språkliga området. Det fanns också påtagliga skillnader i utfallet på test som mäter två- och tredimensionell rumsuppfattning, men skillnader i problemlösande förmåga var små, säger Ann Valentin Kvist, som själv arbetat som arbetspsykolog och nu är kvalificerad handläggare på Arbetsförmedlingen.
När psykologer skulle tolka testresultat för individer med invandrarbakgrund fanns det tecken på att den språkliga förmågan tolkades välvilligt. Personer med invandrarbakgrund bedömdes lämpliga för arbetsmarknadsutbildning trots låga prestationer på verbala test. Bedömning av formuppfattningsförmåga var likartad för alla grupper. Bedömningen av den problemlösande förmågan ledde däremot till mer restriktiva bedömningar av lämplighet för arbetsmarknadsutbildning, när det gällde invandrargrupperna. Möjligen var den problemlösande förmågan svårare för psykologerna att identifiera i invandrargrupperna, givet de språkliga och ibland även formuppfattningsmässiga begränsningarna.

Samma prognosvärde
– Genom att använda beräkningssystem som gör att testvärdena presenteras i termer av latenta variabler, underliggande orsaksfaktorer, skulle det kunna bli tydligare för psykologerna att skilja ut de olika aspekterna av begåvning, säger Ann Valentin Kvist.
Testresultaten visade sig ha ett relativt svagt samband med anställning efter avslutad arbetsmarknadsutbildning. Sambandet var dock av samma styrka för de svenska, europeiska och icke-europeiska grupperna. Det kan tolkas som att testen har ungefär samma prognosvärde för de olika grupperna.
Sammantaget pekade studierna på att testresultat kan användas även för grupper med invandrarbakgrund, givet att resultaten tolkas utifrån latenta variabler.

Läs avhandlingen

Referenser (delarbeten som ingår i avhandlingen).

Valentin Kvist, A., & Gustafsson, J.-E. (2008) The relation between fluid intelligence and the general factor as a function of cultural background: A test of Cattell’s Investment theory. Intelligence, 36, 422- 436.

Valentin Kvist, A. (2011). Interpretation of Cognitive Test Scores in Relation to Swedish and Immigrant Groups. Nordic Psychology. 63, 51-71.

Valentin Kvist, A. (2012). Immigrant groups, vocational training, and employment. European Journal of Training and Development. 36, 809-826.

Fördomar styr vem som får jobbet. En ”Erik” har 50 procents större chans att komma på anställningsintervju än en ”Hassan”, visar ett experiment gjort vid Linköpings universitet. För att ändra på det krävs att rekryteraren tänker fyrkantigt, säger psykologen Sara Henrysson Eidvall.

Ett experiment genomfört av Richard Carlsson, psykolog och forskare vid Linköpings universitet, visar att arbetssökande med svenskklingande namn har 50 procents större chans att bli kallade till anställningsintervju. Hans forskargrupp skickade svar på över 5 000 platsannonser där det enda som skiljde ansökningarna åt var namnet på den sökande.
Så hur gör den som rekryterar för att undvika diskriminering? Psykologen Sara Henrysson Eidevalls recept är att så långt som möjligt standardisera rekryteringsprocessen.
–Tänk fyrkantigt och standardisera, säger hon.
Det är i designen av urvalsprocessen som de största utmaningarna ligger, enligt Sara Henrysson Eidvall.
– Det gäller att designa en urvalsprocess som innehåller så lite av mänskligt tyckande och bedömning som möjligt. Vi vet att ju mer mänskligt tyckande vi blandar in, även mitt som expertens, desto mer diskriminering blir det.
Som ett exempel nämner Sara Henrysson Eidvall en svensk studie från 2012. Studien från Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU) undersöker svenska arbetsgivares rekryteringsbeteende i ett hypotetiskt valexperiment. Den visar att rekryterare bland annat väljer bort äldre, icke-européer, överviktiga, muslimer, judar och personer med flera barn.
– Jag skulle aldrig tro att jag själv diskriminerar, men det visar sig att vi gör ju det allihop! Genom att utgå från det aktuella forskningsläget kan vi minimera diskrimineringen och öka rättvisan. USA ligger långt framme här – där måste man kunna visa att den urvalsdesign man har inte diskriminerar.

Läs mer:

I Personal & Ledarskap nr 3 finns en längre intervju med Sara Henrysson Eidvall om rekryteringsetik och arbetspsykologiska test.