Psychometrics Sweden & Assessment Engine

Alla som använder psykologiska test vid rekryteringsurval bör känna till begreppet prediktiv validitet. Det ingår ofta som en del utbildningen för att använda sådana verktyg. De flesta vet även att bedömningsmetoder med högre validitet är bättre än metoder med låg validitet. Det finns dock en fråga som ständigt återkommer – hur kan man räkna hem vinsterna som man får av att använda metoder med högre validitet? Detta är ett eget forskningsfält som samlas under termen ”utility analysis”. Jag tänker nu presentera en modell som har funnits i forskningen sedan länge, ge två praktiska exempel på hur den kan användas för strategiska beslut inom HR och dessutom introducera en web-app som gör denna modell tillgänglig för alla [länk till https://morgan.shinyapps.io/utility].

Modellen, som ofta kallas Brogden-Cronbach-Glesers modell (BCG) har fått sitt namn efter de som bidragit till att utveckla den. Den utgår från att validitetskoefficienten beskriver ett linjärt samband mellan resultat i en bedömningsmetod och arbetsprestation, och att arbetsprestationen kan omsättas i ekonomiska termer. För att läsa mer om denna modell och hur den fungerar, se en nyligen publicerad avhandling av Sofia Sjöberg (2014).

Exempel 1: Chefsrekrytering

Ledare på hög nivå inom organisationen har en stor inverkan på lönsamheten. Detta är ett faktum som många känner till och som gör att företag gärna lägger pengar och tid på att hitta rätt person. De allra flesta stora organisationer som jag känner till har en strukturerad process som ofta innebär att man väljer ut kandidater internt eller tar hjälp av ett searchbolag, att man sedan träffar dessa kandidater för intervju och att de får genomföra en rad psykologiska test.

Det finns dock risker med detta. Att sakna kunskap om hur man ska väga samman all denna information kan göra att man fattar beslut på felaktiga grunder. Då blir validiteten inte nödvändigtvis högre av att använda psykologiska test till exempel. Läs mer om detta i andra blogginlägg, se till exempel: https://psychometrics.se/?p=2157

Säg nu att vi har ett företag ”BraGrejer AB” som har identifierat 9 möjliga kandidater till positionen som CFO, med en förväntad årslön på 840 000 kr (www.lonestatistik.se). Vi förväntar oss att personen ska stanna i företaget i åtminstone 3 år.

Genom att skriva in detta i web-appen på https://morgan.shinyapps.io/utility kan vi jämföra hur väl olika metoder identifierar den bästa kandidaten. Om man bara utgår från kandidaternas erfarenhet, hur länge de har jobbat inom ett relevant område, kan vi vänta oss en svag positiv prediktiv validitet. Detta syns i grafen nedan som ett svagt uppåtlutande streck:

Denna metod är bättre än slumpen och skulle troligtvis innebära att vi identifierar en person som genererar 309 000 kr mer än genomsnittet i urvalsgruppen under 3 år. Det finns dock en ganska stor osäkerhet i denna uppskattning – med 95 % sannolikhet ligger den verkliga nyttan mellan -1 634 000 och 2 253 000 kr. Alltså finns det ändå en överhängande risk att personen inte kommer att prestera bättre än någon av de andra kandidaterna och att tiden och pengarna vi lade på rekryteringsprocessen kommer att vara bortslösade.

Om vi däremot använder oss av ett Assessment Center där resultaten från intelligenstest, personlighetstest och skattningar från intervjuer, rollspel etc. har kombinerats på ett optimalt sätt blir bilden ljusare. I detta scenario kan vi förvänta oss att personen vi anställer tillför närmare 1 220 000 kr under 3 år (med 95 % sannolikhet mellan -171 000 och 2 611 000). Om vi investerar 225 000 kr på Assessment Center för alla 9 kandidater, blir den ekonomiska nyttan med 95 % sannolikhet mellan -396 000 kr och 2 386 000 kr.

Sannolikheten att våra ansträngningar betalar sig blir alltså betydligt högre, men ändå inte riktigt 100 %. Även med de bästa bedömningsmetoderna kan ju andra faktorer göra att det inte går som vi tänkt oss – som till exempel marknadens fluktuationer, oförutsedda situationer i privatlivet med mera.

Effekten av sådant som vi inte kan mäta eller förutse kan betraktas som en slumpmässig extern variabel, som finns med i simulationerna ovan – krysset visar den förväntade prestationen hos personen vi anställer (utifrån BCG-modellen), medan den gröna punkten visar var den personen faktiskt hamnar i vår simulering. Skillnaden mellan punkten och krysset beror på slumpen. Slumpens effekt på rekryteringsprocessen blir dock mindre ju större processer vi har, vilket vi kan se i nästa exempel!

Exempel 2: Traineerekrytering

Jag har samarbetat med flera stora svenska och internationella företag med deras traineeprocesser. Ofta har de tusentals sökande till ett fåtal platser och utmaningen blir att på ett effektivt sätt identifiera de som är bäst lämpade.

I detta exempel har vårt företag ”BraGrejer AB” 10 traineeplatser varje år och 1000 sökande totalt. Som trainee hos oss har man en årslön på 300 000 kr.

Om vi använder oss av CV-granskning, som inte har någon dokumenterad validitet, riskerar vi att ha en process som inte är så mycket bättre än slumpen. I detta fall tillför metoden inget värde för organisationen eftersom de som anställs inte kommer att prestera bättre än genomsnittet i urvalsgruppen. Snarare innebär metoden enbart kostnader då det tar tid och kraft från den personal som hanterar granskningen.

Grafen nedan visar ett slumpmässigt urval. De individer som blir anställda (gröna prickar) presterar inte högre än de som valts bort (röda prickar) och det svarta strecket är helt horisontellt:

 

Att istället använda sig av intelligenstest med en prediktiv validitet på 0.51 skulle tillföra ett värde på uppskattningsvis 1 631 000 kr mer per år totalt sett. Varje individ skulle förväntas generera ca 163 000 kr mer än genomsnittet (avrundat till hela tusental). Givet en kostnad på 750 kr/kandidat blir vinsten från investeringen 881 000 (med 95 % sannolikhet mellan 769 000 och 1 083 000) kr/år. Grafen nedan visar ett sådant scenario, där det är tydligt att individerna som har anställts presterar betydligt bättre än de flesta andra:

Slutsats

Valet av bedömningsmetod har en betydande effekt på företagets lönsamhet, både för junior rekrytering och vid mer seniora positioner. Utformningen av rekryteringsprocessen spelar dock också en viktig roll. Till exempel spelar det ingen roll vilken metod man använder om man redan har bestämt sig för en av kandidaterna innan bedömningen påbörjats.

Prova gärna web-appen på https://morgan.shinyapps.io/utility och använd den i de processer som du jobbar med. Den kan hjälpa dig att utforma en säker och valid process som maximerar den ekonomiska nyttan för företaget. Några generella råd är:

1. Använd urvalsmetoder med hög dokumenterad prediktiv validitet.
2. Tillämpa metoderna i stor skala för att maximera nyttan av dem. Försök att samla flera rekryteringar i samma process, som vid traineeurvalet ovan.
3. Skapa processer som är standardiserade, där kandidaterna bedöms på samma kriterier varje gång. På så sätt ackumuleras nyttan över tid.
4. Undvik att dra slutsatser om hur väl bedömningsmetoden fungerar från enskilda fall. Du kommer troligtvis att missa ”the big picture”. Genomför istället utvärderingar löpande och gör statistiska sammanställningar av data. Ju fler processer du tar med i beräkningen, desto tydligare kommer du att se nyttan av valida metoder.

Referens

Sjöberg, S. (2014). Utilizing research in the practice of personnel selection: General mental ability, personality, and job performance. (Doctoral dissertation). Stockholm: Department of Psychology, Stockholm University.

Kontakta gärna Morgan på morgan.strom@cubiks.com

För några år sedan startade jag psychometrics med en förhoppning att detta skulle göra en skillnad. Förhoppningen var att denna blogg skulle leda till att forskningsresultat om bedömningstjänster förs ut i det praktiska arbetet. Jag hade inte förväntat mig att så många var intresserade, men närmare 40 000 klick senare förstår jag att det är många därute som läser det som skrivs. Har detta gjort en skillnad i praktiken? Svårt att säga naturligtvis, men jag hör ofta, särskilt från yngre kollegor i branschen, ett gillande som förhoppningsvis gör en skillnad på marknaden.

Det var inte meningen att jag själv (Anders Sjöberg) skulle stå för alla inlägg, istället tänker jag än idag att denna blogg bör vara en plats där alla som är intresserade av forskning och bedömningstjänster kan komma till tals. Därför kommer jag nu bjuda in er att gästblogga på denna sida. Ämnena för inlägget kan vara, men är inte begränsat till följande,

• Rekrytering och urvalsprocesser
• Urvalsbeslut
• Ekonomisk nytta av bedömningstjänster
• Prestationsbedömningar (individ, grupp, organisation)
• Arbetsanalys och kompetensmodeller
• Psykometriska analyser och testvalideringar
• Enkätundersökningar

Instruktionerna är följande för att en text ska publiceras på denna sida.

• Texten ska ha en anknytning till bedömningstjänster i arbetslivet
• Texten ska ha en anknytning till både forskning och praktik
• Texten ska tydligt referera till den senaste forskningen inom valt område
• Texten får innehålla högst 1500 ord

Författaren/författarna ska beskrivas i texten med högst 80 ord (gärna med bifogad bild i jpeg format).

Skicka texten till anders.sjoberg@psychometrics.se

Jag kommer läsa igenom texten och eventuellt komma med förslag på ändringar innan inlägget publiceras. Ett dokumenterat avtal mellan psychometrics och författaren/författarna ska finnas innan texten publiceras.

”I praktiken görs helhetsbedömningarna utifrån intuition och magkänsla trots att vetenskapen visat under många, många år att detta sätt inte är så bra. Istället bör informationen viktas ihop enligt en matematisk algoritm, så att rekryteraren får ett mekaniskt stöd för alla upplysningarna. Våra hjärnor klarar inte av att hantera så mycket komplex information samtidigt”, säger Sofia Sjöberg till Jobbsafari.

Sofia Sjöberg intervjuas av Fayme Alm

Läs hela artikeln här

Ett återkommande tema på psychometrics har varit jämförelsen mellan mekanisk och klinisk tolkning av testpoäng. Enligt min mening lär sig testanvändare att använda tex personlighetstest på ett felaktigt sätt. Istället för att använda testpoängen, som är validerad, är det upp rekryteraren att själv tolka testpoängen tillsammans med ytterligare information som bedömaren har om kandidaten, sk klinisk tolkning Jag har hört hårresande resonemang från personbedömare där man helt enkelt ska vända på skalor, beroende på situationen (en etta kan ibland tolkas som ett åtta etc etc). Denna aktivitet kallas ofta personbedömning, där bedömaren är den centrala komponenten. Det konstiga är att det är alltid diskussion om testets validitet, aldrig om bedömarens validitet. Nu har en artikel publicerats där det sker jämförelser med vad som händer när bedömaren gör sin tolkning av testpoäng, och det är inte rolig läsning för alla konsulter som tjänar pengar på att lägga sin hand på personlighetsprofiler, detta resultat borde vara en väckarklocka för alla testförsäljare som har fördjupningskurser på sin personlighetsinventorier och kunder som betalar pengar för dessa kurser.

Min uppfattning, sedan många år, är att det är bortkastad tid och bortkastade pengar att använda personlighetstest i bedömningen om man inte helt överlåter tolkningen till en statistisk formel. Att som personbedömare ”tolka” profiler tillsammans med annan information sänker enligt min mening reliabiliteten i bedömningen som i sin tur sänker validiteten. Det är allmänt känt att personlightetstest ungefär ger en validitet runt .20-.30 i urvalssammanhang när uppgiften för personbedömaren är att förutsäga arbetsprestation (Sjöberg, Sjöberg & Näswall, 2012). Det är inte lika hög validitet som intellligenstest, där validiteten för medelkomplexa arbetet ligger runt .60 (Sjöberg, Sjöberg & Näswall, 2012). Men till trots sin relativa låga validitet är det ofta värt att använda ett personligetstest om det tolkas mekaniskt tillsammans med annan information om kandidaten. Däremot vet vi med säkerhet att går bedömaren ifrån den standardiserade testpoängen och ger sin egen tolkning sjunker validietetn dramatiskt (kolla gärna Sjöberg et al, 2014, där har ni viktningen av Big Five och Intelligens).

Nu har det kommit ny forskning som jämför hur en klinisk tolkning fungerar om man använder eller låter bli att använda sig av olika standardiserade metoder. Låt oss titta närmare på en nyligen publicerad meta analys av ämnet personbedömning (Morris, Daisely, Wheeler, & Boyer, 2014). I denna studie jämförs validiteten i personbedömningen när olika instrument ingår som underlag för den sk holistiska, kliniska bedömningen. Sammanfattande kan man säga detta,

Bedömningen blir bättre om man i den kliniska bedömningen inkluderar ett intelligenstest

Bedömningen blir INTE bättre om man i den kliniska bedömningen inkluderar ett personlighetstest (detta ger stöd för ovan resonemang)

Bedömningen blir INTE bättre om man i den kliniska bedömningen inkluderar ett standardiserat sätt att läsa CV

Bedömningen blir INTE bättre om man i den kliniska bedömningen inkluderar en intervju

Nu är det så att i de allra flesta fall jag känner till används således standardiserade metoder på ett felaktigt sätt. Istället för att evidensbaserat tolka testpoängen så slängs det bort enorma resurser på att ”lära” sig tolka bedömningsinformation. När det gäller personlighetstest är det faktiskt så att tendensen är att det blir bara sämre om dessa blandas ihop med annan information med den kliniska metoden. Nedan ser du ett diagram som visar hur du minskar validiteten om du tar med ett standardiserat instrument eller intervju i din kliniska bedömning.

Slutsatsen som författarna drar är

”As such, the consistency of the assessment battery may be less important than the structure of the judgment and information integration process. If assessors are not using information in a consistent fashion, it does not matter if the input is the same” (sid13)

I praktiken betyder detta resultat.

• Använd standardiserade instrument och metoder, men överlåt tolkningen och viktningen av data till en statistisk formel.
• Och naturligtvis, ta alltid med ett intelligenstest i din bedömningen, till och med när du sysslar med klinisk tolkning så funkar det fortfarande.
• Intervjun är klart överskattad
• Som kund kan du sluta betala för den kliniska tolkningen, summera bara ihop dina testpoäng och välj de som har högst poäng.

Referenser

Morris, S.B., Daisley, R.L., Weehler, M., Boyer, P. (2014). A meta analysis of the relationship between individual assessments and job performance. Journal of applied psychology, Online publication.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology, 53, 368–373.

I lördags avslutades ITC i helt magnifika San Sebastian i Spanien. Det har varit intensiva dagar med; alltifrån psykometri (nördar från hela världen pratar statistik) till praktiska diskussioner om testanvändning. Själv hade jag en presentation om assessment center (tolkning av resultat) och en om urval till stridpiloter, samt en paneldiskussion om teststandards. Det har varit några dagar av Intressanta internationella kontakter med forskare och praktiker från Rumänien, Argentina, Brasilien, England och Belgien. Det kanske mest intressanta med denna konferens är att det är så internationell, bland mycket annat har jag pratat med en psykolog som arbetar för Iraks olympiska kommitté, vi diskuterade psykometriska test och urval. Det var också en hel del svenskar här. Bland annat så presenterades det forskningsresultat om det svenska högskoleprovet. Utställningen för testförlag var välbesökt. Thomas International, Hogrefe, Cut-e, CEB (SHL) och Shufreid var några av utställarna. De flesta utställare hade också presentationer på konferensen. Cut-e kunde stoltsera med fyra poster presentationer, detta imponerar. Pearson Assessment presenterade en studie på hur mycket pengar som går att spara om man håller sig till evidensbaserade processer när det gäller rekrytering, samt en presentation om deras test Sosie, mer känd under namnet Gordon i Norden. OPP presenterade resultat från en valideringsstudie av 16PF. Även worskshop dagen var välbesökt, där kunde hugade personer lära sig om alla parametrar i både strukturekvationsmodelering och Item Response Theory. I allmänhet var också intresset för ISO 10667 stort, flera var intresserade av det vi gjort i Sverige och jag berättade naturligtvis stolt vad vi på Henrysson Åkerlund & Sjöberg AB lyckats åstadkomma under det senaste året i form av evidensbaserade arbetssätt. Nu är vi påväg hem efter en sväng i Madrid, har åkt över 100 mil i Spanien under denna visit, mycket vackert landskap och bra motorvägar.

International Test Comission, ITC, håller vartannat år sin återkommande konferens, i år i Spanien, San Sebastian. Runt 600-700 testintresserade personer träffas i San Sebastian för att dryfta tingen. Tidigare ITC-konferenser har varit intressanta, men det här året tycker jag att programmet ser än mer lovande ut. De allra flesta deltagarna är forskare eller representanter från testförlag och/eller konsultverksamheter. De två sistnämnda kategorierna är också representerade i den mycket intressant utställningen. Programmet innehåller traditionsenligt både symposium och posters. Själv kommer jag hålla tre presentationer som jag sammanfattar nedan. Det är en sammanfattning vad jag pysslat med de sista tiden.

_____________________________________________________________________

A good practice example using ISO 10667 to implement mechanical data combination in an assessment center.

Anders Sjöberg & Eva Bergvall

ISO 10667; Assessment service delivery: procedures and methods to assess people in work and organizational settings, is an international standard covering procedures and methods in assessment within a workplace settings. Assessment Center (AC) can be an example of a process description of a method that is included in ISO 10667. AC is designed to measure multiple dimensions (e.g., problem solving and interpersonal skills) and predict future performance on the job. Although AC:s dimensions shows an incremental validity over and above psychometric tests such as cognitive ability and personality, the decision making process is often based on discussion among raters, which in the research literature is called clinical combination of data (Meehl, 1954). For prediction purposes, instead mechanical data combination (e.g., statistical combination of data) has proven superior to clinical combination for a wide range of criteria (Sarbin, 1943; Gough, 1962; Meehl, 1965, 1967; Sawyer, 1966; Goldberg, 1968; Sines, 1970; Dawes et al.,1989; Grove & Meehl, 1996;; Grove, Zald, Lebow, Snitz, & Nelson, 2000) including job performance (Kuncel, Klieger, Connelly, & Ones, 2013), which is the criterion for an AC (Feltham, 1988). However, clinical combination of data is still the predominating approach in practice, AC is no exception (Dilchert & Ones, 2009). Based on research and the formulation in the ISO standard about decision making based on multiple dimensions in a AC:s, this study shows how to implement an Evidence based AC (EAC), using mechanically combined AC ratings to predict managerial performance.

_____________________________________________________________________

Pilot Selection in the Swedish
Air Force: An Incremental Validity studie of Cognitive Ability and Interviews.

Anders Sjöberg & Gerhard Wolgers

Military pilot selection historically has been an area of great research effort due to the enormous cost for each candidates failure in the pilot training (Hunter & Burke, 2002). Research support the use of different types of cognitive tests to predict the future performance of pilots (Martinussen & Torjussen, 1998). However, in practice, the cognitive test is not used in isolation, instead an interview i often conducted with each candidate before the selection decision is made about who is best suited to begin the pilot training. Few studies studies have examined the incremental validity using interview in addition to cognitive tests in pilot selection. The purpose of this study is to evaluate a cognitive test battery along with the scoring of a quasi-structured interview, currently used for pilot selection to the Swedish Air Force. Firstly, to estimate the correlation between the interview and the sum score of the cognitive battery, data from the the Swedish Pilot Selection Database (SPSD, N=899) was used. Secondly, a small-scale meta analysis (k=2; N=699) of primary validation studies was conducted to estimate the correlation between the predictor scores (i.e., cognitive ability and interview) against a criteria of pilot performance collected during the basic training period. Finally, a stepwise regression analyses were conducted to answer the question about incremental validity. Results show that the interview score add 14% incremental validity over the cognitive ability score, while cognitives ability score add 10% incremental validity over the interview score. The utility to use both cognitive tests and interviews in future pilot selection are discussed.

_____________________________________________________________________

Advances in Computer and Internet Testing: Implications for revising the ITC Guidelines

Panel Chair: Dave Bartram, CEB, UK

Panellists: Iain Coyne, University of Nottingham, UK; Ben Hawkes, IBM-Kenexa, UK; Annalisa Rolandi, UTilia, Italy; Anders Sjoberg, University of Stockholm, Sweden; Nancy Tippins, CEB, USA

In July 2005, the ITC launched their International Guidelines for Computer and Internet-based testing. Aimed at test publishers, developers and users, the guidelines have become internationally recognised in highlighting good practice issues in computer-based and Internet-delivered testing and have raised awareness among all stakeholders in the testing process of what constitutes good practice. Although the Guidelines have been well-received and are making an impact both in research and practice, there is recognition that a rapid developing area such as Internet testing requires the need for regular updating of the Guidelines. For example, advances in the use of mobile devices, video game techniques, avatars and online monitoring or proctoring are not fully reflected within the current Guidelines. In addition, since they were published in 2005 we have seen the publication of the ISO Standard (ISO 10667) on Assessment Service Delivery: “Procedures and Methods to Assess People in Work and Organizational settings”. This provides a potential overarching framework within which to locate guidelines focused on more specific assessment issues.

This panel discussion is the starting point for the revision of the Guidelines and will consider issues the revised guidelines need to address. The panellists include the original guidelines’ authors and others, all of whom have expertise in the science and practice of computer-based and Internet delivered testing. They will provide a brief statement of points they see as important and will debate current issues in Internet testing and those likely to emerge in the future. The session will encourage interaction and comment from the audience.

Ultimately, by understanding the issues which need to be incorporated into a set of revised guidelines, the ITC can ensure the guidelines continue to be an internationally recognised resource on best practice.

 

 

 

The International Test Commission (ITC) is an “Association of national psychologicalassociations, test commissions, publishers and other organizations committed to promoting effective testing and assessment policies and to the proper development, evaluation and uses of educational and psychological instruments” (ITC Directory, 2001). The architect of the ITC was Jean Cardinet, who worked on its formation from the mid 1960s until 1972. The ITC was formally established in 1978 under its first president, Ype Poortinga. Currently, the ITC has 20 Full Members (national professional psychological associations), 46 Affiliate Members (other test commissions, publishers and research organizations involved in testing), and over 150 Individual Members (individuals working or with an interest in tests and testing). Its current membership covers most of the Western and Eastern European Countries and North America, as well as some countries in the Middle and Far East, South America and Africa. It is registered as a not-for-profit organization and is affiliated with the IAAP and the IUPsyS.

Svenska Testdagen, som arrangeras av Sveriges HR Förening i samarbete med STP (Stiftelsen för Tillämpad Psykologi) och Sveriges Psykologförbund, gick av stapeln den 3 juni, som vanligt på Operaterrassen i Stockholm. 120 personer deltog som i huvudsak, men inte uteslutande, är praktiker inom det arbets- eller organisationspsykologiska området i Sverige. Detta är forumet där Sveriges elit av testanvändare träffas för att utbyta erfarenheter och lära sig nya saker om testning.

Utställningen

Utställningen i år var ovanligt sparsam med endast 3 utställare! Hogrefe var där, Tiina och Pernilla gjorde reklam för ett av världens mest beforskade personlighetstest, NEO, som kommer som ny version under året. NEO är mycket användbar för evidensbaserat urval då all forskning kring B5 kretsar just kring NEO:s kategorisering av både de breda faktorerna och dess facetter. Assessio satsar under hösten på att lansera sin nya digitala plattform, Astrid, berättade Johan Östlin. Den bygger på att modern psykometri möter modern IT utveckling. Mycket spännande då det ryktas att Assessio har satsat mycket på denna plattform, bra test har ju Assessio sedan tidigare (inte helt objektiv här, jag vet). Masters VD Jens Aggerborg promotade sin web-lösning med olika möjligheter att öka effektiviteten i organisationen med standardiserade lösningar. Masters representanter uppmanade också sina uppdragsgivare att vara tydligare med målet med bedömningen när de kontaktar Master och andra leverantörer av standardiserade lösningar. Tack till de få men ack så duktiga utställare, jag hoppas att fler leverantörer dyker upp nästa år.

Presentationer

Temat för dagen var ”Urval i takt med tiden” och efter inledning av Lena Kraitsik (generalsekreterare Sveriges HR Förening) och Anders Wahlberg (förbundsordförande) tog dagens moderatorer Henrik Johansson (IHPU) och Sara Henrysson-Eidvall (Henrysson, Åkerlund & Sjöberg AB) över och inledde dagens program. Sara och Henrik ledde oss alla genom dagen med en fast hand, de var superduktiga, bli inte förvånade om de dyker upp i TV-rutan snart, varför inte ett program om psykometri.

Sara Henrysson-Eidvall (Henrysson, Åkerlund & Sjöberg AB) inledde med att prata om personlighetsmodellen ”the Big Five” och dess särställning inom personlighetsmätning. Sara redogjorde ingående på ett levande sätt hur alla fem dimensionerna (Målmedvetenhet, Neuroticism, Sympatiskhet, Extraversion, Extraversion, samt Öppenhet) påverkar vårt beteende, vi fick också höra om vilka 30 facetter som samvarierar med arbetsprestation. Som utgångspunkt har hon färsk forskning att stödja sig mot. Sara läser i snitt en bok i veckan om evidensbaserade metoder, hon har hjärnkoll vad som gäller och det är fantastiskt att hon delar med sig av sin kunskap så fort man frågar.

Nästa talare var ingen mindre än Håkan Nyman, mycket känd specialist inom neuropsykologi, typ superbäst. Håkan berättade att han använder magkänsla vid urval, men intygade med kraft att det har fungerat väldigt bra samtidigt var han snabb att konstatera att intelligens har den högsta prediktiva kraften vad gäller arbetsprestation. Håkan berättade om den ärftliga komponenten i både intelligens och personlighet och noterade att om alla var likadana skulle vi utplåna varandra. Håkan visade att hjärnan utvecklas i kombination med omgivningsfaktorer, upplevelser under barndomen och att nervsystemet, och redogjorde för hjärnans fundamentala funktioner såsom vakenhet, uppmärksamhet, aktivering, affektiva system och hur de kan påverka beteenden på arbetet. Håkan pratade sedan om hur skador på dessa funktioner kan påverka beteenden på arbetet, t ex att man tröttnar fort, man kan bli känslomässig labil, ha svårt att ställa om, bli rastlöshet snabbt, och bli hyperaktiv.

Skador kan också leda till svårigheter med att tolka information vilket leder till missförstånd, man kan ha svårt lära in nytt, svårt att komma ihåg, svårt att hitta ord, och svårt att hitta vägen. Även om hjärnan skadas kan personen ha kvar sin metakognition, den finns där men kan inte plockas fram automatisk när den behövs. Håkan noterade att denna typ av signaler inte bara misstolkas av personer i omgivningen utan att de också ofta misstolkas av personen själv. Slutpoängen med Håkans anförande är att även personer med en ojämn begåvningsprofil kan vara väl fungerande i arbetslivet, givet att omgivningen stöttar och kompenserar individens svårigheter, men att den neuropsykologiska modellen inte har en självklar position inom urvalspsykologi. Kloka ord, har själv granskat några forskningsartiklar för publicering inom området, och håller med Håkan, det är viktigt att reda ut vad syftet är med testning, och man bör vara försiktig att generalisera resultat mellan urvals- och neuropsykologiska området. Mer forskning behövs.

Näst på tur var Sofia Sjöberg, som pratade om sin avhandling, Utilizing research in the practice of personnel selection – General mental ability, personality and job performance. I huvudsak berördes den prediktiva validiteten för arbetsprestation, korrigerad enligt ny metodologi, den fortsatta särställningen för intelligens jämfört med personlighet, och målmedvetenhetsfaktorns särställning inom personlighet. Sofia avhandling visar att den mekaniska tolkningen kontra den kliniska tolkningen av bedömningsresultat är överlägsen, Med andra ord, när vi överlåter tolkningen till en person att subjektivt tolka resultatet av personbedömningen (istället för att ha en förutbestämd poängsättning av samma kunskaper, begåvning, personlighet etc) förloras upp till hälften av förmågan att plocka ut rätt person till jobbet. I avhandlingen har Sofia räknat på hur mycket pengar det är att tjäna på att införa den mekaniska tolkningen istället för den kliniska, i en urvalssituation med 100 sökande och 30 som ska plockas ut kan det handla om ca 4 miljoner på ett år. Sofia påpekade efter detta, att då har vi ändå inte berört kostnaden för den kliniska tolkningen i jämförelse med den mekaniska, där den kliniska tolkningen alltid är dyrare. Den kliniska tolkningen tar längre tid och kostar därför betydlig mer i jämförelse med en statistisk formel. Sofia var naturligtvis, som vanligt glasklar i sin presentation, och fick mycket beröm efter seminariet (av fler än mig, faktiskt).

Som en naturlig följd av Sofias resonemang var den efterföljande talaren  Kristina Langhammer från Södertörns högskola som berättade om resultaten i sin avhandling, Employee selection: Mechanisms behind practitioners’ preference for hiring practices, gällande vilka metoder och processer som föredras vid rekrytering och urval. Kristina har undersökt varför det finns ett sådant motstånd till att frångå magkänslan bland rekryterare. Preferens för ostandardiserade verktyg och klinisk sammanvägning av resultat var kopplat till övertro på egna förmågan som personbedömare, dvs tron på att man som rekryterare har en unik kompetens att bedöma andra människor, och äldre outbildade män verkar var de som tror mest på det här med magkänsla. Kristina problematiserade detta sedan vidare genom att ge exempel på vad som skulle hända om andra grupper som tex läkare skulle lita på sin magkänsla, istället för att kontrollera sitt testresultat, och sedan ta beslut på detta resultatet och inte sin egen känsla. Kristina som är omtyckt lärare både på södertörn och stockholms universitet fick beröm av publiken, och många kom efteråt och ville ha hennes avhandling.

Sedan var det jag (Anders Sjöberg) och Eva Bergvall som i ca 15 minuter talade om STP:s verksamhet, och att testgranskning och testanvändarcertfiering fortsätter som vanligt. Vi gav också en uppmaning till uppdragsgivare och leverentörer att bena ut vem som har ansvar för vad i upphandlingen av psykologiska test, och att för att få en ännu bättre urvalsprocess måste detta samarbete intensifieras och fördjupas över tid.

Näst på tur var Gerhard Wolgers från Försvarsmakten som berättade om Försvarsmaktens HR centrum och stridspiloturvalet. Gerhard började med att visa vad en pilot ska kunna göra. När Gerhard, mycket verklighetstroget ,berättade om vilka enorma påfrestningar stridspiloter kan ställas inför, var det helt tyst i salen. Dessa påfrestningar, ställer naturligtvis stora krav på en gedigen urvalsprocess, där försvarsmakten i allmänhet, och i synnerhet i piloturvalet har den mest gedigna urvalsprocessen i Sverige. Många organisationer kan lära sig av försvaret hur den stegvisa processen kan tillämpas. Gerhard redogjorde för varje steg i processen som i nuvarande form funnit sedan 70-talet. Han kunde också visa på resultat att detta effektiviserat urvalet. Innan en person får börja på denna utbildning får genomgå ca 20 psykologiska test, delta i fyra intervjuer och två tuffa hälsokontroller som avslutas med att utsätta kroppen för en sk humancentrifug! som ingen i publiken anmälde sig frivilligt att testa. Gerhard var tydlig att påpeka att denna gedigna process kan bli bättre och att en kommande ISO certifiering kan vara ett led i denna process.

Sara Svedlund och Tony Ullgren från Göteborgs stad berättade hur de arbetar med sitt Assessment Center inom ramen för Center för LedarUtveckling (CLU’s) verksamhet. Först fick vi veta hur viktigt där är att gör ett bra urvalsarbete, eftersom de chefer som rekommenderas av CLU påverkar alla Göteborgs invånare, och det är många. CLU redogjorde för hur de arbetat med att ta fram dimensioner, kriterier, för ett framgångsrikt ledarskap, vilka metoder (begåvningstest samt Assessment Center övningar) de använder, hur bedömningen av övningar går till och till slut hur sammanvägningen av all information går till. På ett mycket konkret sätt visade Sara och Tony hur de med ett vetenskapligt förfaringsätt tagit fram en rational för hur de dimensioner som mäts i övningarna, inte bara sinsemellan samvarierar, utan också hur dessa poäng ska vägas samman med en intelligenspoäng för att nå maximal produktiv kraft. Således har CLU tagit steget från den kliniska tolkningen till den mekaniska. Sara och Tony uttryckte att detta inte är utan problem, inte minst i relationen med kunderna (beslutande chefer). De menade att få beslutsfattare förstår den mekaniska tolkningen och dess rangordning av kandidater, istället litar cheferna på sin egen magkänsla. Därför bör det göras utvärderingar om cheferna verkligen tar de rekommendationer som CLU gör. Sara och Tony (och hela CLU) framstår som pionjärer inom området, inte minst för att de idag är den enda organisationen som i Sverige är certifierade enligt ISO 10667. Mycket tack vare ett gediget arbete av CLU under många år lett av leg psykolog Eva Bergvall. Alla som jobbar på CLU är är naturligtvis certifierade testanvändare enlig STP:s kriterier. Och de är jätteduktiga, tycker jag.

Per Erik Lyrén, institutionen för beteendevetenskapliga mätningar i Umeå, berättade om ”nya” Högskoleprovet. Högskoleprovet (HP) är förmodligen det psykologiska test som har störst betydelse för personer i Sverige. Det är ofta över 50,000 personer som genomför proven vid varje skrivning, proven som sker på våren kan ha mer än 65,000 anmälda! (Schysst att räkna på). Högskoleprovet är ett studiefärdighetsprov. Provet mäter kunskaper och färdigheter som är viktiga i alla universitets- och högskoleutbildningar. Ett resultat på högskoleprovet ger ett mått på förmågan att klara av högre studier. Det verbala blocket testar din ordkunskap, läsförståelse och allmänna språkkunskaper. Det kvantitativa blocket testar matematikkunskaper samt din förmåga att genomföra statistiska och jämförande analyser.

En av de som utvecklade HP från första början var Sten Henrysson (Sara Henryssons Pappa, hmm kan man tänka sig att pappa påverkat yrkesvalet), en av Sveriges ledande psykometriker under många år. Således har Per Erik en ytterst viktig uppgift att belägga ”nya” HP:s validitet och reliabilitet. Glädjande kunde Per Erik visa att HP har mycket goda psykometriska egenskaper, det som kan visas idag är först och främst träffsäkerheten. Per Erik kunde också bekräfta det höga sambandet mellan intelligenspoäng och poäng på HP, således mäter HP en del av vår intelligens. Nästa steg, enligt Per Erik, blir att ta tag i kriterievaliditeten, dvs hur väl HP verkligen förutsäger studieframgång. Sammantaget, en mycket bra presentation, som visar vikten av att vi i Sverige har god psykometrisk kunskap när vi väljer ut våra kommande talanger inom den akademiska världen. Personligen tror jag att HP:s psykometriska uppbyggnad kommer få större betydelse i framtiden då betygssystemet i Sverige idag inte bygger på sund vetenskap, Per Erik & Co kommer ha fullt upp i många år framöver, jag lovar.

Sist ut var John Airaksinen, VD för Psykologifabriken, som berättade om hur man kan ha sin coach i mobilen. John kunde på ett träffsäkert sätt tala om för oss att det är svårt att ändra våra beteenden (en stor suck från publiken). Själva poängen här är att ta hjälp av evidensbaserad forskning på området, med enkla appar kan vi få bekräftelse på att vi är på rätt väg. John uppmanade publiken att sända iväg ett SMS till någon som gjort något bra senaste dagarna, inte bara för att berömma dessa människor, utan framförallt känna denna positiva affekt när man gör något bra för en annan person (positiv psykologi, tror jag det heter). Den nya teknologin som byggs in i morgondagen IT system gör det möjligt att nyttja vetenskapens senaste rön om kognitiv beteendeterapi, detta är förmodligen bara början på en möjlighet för kommande träning på jobbet, mao, adjö till ledarskapskurser på slott, nu gäller ”on the job training”

Avslutningsvis tackades publiken och moderatorerna av den alltid så glada och alltid lika trevliga Hanna Hesser Nordin, Sveriges HR Förening, som varit projektledare för testdagen. Hanna och Lena står för ett proffsigt arbetssätt, en bra rekrytering helt enkelt av HR föreningen.

 

Imorgon äger testdagen rum anordnad av Psykologförbundet och Sveriges HR förening, som vanligt är det på operaterassen som ca 100 besökare kan ta del av det senaste inom den psykologiska testvärlden. Här kommer några smakbitar från programmet

Femfaktormodellen, FFM, den moderna personlighetsteorin.

Neuropsykologi i urvalsprocessen – tillskott eller ej?

Två alldeles nya avhandlingar om urval.

Att upphandla Test, vad ska man tänka på?

Hur gör vi evidenbaserade bedömningar av chefer i Göteborgs Stad?

Urval till högre utbildning– utveckling och erfarenheter av högskoleprovet.

Den digitala coachen i mobilen.

En ny bok om psykologi på jobbet har kommit ut, i den skrivs bland mycket annat, om rekrytering och urval. Språket är trevligt och det är till för praktiker skriven av både forskare och praktiker. Jag välkomnar svenska författare att skriva om urval och mycket i avsnittet om rekrytering är evidensbaserat, men ibland rör författarna till det. Nedan kommer en förklaring vad forskningen säger om kompetensmodeller, personlighet och intelligens.

Under rubriken ”vad är kompetens” (i kapitel 6) nämns att det är svårt att definiera kompetens, sedan avfärdas den formella kompetensen (formell utbildning etc). Istället definieras kompetens som ”…mer med en individs personlighet att göra” (sid 131).

Här blir det krångligt att förstå, mer än vaddå? Är det så att den formella kompetensen kommer först och sedan kommer något mer, typ personlighet?

Vad säger då en av världens främsta forskare (Kenneth Pearlma) på området om definitionen av kompetensmodeller om det är ”mer än…).

”The difficulty with such a definition is that it lump together in a single construct attributes representing vastly different domains, characteristics, and level of analysis, which limits its value conceptually (Clouseau-like, it means everything, therefore it means nothing) and practically (as useful or measurable descriptor or unit of analysis in work analysis). (Pearlman & Sanchez, 2010, page 91).

Sedan krånglar författarna in sig i ett resonemang om intelligens (begåvning).

”Den generella begåvningen har visat sig relevant för framgångar inom många yrkesområden och i synnerhet komplexa yrkesroller och ledarbefattningar. Det som blivit tydligt är att det är de personer som ligger under genomsnittet som lyckas sämre i arbetslivet; däremot har man inte generellt kunnat konstatera att de som ligger över genomsnittet nödvändigtvis lyckas bättre än de som ligger på medel” (sid 132).

Sedan kommer en rekommendation att använda cut off poäng på begåvningstest, och författarna avsluta resonemanget

”det handlar inte om att ju mer begåvad en person är, desto mer framgångsrik blir vederbörande som chef, utan snarare att ett gott ledarskap blir svårare att utföra om personen inte är minst genomsnittligt begåvad” (sid 132-133).

I texten finns inte mindre än tre kriterier, lyckas i arbetslivet, framgångsrik i arbetslivet och ledarskap. För att fullt upp förstå vad författarna menar bör i alla fall framgångsrik i arbetslivet skiljas från ledarskap. Men om vi använder ett komposit av detta som en kontinuerlig variabel, typ arbetsprestation som kan variera från dålig prestation till bra prestation.

Vad säger då forskningen om komplexitet

”In addition, the validity of general mental ability tends to increase with job complexity: general mental ability predicts low-complexity jobs in the 0.20s, medium-complexity jobs in the 0.50s, and high-complexity jobs in the 0.70s. Demographics such as ethnicity and gender as well as organizational, national, and cultural settings have not been found to moderate the relationship between general mental ability and job performance” (Sjöberg, 2014, page 23).

Så vad forskning egentligen säger är att även för låg-komplexa arbetsuppgifter fungerar begåvningstest, många gånger bättre än personlighetstest, alltså kompetens om jag tolkar texten rätt.

Vad säger då forskningen om att använda cut off värden (gränsvärden för begåvning).

”The assertion here is that while tests may have value in screening out those with very low levels of ability, increments in ability do not lead to increments in performance for those above a threshold. As such, it is not appropriate to prefer high-scoring individuals over lower-scoring individuals once this threshold is reached. However, there is strong evidence that higher test scores are associated with higher criterion scores throughout the test score range……… Overall, these findings show that throughout the entire test score distribution, one would expect higher performance (Sackett, Borneman, and Connelly, 2008, page 221).

Jag hoppas två saker, att ovan nämnda inte lärs ut på högskolor-universitet, och att författarna ändrar detta i kommande omtryck av boken. Kommer min förhoppningar att uppfyllas, jag tror NOT.

Vill du läsa mer om en evidensbaserad syn på dessa frågor kolla in dessa

Pearlman, K., & Sanchez, J.I. (2010). Work analysis. In J.L. Farr and Nancy N.T Tippins (Eds.), Handbook of Personnel Employee Selection (pp. 73–94). New York, US: Routledge.

Sjöberg, S (2014). Utilizing research in the practice of personnel selection: General mental ability, personality, and job performance. Doctoral Thesis in psychology at Stockholm university.

Sackett, P., Borneman, M.J., & Connelly, B.S. (2008). High-Stakes Testing in Higher Education and Employment. Appraising the Evidence for Validity and Fairness. American Psychologist, 63, 215–227

 

Imorgon startar SIOP, världens främsta konferens avseende bedömningstjänster i arbetslivet. På plats är mina kollegor Henrysson & Åkerlund, Sjöberg kommer bevaka det på hemmaplan med kommentarer om nya forskningsfynd. Twitter från Henrysson & Åkerlund kan ni följa på vår hemsida. Själv kommer jag särskilt intressera mig för nya rön inom personlighetstestning avseende psykopatiska drag och kontextualiserade personlighetstest. Nya spännande resultat om personlighetsfaktorn målmedvetenhet kommer att presenteras de närmaste dagarna. Psychometrics kommer också bevaka situationsbaserade test som verkar vara av intresse på den svenska testmarknaden, och naturligtvis nya rön som om intelligenstestning. Vi hörs snart.