Psychometrics Sweden & Assessment Engine

Både tid och pengar läggs på att göra kravprofiler vid rekrytering. Ett sätt att spara både tid och pengar är att använda O*NET. O*NET är en gratistjänst där varje kravprofil delas upp i kunskaper och förmågor som krävs för varje yrke i den amerikanska ekonomin.

Forskning pågår ständigt för att uppdatera profiler på O*NET. Nu släpps den nya databasen med över 900 olika yrken, 17.0 database. Att använda O*NET sparar både  tid och pengar för dig som arbetar med kravprofiler och kompetensmodeller. Istället för att subjektivt göra nya kravprofiler för varje ny rekrytering är det bara att söka på O*NET och få fram en färdig kravprofil för din rekrytering, och det bästa är att det är evidensbaserat.

Anders Sjöberg

Personlighetstestning är flitigt använt inom rekrytering trots mager validitet, endast runt 30% samvariation finns mellan B5 och arbetsprestation. Nu visar ny forskning att personlighet är underskattat som prediktor till prestation särkilt när endast traditionella självrapporterande personlighetstest används. Om andra personer skattar personligheteten och om personlighetstestet kontextualiseras så kan validiten höjas, inte i nivå med intelligens förstås, men ändå så pass mycket att det kan bli bättre urvalsbeslut.

Självrapporterande personlighetstest är det i särklass mest använda psykometriska testet på marknaden trots den begränsade validiteten. Nu har forskning visat att andras observationer av personligheten har större prediktiv förmåga att förutsäga arbetsprestation i jämförelse med självrapporterande personlighet. Den självrapporterande personligheten kan definieras som individens identitet medan den observerade skattningen av en person kan definieras som ryktet indviden har, och det är tydligen ryktet som betyder mer i urvalssammanhang.

Precis publicerad forskning har också visat att kontextualiserade personlighetstest (självrapporterad) har en större förmåga att förutsäga arbetsprestation i jämförelse med ett allmänt hållet personlighetstest. När den senaste meta- analysen av den operationella validitetet mellan personlighet och arbetsprestation jämförde de studier som använde allmänt hållna personlighetstest (exempel, jag är en målmedveten person) med studier som använde arbetskontextualiserade item (exempel, jag är en målmedveten person på arbetet) så fann forskarna att testen som använde kontexteualiserade item arbete var mer valida.

Sålunda kan man nu jämföra den operationella validiteten i självrapporterande test (Personlighet allmänn) självrapporterande test (Personlighet arbetssammanhang) och observerad personlighet (andras bedömning av personlighet). Som ni ser i figuren (ES, stabilitet; E, extraversion, A, Vänlighet; O, Öppenhet; C, Målmedvetenhet) är det avsevärt högre samband för både den observerade personligheten och den kontextualiserade personlighetsmätningen. Särskilt den kontextualiserade personligheten framstår som överlägsen.

En mängd praktiska problem återstår att lösa, men detta är något att tänka på;  hur man frågar och vem som bedömer personligheten är avgörande för kvaliteten i urvalsbeslutet.

Referenser för er som vill läsa mer

Connelly, B. S. & Ones, D. S. (2010). Another perspective on personality: Meta-analytic integration of observers’ accuracy and predictive validity. Psychological Bulletin, 136 (6), 1092–1122.

Shaffer, J. SA. & Postletwhaite, B. E. (2012). A matter of context: A meta-analytic investigation of the relative validity of contextualized of noncontextualized personality measure. Personnel Psychology, 65, (3), 445–493.

Jakob Andrén är gästkrönikör på Personal & Ledarskap, han beskriver hur statistik ersätter magkänsla. Jakob skriver bland annat att personer i näringslivet tycker att den personliga fingertoppskänslan är viktig vid urvalsarbete. 

Jakob vet vad han pratar om när det gäller att praktisera statistiska formler vid urvalsarbete. Jag hade förmånen att få arbeta med Jakob för några år sedan i ett stort rekryteringuppdrag. Jakob designade hela den mekaninska processen bakom urvalsarbetet och uppskattningsvis förbättrades urvalsarbetetet 100%, det blev både ekonomiskt försvarbart och mer effektivt för organisationen i jämförels att gå på magkänslan. Inte helt okontroversiellt var det för Jakob att driva den processen, vilket också har paralleller med filmen Moneyball som Jakob skriver om i sitt inlägg (Hyr filmen idag om du inte redan sett den). I slutet av filmen Moneyball beskriver en av de stora maktahavarna i USA:s Baseboll att de lag som inte tillämpar mekanisk tolkning av information för att ta ut de bästa spelarna kommer dö ut inom de närmaste åren. Idag tillämpar alla basebollag i USA mekaniska tolkning vid urval, men hur står det till med rekryteringsbranschen i Sverige? Dags att byta taktik?

Anders Sjöberg

 

Den internationella organisationen European Association of Test Publishers (E-ATP) höll i förra veckan (12-14 september) sin årliga konferens på Hotel Concorde i Berlin. Cicek Svensson, Head of International Operations at Assessio Solutions AB, rapporterar från konferensen.

E-ATP är en ideell verksamhet som representerar testförlag, testinstrument och tjänster för utbildning, rekrytering, certifiering samt klinisk verksamhet. Konferensens sponsorer var bl.a. Cito, Prometric, OPP, Assessio,  Comms Multilingual, Pearson och GMAC. Deltagarna var främst från Europa och USA men även andra delar av världen var representerade. Under tre dagar presenterades ett intensivt program med seminarier, produktdemonstrationer samt diskussionsgrupper. Programmet tog upp följande teman:

1. Innovations in Assessment: Interaktiva möjligheter för att dela nya applikationer, teknik eller test design, som var och en riktar sig till en specific kund eller marknad.

2. Operational Best Practices: Presentation av best practices genom olika fallstudier där värdet av professionella standards demonstreras.

3. Meeting the Challenges of Testing in Europe: Genom fallstudier påvisa hur kulturella, språkliga, nationella och reglerade utmaningar effektivt har överkommits genom implementering av effektiva assessment program.

4. The People Behind the Assessments: Uppmuntrar de inom och bortom Europa att dela med sig av sina erfarenheter inom utveckling av testprogram för utbildning, rekrytering och andra sektorer inom testindustrin.

Här kommer ett kort sammandrag av de två keynote speakers som var huvudattraktionerna på konferensen.

Attracting, Acquiring and Developing Talent for the United Nations – Marta Lopez Director, Strategic Planning and Staffing, Division of OHRM, United Nations

Marta Lopez tog upp problematiken kring Förenta Nationernas rekryteringsprocess. De största problemområden täckte den sociala, kulturella samt politiska effektiviseringen i rekryteringsprocessen; att se till att FN blir en attraktiv arbetsgivare samtidigt som man anställer och utvecklar rätt personer som ska möta de utmaningar som finns i en tid där ekonomin är stram. Utmaningen ligger också i att kunna identifiera de rätta talangerna som också är tillräckligt intresserade och engagerade för de tjänsterna. Svaret för dessa utmaningar är att hitta en innovativ employer branding, den rätta teknologin som innefattar sociala medier samt implementera allt detta genom att använda rätt typ av assessments.

The Opportunity for Technology – Martin Bean Vice-Chancellor, The Open University.

Martin Beans föreläsning fokuserade på utmaningen att överföra omfattande information till meningsfull kunskap vilket är det traditionella tillvägagångssättet som tillämpas på universitet. Dock har universiteten problem med att kunna använda och distribuera media som möjliggör att informationen blir effektivt granskad och kommunicerad. I dagens samhälle behöver de flesta institutioner skapa en rikare inlärningsupplevelse som väcker studenternas intresse, då de flesta har aldrig känt till en värld utan internet, mobiltelefoner och sms. Bean demonstrerade den nya teknologin som The Open University använder för att skapa personliga och relevanta sätt att lära sig nya saker, som i sin tur ska skapa en bro mellan den informella inlärningen och den strukturerade.

En vanlig sammanbladning av argument kring personlighetens betydelse vid urval är att inte skilja på teoretiska uttalanden som att ”personlighet har stor betydelse vid urval” som praktiska argument som ”användningen av personlighetstest bör ha stor betydelse vid urval”. Men är det inte samma sak tänker du?

Nej det är det inte, det första teoretiska påståendet antar att det inte finns några mätfel i varken personlighet eller i kriteriet arbetsprestation, detta är naturlitvis inte sant. Vi har en mängd slumpfel och systematiska fel som underskattar personlighetens betydelse, detta går att korrigera för i forskningen som undersöker det ”sanna” sambandet mellan personlighet och arbetsprestation.

Men som praktiker har det tyvärr inte någon som helst betydelse, det du har framför dig när du ska fatta beslut om en individs personlighet är ibland fullt av massa fel, och det får du leva med. Det är därför man skiljer på tre olika typer av samband, det obeserverade (det samband som inte är korrigerat för några mätfel), det teoretiska (som är korrigerat för mätfel) och det operationella (det praktiska sambandet som inte är korrigerat för mätfel i personlighet, men korrigerat för mätfel i kriteriet), det är sambandet som praktiker ska titta på. Så förmodligen är sambandet mellan personlighet och arbetsprestation underskattat många gånger, jomenvisst, men tyvärr är personlighetstestning förknippat med en mängd mätfel som vi inte kan göra något åt.

Nu kan dock forskning visa på att det går att ”förbättra” den praktiska användningen av personlighetstest, eller åtminstone visar forskning att den operationella ”validiten” går att höja ganska dramatiskt om man ändrar lite på vissa saker. Det kommer vi berätta mer om här på Psychometrics snart, men skilj då på vilken typ av validitet vi pratar om här, DEN PRAKTISKA VALIDITETEN. Vi kan då en gång för alla kasta bort den gamla föråldriga  synen på validitet som något som vi har om vi kan säga att ”det vi mäter är det vi avser att mäta”, eftersom vi aldrig kan vara säkra på det och det finns inte någon gradering av hur säkra vi är på det, så är det ett cirkelresonemang som ändå ingen förstår vad man ska ha till. Den praktiska valditeten talar istället om hur bra din personlighetstestning är för att förutsäga arbetsprestation.

Genom ett unikt samarbete mellan Hogrefe och Alumni kommer gårdagens begåvningstest komma till användning i dagens arbetsliv. Det är det gamla testet Delta-Batteriet som nu finns i utprövningsversion, Alumni är nu först ut att pröva det nya testet.

Vid Stockholms högskola inrättades från 1937 Institutet för psykologi och pedagogik. 1944 blev institutet formellt fristående från högskoleinstitutionen med namnet Stockholms högskolas institut för praktisk psykologi. Institutet upplöstes 1980.

Ett test som utvecklades under PTI:s ledning var Deltabatteriet (Börjesson, Gamberale, Kihlman & Santesson, 1970). Deltabatteriet är ett intelligenstest som utvecklades för att administreras individuellt och i grupp. De ingående deltesten bygger på den dåvarande teoretiska utgångspunkten att de olika delarna mäter av varandra oberoende faktorer, den sk faktorteorin. Den ursprungliga versionen av Deltabatteriet består av 12 deltest. Nu har preliminära statistiska analyser slutförts på samma data som samlades in på 1969! Dessa analyser har utmynnat i en utprövningsversion. Förhoppningsvis kommer Alumnis och Hogrefes samarbete leda till ett av de vassaste intelligenstesten på marknaden

Naturligtvis kommer Psychometrics berätta mer om detta de kommande veckorna.

Trevlig helg

Anders

Referens

Deltabatteriet. (1970) Stockholm: Psykologiförlaget AB.

I gårdagen Metro (2012-09-10)  beskrivs intagningen till polishögskolan där både begåvningstest och medicinsk kontroll ingår som tuffast i Sverige. Under ett helt år testas dina kunskaper, din fysik och framförallt – personlighet, skriver Metro. Frågan är om antagningsprocessen verkligen tar ut det bäst lämpade personerna för att bli poliser?

I stora drag består bedömningen av dessa metoder, medicinsk/fysisk undersökning, begåvningstestning och intervjuer (av polis och psykolog). Men vad spelar det för roll hur du som kandidat presterar på dessa test? På den fysiska delen finns det tydliga gränser för hur du ska klara dessa test och du ska vara medicinskt vara frisk. Återstår sedan är begåvningstestningen och intervjuer. I en uppföljning av polisurvalet 2004 skriver Elisabeth Lilie och Börje Rosmark i sin utmärkta rapport från 2003 att den slutliga lämplighetsbedömningen till 85% kan förklaras av intervjuerna och till 4,4% av begåvningestningen. Det är således inte begåvningsaspekten som vägs in i antagninsgprocessen, det är de ”tuffa intervjuerna” med psykologer och poliser som avgör om du kan bli Polis.

Detta ställer naturligtvis väldigt höga krav på psykologers och polisers förmåga att utföra dessa intervjuer. Vi vet från forskning att begåvningstestning har en validitet på .65 i medelkomplexa arbeten, att väga in begåvningstestningen till 4,4% ter sig därför gå rakt mot vad forskningsresultat säger, särskilt bör det undersökas vad frågor om ”etik och moral” har för förutsägande kraft i jämförelse med allmän problemlösningsförmåga? En annan fråga är också varför Polisen adminstrerar ett test som sedan inte används som beslutsunderlag, det är både kostsamt och onödigt att utsätta kandidaterna för detta. Istället kan Polisen snegla på hur läkare väljs ut; på vissa läkarutbildningar har samma typ av test fungerat som ett sätt att plocka ut de personer som sedan får genomgå en en intervju med psykolog och läkare innan antagningen (de som har haft bäst på begåvningstestet får komma på intervju. Både ekonomiskt rätt och evidensbaserat, men så verkar det inte fungera hos Polisen.

Referens

Metro 2012-09-10. Tuffast att komma in på Polishögskolan. http://allastudier.se/artiklar/902-nu-startar-sveriges-tuffaste-antagning/

Lillie, E & Rosmark, B. (2004). Att hitta rätt polis. Rapport 10 i pliktverkets rapportserie.

Information om kandidater som söker ett arbete kan vägas ihop av rekryterare på två olika sätt. Väljer man intuitiv tolkning, även kallad magkänsla eller helhetsbedömning, så försämras den prediktiva förmågan med upp till 50%. Detta resultat presenterades redan 2008 på en konferens i USA.

Det har länge varit känt att den mekaniska tolkningen är överlägsen den intuitiva tolkningen på en mängd olika områden inom den kliniska psykologin, dock är forskningsresultaten få om vilka konskekvenser det blir av att de allra flesta fortsätter att använda den intuitiva helhetsbedömningen inom urval och rekrytering.

Nu finns det forskningsresultat som sammanställts för att göra jämförelse mellan den mekaniska och intuitiva modellen vad gäller förmågan att förutsäga prestation på arbetet. Det är forskarna Nathan R. Kuncel, David M. Klieger, Brian S. Connelly och Deniz S. Ones som redan 2008 redovisade resultat på Society of Industrial and Organizational Psychology (SIOP). När resultatet från över 1000 bedömningar som gjorts avseende förmågan att förutsäga bla arbetsprestation fann forskarna att den intuitiva tolkningen gör så att ca 30-50% av den prediktiva kraften förloras. Med andra ord, när vi överlåter tolkningen till en expert att subjektivt tolka resultatet av en personbedömning (istället för att ha en förutbestämd poängsättning av samma förmågor) förloras upp till hälften av förmågan att plocka ut rätt person till jobbet.

Omsatt till begåvningstestning i en urvalssituation kan det konstateras oddsen är 7 gånger större att du träffar rätt om du håller dig till den mekaniska tolkningen (tar den som har högst poäng). Om du istället  i jämförelse, på subjektiva grunder, blandar in ”annan väsentlig information” så sänker du oddset till i gynsamma fall 3. I diskussionen säger forskarna att trots att experterna som gjorde den intuitiva tolkningen hade mer information än det som vägdes ihop i den mekaniska tolkningen sjunker oddsen till samma låga nivåer.  Det är inte bra och då har vi ändå inte berört kostnaden för den intuitiva tolkningen i jämförelse med den mekaniska. Frågan är vad du betalar för när du beställer en personbedömning? Detta är något som urvalsgruppen ska undersöka vidare, vi återkommer i frågan.

Referens

Kuncel, N. R., Klieger, D., Connelly, B., S. & Ones, D. S. (2008, April). Mechanical versus clinical dat combination in I/O psychology. In I. H. Kwaske (Chair), Individual Assessment: Does the research support the practice? Paper presented at the annual meeting for the Society for Industrial and Organizational Psychologists, San Francisco, CA.

Not. Ett speciellt tack till Sara Henrysson-Eidvall som grävt upp denna information. Studien är inte publicerad i vetenskaplig tidsskrift så resultatet får anses som preliminärt.

Anders Sjöberg

Nedan kommenterar Malin Holm den tveksamhet som framförts avseende användningen av Wartegg som urvalsmetod.

Vilket scoringsystem man använder är naturligtvis av avgörande betydelse, och där står också Warteggmetoden vid ett lika avgörande vägskäl.

Ursprungsmannens Ehrigg Wartegg bidrag begränsas numera till att handla om det omsorgsfulla urvalsarbete han gjorde med att ta fram stimulustecken, medan hans teori såväl som scoring blivit både svårtillgängliga och otidsenliga.

Sedan 1983, under nästan 30 år, har Alessandro Crisi (psykolog och universitetslektor i klinisk bedömning vid Roms universitet ”La Sapienzia”) utvecklat en strukturerad metod för kodning och analys av Wartegg. Precis som Rorschachtestet genomgick många olika utvecklingsfaser fram till att John Exner i slutet av 60-talet gjorde sitt omfattande arbete för att standardisera och validera scoringen av Rorschach Comprehensive System (RCS), vilket också möjliggjort all den vidare forskning som det testet genomgått, har Crisi Wartegg System (CWS) öppnat helt nya möjligheter inom detta område för Warteggtestet.

I en jämförande studie mellan CWS och de psykologiska tester som används för urval till marinens sjökrigsskola i Livorno visade en mycket hög överensstämmelse mellan CWS och MMPI-2 och mellan CWS och Guilford-Zimmermann (Crisi, A. 2010) och CWS används sedan 2002 kontinuerligt som ett urvalsinstrument av den italienska armén och flottan. CWS är lämpligt för gruppadministration och ger en grundlig utvärdering av många personlighetsaspekter. Scoringen är strukturerad och CWS innehåller programvara för utvärdering, urvalsversion eller klinisk version, och tar relativt kort tid att administrera, bedöma och tolka. CWS har många paralleller med Rorschach CS, bland annat erhålls genom scoringen ett antal index där ett av de viktigaste är grad av psykopatologi.

CWS når nu ett betydande internationellt intresse. Stephen E. Finn, Ph.D., grundare av Center for Therapeutic Assessment i Austin, Texas (och Milano, Italien), tidigare ordförande för SPA 2000-2002 och en populär föreläsare i Sverige, skriver i ett globalt utskick till SPA:s medlemmar ” … and it is this system [CWS] that has impressed me and my colleagues. Those of us who completed the advanced training have been so excited about the Wartegg that we are now assisting Dr. Crisi to collect American normative data for the test. My colleagues and I have been astounded at the detailed and useful information the Wartegg yields about assesses. In some ways, the information is comparable to what one may get from the Rorschach, but the Wartegg also shows substantial correlations with the MMPI-2”.

Wartegg och Rorschach har också använts parallellt på samma personer för att göra oberoende bedömningar som visar mycket hög överensstämmelse (Crisi, A., Shorey H., 2009). Det översätts nu till flera språk och tycks fylla ett tomrum efter ett kostnadseffektivt, enkelt med ändå performancebaserat test, med de fördelar som tidigare nämnts. Den 4 september arrangerar Svenska Rorschachföreningen ett heldagsseminarium med Alessandro Crisi för den som vill göra en första bekantskap med administration och scoring av Wartegg enligt CWS.

I samarbete med prof. Christer Sandahl på institutionen för Lärande, Informatik, Management och Etik (LIME) på KI genomför undertecknad nu en svensk norm- och validitetsstudie av CWS.

Så Anders, jag kan glädja dig med att vägen kanske inte är så lång ändå, inte alls så lång.

Malin Holm

Vid ett besök på ett konsultföretag hamnade jag i en diskussion om hur en rekryteringskonsult kan komplexitetsbedöma ett yrke.

Ofta delas validitetsstudier upp i hur komplext yrket är. Det är väl känt att ju högre komplexitet i arbetsuppgifter desto högre validitet för ett generellt intelligenstest. När det gäller begåvningtestning så visar den senaste meta analysen en operationell validitet på .65 för medelkomplexa arbeten, men för de minst komplexa yrkena ligger validiteten på .39 och för de yrken med mycket komplexa arbetsuppgifter ligger validiteten på över .70 (Schmidt, Schaffer & Oh, 2008).

Att bestämma komplexiteten för att sedan veta hur begåvning ska vägas in i en beslutsprocess tar tid och ställer höga krav på arbetsanalysen och på den som gör analysen. En genväg som ofta räcker gott väl är att titta på O*NET. O*NET är en gratistjänst, som psychometrics tidigare tipsat om, där varje kravprofil delas upp i kunskaper och förmågor som krävs för varje enskilt yrke. Dessutom beskrivs komplexiteten i varje yrke samt även vilka intressen och värderingar som är signifikanta för yrkena.

För att kontrollera vilken komplexitet det finns i det yrke som är av intresse kan man antingen kolla in SVP (Specific Vocational Preparation) som står för hur mycket tid som krävs för en typisk yrkesutförare att lära sig yrket. SVP uttrycks som ett numeriskt värde (1-9). Ett enklare sätt är att titta vilken ”Job Zone” yrket ligger i. Det finns 5 ”Job Zones” som beskriver hur komplext arbetet är. Många uppgifter inom t.ex poliskåren bedöms som medelkomplext därför är .65 en bra uppskattning av begåvningstesters validitet för urval inom polisyrket.

Alla bedömda yrken återfinns på denna länk, kolla in just ditt yrke?

http://www.onetonline.org/find/zone

Anders

Referenser
Schmidt, F. L., Schaffer, J. A. & Oh, I. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personnel Psychology, 61, 827–868.