Föreläsning i Stockholm. Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

Anders SjöbergUrvalsbeslutSkriv en kommentar

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 26 mars 2019 kl 09 00–16 00

Var: Hotel C Stockholm, Vasaplan 4, Stockholm

Kostnad: 2 400 kr exkl. moms (självkostnadspris, lunch och fika ingår)

Anmälan: forelasning2019@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer fram till år 2026. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekrytering krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Det finns vetskap om att kunskap finns – men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som i första hand vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

 

Dela detta inlägg

Testa din begåvning och hjälp till att skapa framtidens bedömningstjänster

Anders SjöbergUrvalsbeslutSkriv en kommentar

Som jag skrev i mitt senaste inlägg är jag i full gång att arbeta med framtidens bedömningstjänster där begåvningsbedömning naturligtvis är ett fokus. Efter nyår har vi klart den första versionen av Assessment Engine, framtidens bedömningssystem för både urval och utveckling. Där kommer både personlighet och begåvning används som skarpa beslutsunderlag, fria från “skumma” kompetensmodeller och magkänsla, 100% forskning. Tack till alla er som hjälpt till att göra vårt första test, Talserier. Baserat på Er har vi redan nu en ny version klar (efter 1 vecka!) som du nedan kan testa. Alla ni som genomför testen bidrar att vi tillsammans kan göra bra bedömningar.

Vill du testa din egen begåvning på ett enkelt sätt kan du göra det här.

ASSESSMENT ENGINE 

Nedan kan du läsa om hur vi som jobbar med utvecklingen av Assessment Engine ser på begåvningstestning vid urval

Att identifiera, anställa och behålla rätt personal är avgörande för företag och organisationers konkurrenskraft. Skillnaden i ekonomisk nytta mellan medarbetare som överpresterar jämfört med en som underpresterar är mycket stor och kan på gruppnivå påverka verksamhetens möjlighet att överleva på sikt. En central egenskap som visat sig vara viktig att bedöma i en rekrytering är kandidaternas begåvningsnivå, eller problemlösningsförmåga som det ibland kallas. Nedan följer en sammanfattning om varför begåvning är viktigt, hur begåvning kan bedömas och vad forskningen säger om begåvningens roll i rekrytering och urval.

För att göra personbedömningar i samband med rekrytering och urval så används en mängd olika verktyg, några exempel är CV-granskning, intervjuer, referenstagning, och testning av olika slag. En del av dessa verktyg avser att mäta eller säkerställa formella kompetenser såsom utbildning och erfarenhet, men de allra flesta avser att kartlägga personliga egenskaper hos kandidaten. De verktyg som används vid urval mäter ibland olika men oftast samma underliggande egenskaper hos kandidaten. Detta beror på att det bara finns ett antal mätbara egenskaper, oavsett vilket eller vilka verktyg man använder.

Forskningen inom urval är omfattande och har gett många och tydliga riktlinjer för vilka egenskaper som har betydelse i arbetslivet och vilka metoder man bör använda för att mäta dem. I huvudsak bygger riktlinjerna på att en bedömningsprocess (och därmed verktygen som används) ska vara tillförlitlig (reliabel), pricksäker (valid) och ekonomiskt försvarbar (nytta). Det innebär att om flera verktyg mäter samma egenskaper, säg till exempel personlighet, så ger forskningen svar på vilket verktyg som på bästa sätt och mest kostnadseffektivt mäter personlighet. En del av riktlinjerna som tagits fram tillämpas frekvent i praktiken men det finns fortfarande flera viktiga evidensbaserade egenskaper, verktyg och processer som ännu inte nått bred acceptans bland praktiker.

En egenskap som inte nått full acceptans bland praktiker men som har en särställning i urvalssammanhang är generell begåvning, eller som den också kallas; problemlösningsförmåga, kognitiv förmåga, eller intelligens. Generell begåvning är förmodligen den mest beforskade egenskapen inom psykologin som vetenskap. Den har haft och har fortfarande stor betydelse för många olika forskningsområden, inte enbart inom arbetspsykologi.

Generell begåvning är en mycket bred egenskap. Den avser förmågan att snabbt lära sig nya saker, att effektivt och logiskt bearbeta information, att se (ibland abstrakta) sammanhang och bakomliggande mönster. Även förmågan att använda information och fakta för att dra logiska slutsatser och lösa nya problem ingår i begreppet. De kognitiva (tankemässiga) processerna är även relaterade till arbetsminnets kapacitet – effektiv problemlösning kräver att fakta, förutsättningar, konsekvenser och alternativ hålls i minnet. Med detta som utgångspunkt är det inte så svårt att förstå varför forskning otvetydigt visar att generell begåvning är den enskilt viktigaste egenskapen för arbetsprestation vilket gör den mer än relevant att kartlägga i rekryterings- och urvalssammanhang. Frågan är då hur generell begåvning kan mätas på bästa sätt.

Att begåvningstest, det vill säga standardiserade uppsättningar med problemlösningsuppgifter, är det mest tillförlitliga och kostnadseffektiva sättet att mäta generell begåvning på är otvetydigt. Generell begåvning kan även mätas genom till exempel arbetsprov eller olika typer av övningar men sådana verktyg är inte alltid tillämpbara i praktiken, de lider ofta av brister i tillförlitlighet (reliabilitet), och de är betydligt mer kostsamma att använda jämfört med ett begåvningstest. Men vad ska då ett begåvningstest innehålla för typ av uppgifter?

Även här har forskningen erbjudit mycket information och vi finner svaret i teoretiska utgångspunkter från forskare från tidigt 1900-tal. Den kanske mest centrala aspekten är att generell begåvning inte relaterat till en specifik typ av problemlösning, denna egenskap krävs för all typ av problemlösning. Det betyder att en närmast oändlig variation av problemlösningsuppgifter kan användas för att mäta generell begåvning. Det som krävs är att uppgifterna ställer krav på förmågan att minnas och manipulera symboler, ord eller nummer till ett logiskt sammanhang och att dra slutsatser utifrån dessa kognitiva processer. Notera att denna typ av uppgifter skiljer sig från rena kunskapsfrågor så som tex namnet Albaniens huvudstad, att rabbla glosor, eller att skriva multiplikationstabellen. Denna typ av uppgifter mäter redan inlärd förmåga – något som ger ett betydligt osäkrare mått på generell begåvning. En typ av problemlösningsuppgifter som visat sig vara en bra indikator på generell begåvning är så kallade talserier. I denna typ av uppgift är tal uppställda efter en viss logik, testpersonens uppgift är att tänka ut vilken logik som gäller och fylla i de efterföljande talen som saknas.

Forskning från både Europa och Nordamerika har även tydligt visat att generell begåvning, mätt med begåvningstest, på ett överlägset kostnadseffektivt sätt förutsäger hur individer kommer att prestera på arbetsplatsen. Detta gäller oavsett yrke, roll, organisation, och bransch. Men trots dessa entydiga forskningsresultat så används begåvningstest sparsamt av arbetsgivare i Norden. En anledning till det kan vara att forskning fram till tidigt 1980-talet visade på motstridiga resultat när det gäller begåvningstestets förmåga att förutsäga arbetsprestation. De amerikanska forskarna John Hunter och Frank Schmidt fick därför i slutet av 1970-talet i uppgift att analysera samtliga publicerade studier som redovisade samband mellan begåvningstest och arbetsprestation. De fann tidigt i analysarbetet att de motstridiga resultaten berodde på att de studier som publicerats var baserade på mycket få individer vilket gjorde det olämpligt att dra generella slutsatser från resultaten.

Vid denna tidpunkt hade dock statistiska metoder för att korrigera för små stickprov utvecklats och kunde tillämpas. Efter korrigering framkom en helt annan bild av sambandet mellan resultat på begåvningstest och arbetsprestation. De nya resultaten visade både att resultat från begåvningstest i mycket stor utsträckning kan förutsäga arbetsprestation – begåvning mer än någon annan enskild egenskap och begåvningstest mer än något annat tillgängligt verktyg.

Hunter & Schmidt undersökte även huruvida komplexitet i arbetsuppgifter påverkar (har en så kallad modererande effekt på) sambandet mellan resultat på begåvningstest och arbetsprestation. Hypotesen var att resultat på begåvningstest skulle vara bättre på att förutsäga arbetsprestation när komplexiteten i arbetsuppgifterna ökade eftersom det då krävs mer begåvning för att lösa problemställningen. De första resultaten som publicerades 1984 bekräftade hypotesen att komplexiteten i arbetsuppgifter har en effekt på styrkan i sambandet mellan begåvning och prestation; den prediktiva kraften ökade i takt med att komplexiteten i arbetsuppgifterna ökade. Det framkom därtill att resultat på begåvningstest kunde förutsäga arbetsprestation även för de minst komplexa yrkena. Att begåvning inte skulle spela någon roll i lågkomplexa yrken stämmer alltså inte.

Mycket omfattande forskning har fokuserat på att undersöka vad det starka och tydliga sambandet mellan begåvning och arbetsprestation beror på. Detta förklaras nämligen inte av sambandet i sig. Det är tydligt då man tänker på sambandet mellan till exempel väder och glassförsäljning. Bara för att det finns ett samband mellan dessa företeelser (variabler) så betyder inte det att vädret orsakar glassförsäljningen, eller tvärtom. Det finns en mellanliggande variabel här, i fallet med vädret och glassförsäljningen: att vi känner oss varma när det är soligt ute, det i sin tur ger att vi kommer att tycka om något kallt att svalka oss med som i sin tur gör att vi köper en glass i högre utsträckning i jämförelse om det är regn och rusk.

Men vad är då den mellanliggande variabeln mellan begåvning och arbetsprestation? Jo, lärande. Forskning har visat tydligt att de som får högre resultat på ett begåvningstest med större sannolikhet lär sig mer och snabbare och på det sättet presterar bättre i jämförelse med de som har lägre resultat på ett begåvningstest. Med andra ord så finns det inget direkt samband mellan begåvning och prestation på arbetet; du måste lära dig arbetet innan du utför det. Med ovan resultat kan vi då även dra slutsatsen att begåvning har större betydelse när du ska lära dig svårare saker. Det är därför till exempel högskoleprovet delvis mäter begåvning, begåvning är en viktig resurs om du vill lära dig svåra saker.

Från ett arbetsgivarperspektiv är det tveklöst väl investerade pengar att använda begåvningstest vid urval och rekrytering. Men vad tycker egentligen kandidaterna om olika urvalsmetoder? I botten hamnar personlighetstest som mäter integritet och frågor om tidigare erfarenheter (biodata) samt referenstagningar. Begåvningstest hamnar inte i botten men inte heller i toppen, där finner man istället intervju och arbetsprov vilket i sig är intressant då forskning visar att dessa två metoder till stora delar, cirka 40-50%, mäter begåvning. Nackdelen med både intervjuer och arbetsprov för att kartlägga begåvning är dock att de tar längre tid att genomföra, (och därmed är betydligt dyrare att använda) och ofta också är mindre tillförlitliga (har lägre reliabilitet).

Vill du undersöka våra källor, kolla nedan, här är några. Har du synpunkter på Assessment Engine eller är intresserad att bli vår första kund. Maila info@psychometrics.se.

Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96, 72–98.
Hunter, J. E., Schmidt, F. L., & Judiesch, M. K. (1990). Individual differences in output variability as a function of job complexity. Journal of Applied Psychology, 75, 28–42,2.

Schmidt, F. L., & Hunter, J. E. (1983). Individual differences in productivity: An empirical test of estimates derived from studies of selection procedure utility. Journal of Applied Psychology, 68, 407–414.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262–274.
Schmidt, F. L., & Hunter, J. E. (2004). General mental ability in the world of work: Occupational attainment and job performance. Journal of Applied Psychology, 86, 162–173.
Schmidt, F. L., Schaffer, J. A., & Oh, I. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personnel Psychology, 61, 827–868.
Schmidt, F. L., Hunter, J. E., & Outerbridge, A. N. (1986). Impact of job experience and ability on job knowledge, work sample performance, and supervisory ratings of job performance. Journal of Applied Psychology, 71, 432-439
Schmidt, F. L., Hunter, J. E., Outerbridge, A. N., & Trattner, M. H. (1986). The economic impact of job selection methods on size, productivity, and payroll costs of the federal work force: An empirically based demonstration. Personnel Psychology, 39, 1–29.

Dela detta inlägg

Assessment Engine. En evidensbaserad testprocess.

Anders SjöbergUrvalsbeslutSkriv en kommentar

Jag har utvecklat och anpassat psykologiska test sedan 1998. Några perioder mellan 2000-2010 var ytterst produktiva eftersom jag hade ynnesten att jobba med duktiga och trevliga kollegor som idag arbetar på Hogrefe och Pearson Assessment. Nu är jag med i ett nytt dreamteam, med personer som har helt unik kompetens inom både testutveckling och IT. Tack vare decennier av samlad erfarenhet och ett väldigt tight samarbete har vi på kort tid lagt grunden för en helt ny plattform, där kommer vi publicera test, alla vetenskapligt säkrade och med tillhörande manualer.

Psychometrics Sweden: Powered by <codescale>

Istället för att fokusera på vad som ska mätas kommer vi fokusera på vad du vill förutsäga eller beskriva. Vi kommer använda oss av evidensbaserade algoritmer som på maximalt sätt kombinerar den kompletta informationen från varje beståndsdel av personens resultat för att förutsäga tex arbetsprestation, engangemang, kontraproduktivt beteende, ledarskap, team prestation, säkerhetsbeteende, entreprenörskap och sälj/service prestation, naturligtvis med tillhörande beskrivningar, OCH garanterat utan magkänsla.

Som läsare av denna blogg erbjuder jag er en första titt på Assessment Engine, du kan vara en del av testutvecklingen genom att genomföra vårt nya Talserie test genom att klicka på nedan länk. Kom ihåg att göra ditt bästa, det har betydelse för hur bra Assessment Engine blir. (Vi rekommenderar att du besvarar uppgifterna på dator eller liknande, EJ PÅ MOBILTELEFON).

https://trial.assessmentengine.se

De svar du lämnar är anonyma. All information behandlas och sammanställs på gruppnivå och kan inte härledas till dig som person. Du får återkoppling på ditt resultat direkt på skärmen efter avslutad testning. Resultatet presenteras som under genomsnittet / genomsnittligt / över genomsnittet. Uppgifterna kommer att kräva din fulla uppmärksamhet så se till att du kan arbeta ostört i minst 20 minuter framåt (det går inte att pausa eller återuppta arbetet med uppgifterna vid en senare tidpunkt).

Dela detta inlägg

Evidensbaserade intervjuer, några tips

Anders SjöbergUrvalsbeslutSkriv en kommentar

Igår hade jag min tionde EBU utbildning. Som vanligt lär jag mig mycket när praktiken möter forskningen. Vill tacka representanter från Sverige Radio, Elgerot and partners AB och Centrallasarettet Kronoberg, Rekryterings- och bemanningsenheten för en givande dag. Bland mycket annat som diskuterades denna dag (och även i Göteborg i torsdags) var den omåttligt populära anställningsintervjun. Vill dela med mig av några punkter om den evidensbaserade intervjun (som inte ska blandas ihop med den kompetensbaserade intervjun).

  • Använd situations baserade frågor (hur skulle du göra om….?), baserad på en seriös arbetsanalys dvs ställ frågor om situationer som du kan bedöma utifrån vad som är rätt och fel svar på frågan. Dessa situationsfrågor fungerar bäst när det är fråga om mindre komplexa arbeten.
  • Använd beteende baserade frågor (kan du beskriva när du….?), även dessa grundade på en seriös arbetsanalys, dvs ställ frågor som kandidaten kan referera till en situation där något hänt och be personen beskriva hur hen agerade i denna situation med sitt egna beteende, dessa frågor fungerar bäst när det är mer komplexa arbeten där du själv som expert kan bedöma vad som är bra beteende.
  1. Poängsätt alla svar på dina frågor utifrån vad du menar med bra eller dåliga svar (detta ska bestämmas med hjälp av arbetsanalysen)
  2. Basera dina frågor på arbetsrelaterade saker inte personens livshistoria
  3. Ställ samma frågor till alla kandidater
  4. Ställ högst 1-2 uppföljande frågor efter din huvudfråga
  5. Träna och utveckla din intervju
  6. Om det är möjligt, använd flera intervjuare
  7. Diskutera inte dina resultat med andra mellan intervjuerna av kandidaterna
  8. Använd ínte tidigare bedömningar som underlag för din intervju (tex psykologiska test resultat)
  9. När din bedömning ska ligga till grund för det slutliga urvalsbeslutet använd algoritmer inte din eller flera personers helhetsbedömning.
  10. Korta intervjuer är ofta lika bra som långa intervjuer

När du gör detta rätt ska du tänka på det att det finns saker som kan bidra till att din intervju kan gå snett

  1. Negativ information vägs tyngre i jämförelse med positiv information
  2. Tidigt intryck i intervjun blir avgörande för beslut, det blir svårt att bortse från din tidiga känsla eftersom det är svårt att hålla samma uppmärksamhet genom hela intervjun
  3. Om du blir attraherad av personen påverkar det din bedömning.
  4. Om kandidaten inte liknar dig (tex etniskt ursprung, kön) kommer det påverka ditt beslut
  5. Många kandidater anpassar hela tiden svaren för att de vill ha jobbet vilket blir svårt att tolka för dig
  6. Ordning spelar roll, om du bedömer att det är en svag kandidat kommer du sannolikt bedöma nästa kandidat som bättre än vad hen är (och tvärtom).
  7. Undvik djupintervjuer (långa intervjuer ger ofta mer positiva resultat) om inte den som ska intervjua har klara belägg för att det finns en korrelation mellan metoden och det du vill förutsäga.

 

Lästips

Richard A. Posthuma, Frederick P. Morgeson, and Michael A. Campion, “Beyond Employment Interview Validity: A Comprehensive Narrative Review of Recent Research and Trends over Time,” Personnel Psychology 55 (2002): 1–82.

Robert L. Dipboye, “The Selection/Recruitment Interview: Core Processes and Contexts,” in
The Blackwell Handbook of Personnel Selection, ed. Arne Evers, Neil Anderson, and Olga
Voskuijil (Oxford, UK: Blackwell Publishers, 2004), 121–142.

Murray R. Barrick, Jonathan A. Shaffer, and Sandra W. DeGrassi, “What You See May Not
Be What You Get: A Meta-Analysis of the Relationship between Self-Presentation Tactics
and Ratings of Interview and Job Performance,” Journal of Applied Psychology 94 (2009):
1394–1411.

Julia Levishina and Michael A. Campion, “Measuring Faking in the Employment Interview:
Development and Validation of an Interview Faking Behavior Scale,” Journal of Applied
Psychology 92 (2007): 1638–1656.

Sara L. Rynes, Robert D. Bretz Jr., and Barry Gerhart, “The Importance of Recruitment in
Job Choice: A Different Way of Looking,” Personnel Psychology 44 (1991): 24.

Frank L. Schmidt and Ryan D. Zimmerman, “A Counterintuitive Hypothesis about
Employment Interview Validity and Some Supporting Evidence,” Journal of Applied
Psychology 89 (2005): 553–561.

 

 

 

Dela detta inlägg

Evidensbaserat urval i Göteborg

Anders SjöbergUrvalsbeslut2 Comments

Idag hade jag förmånen att få träffa yrkesverksamma rekryterare och berätta om hur urvalsprocessen kan bli evidensbaserad. Jag var inbjuden för 1 dags föreläsning i Göteborg för beskriva vad forskningen säger om bedömningstjänster i arbetslivet. 

Frågeställningen var följande:

SKL (Sveriges Kommuner och Landsting) står inför en utmaning och bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

Jag berättade vad forskningen säger om validiteten att använda olika bedömningstjänster (tex intervjuer, test och assessment center), men påpekade även att det är viktigt att sätta validiteten i relation till vad kostnaden är att använda dessa metoder.

Vill tacka deltagande för en ytterst givande dag, och speciellt vill jag tacka Susanne Erixon som på helt eget initiativ ordnade detta evenemang på Clarion Hotel i Göteborg.

Dela detta inlägg

Testgranskning i Sverige och andra länder, en lägesrapport

Anders SjöbergUrvalsbeslut2 Comments

Efter några dagar i Ljubliana (Slovenien) på uppdrag av EFPA, European Federation of Psychologists´ Association, med diskussioner över kulturer hur psykologiska test används på bra och dåliga sätt, får vi nog vara lite självkritiska hur vi i Sverige agerar. Trots en modell för testgranskning som EFPA tagit fram (länk här) är i stort sätt den kliniska testningen, dvs de test och bedömningar som leg psykolog gör i tex utredningar, är helt oreglerad. I stort sätt kan vem som helst börja sälja (eller ge bort) psykologiska test till leg psykologer, utan någon som helst granskning av kvaliteten i testen. Det är faktiskt arbets- organisationspsykologer (AO) som kommit längst i Sverige. Där erbjuds testkunder att få tillgång till test som är oberoende granskade av experter på området. I andra länder (tex Spanien) ingår inte bara AO test utan alla typer av standardiserade bedömningsmetoder som används inom vård, skola och arbetslivet. I detta inlägg kommer jag fokusera på arbetspsykologiska test och ge en sammanfattning vad som sker på svenska marknaden och delvis jämföra vad som sker i Norge och övriga länder.

Tills för några år sedan var det Stiftelsen för Tillämpad Psykologi (STP), en underavdelning till Psykologförbundet som skötte testgranskningen. Pionjärerna på den tiden var först Christina Strömer Wilson och senare Mattias Lundberg samt under senaste 10 åren Eva Bergvall som drev dessa frågor. Nu är det docent Johnny Hellgren som är ansvarig för STP. I början av 2000-talet var jag en av dem som promotade detta system av granskning, även om jag ibland tyckte det var jobbigt då det var jag som (med duktiga kollegor) hade utvecklat eller anpassat testen som granskades. I de allra flesta fallen fick vi dock bra betyg och tips av granskarna hur vi kunde bli bättre.

Idag är det DNV-GL som granskar test i både Sverige och Norge. Hur denna process går till går att läsa här.

Dessa test är granskade och godkända i Sverige. 

  • Hogans Personlighets Inventorium (HPI)
  • JobMatch Talent (JTM)
  • Measuring Integrity (MINT)
  • NEO-PI-3
  • NEO FFI-3
  • Predictive Index
  • UPP – Understanding Personal Potential (UPP Personality, UPP Ability, UPP Screening)

Det är lite oklar status på UPP, då UPP finns med i ett dokument men i ett annat dokument finns det inte med (kommer uppdatera denna information när jag får besked från DNV-GL). Viktigt att säga att efter tre år måste certifikatet förnyas, dvs det som testleverantören fick kritik att åtgärda i den tidigare granskningen måste ha genomförts tre år senare, därav att vissa test kan ”falla bort” från listan. En annan viktig detalj är att det är endast en språkversion som gäller per granskning, dvs har man granskat ett test i Norge på Norska, gäller EJ den granskningen i Sverige. Detta för att det helt enkelt är olika språkversioner. Inte heller gäller granskningen och godkännande av kringprodukter såsom kompetensmodeller och intervjuunderlag baserat på testresultat. 

Även om testet blir godkänt, så är inte granskningen offentlig. DNV:s godkännande gäller att testet är ”good enough” så även om testet är godkänt kan det finnas information i granskningen som kan vara av intresse för testköparen. Detta skiljer sig väsentligt från den tidigare svenska modellen där det gick att köpa granskningen av STP. Jag uppmanar alla testleverantörer att lägga upp granskningen på hemsidan så att testköpare själva kan avgöra om testet är ”good enough”.

Varför är det inte fler i Sverige som blivit godkända? Här kommer ett antal funderingar med kommentarer.

  • Det är dyrt att granskas (det exakta priset bestäms av DNV och testleverantören). Detta kan vara kännbart för nya mindre testleverantörer
  • Kunder i Sverige ställer inte så höga krav på testleverantörer att deras test som de använder ska vara granskade och godkända.
  • Testleverantörer har ej kunskapen att genomföra studier som kan belägga testets validitet och reliabilitet. Och även om de har den kunskapen så har de inte möjligheten att dokumentera resultatet. Som jag bedömer det är det endast traditionella testleverantörer som tex Hogrefe som idag har personal som är anställda i varje land för att skriva manualer till sina test (det kan naturligtvis finnas undantag).
  • Testleverantörer har blivit uppköpta av bolag som tycker att kvalitetstssäkring av instrumenten är ”wasted time”.
  • Testleverantörer anger att testen är granskade, men ”glömmer” att nämna att det inte gäller just denna språkversion.
  • Digitaliseringen av test har gjort att ibland går lite snabbt i uppkopplingen mellan testleverantören och kunden. Har stött på exempel där kunden inte förstår vilket test som egentligen har länkats till hens hemsida.

Hur ser det då ut i andra europeiska länder? I England har ca 150 test granskats och godkänts, mestadels arbetspsykologiska test men också kliniska test. I Nederländerna och Spanien granskas i stort sätt alla test som kommer ut på marknaden. I Polen har precis testgranskningen börjat och i många andra länder är testgranskning helt frånvarande.

Vad kan då göras? Jag tror att enda sättet är att du som kund till test ställer krav på testleverantören att det ska finnas dokumentation som på något sätta är granskad av oberoende part. Det kan i vissa fall undantas när test är under utveckling. Det tar någonstans mellan 2-5 år att genomföra och dokumentara allt som granskarna behöver.  Modellen som granskarna använder är, som jag nämnt ovan, EFPA test review standards. I detta dokument ser du all information som bör finnas tillgänglig. Viktigt att komma ihåg är att EFPA INTE har något med granskningen att göra, det kan se olika ut i olika länder men det är aldrig EFPA som godkänner test, det är ett oberoende certifieringsorgan (i Norge och Sverige är det DNV i England är det BPS). 

Nästa steg för mig är att vara med att utveckla/revidera EFPA:s test review model. Tillsammans med fyra andra länder har vi till sommaren på oss att ta fram ett förslag till revidering. Spännande och viktig jobb. Psykologförbundet i Sverige finansierar mitt arbete, särskilt tack till ordförande Anders Wahlberg som tycker detta är ett viktigt att Sverige är aktivt. Hör av mig på bloggen efter vårt nästa möte i Moskva, april 2019.

Dela detta inlägg

Föreläsning om evidensbaserat urval i Göteborg

Anders SjöbergUrvalsbeslutSkriv en kommentar

FÅTAL PLATSER KVAR

Rätt person på rätt plats – urvalsmetoders prediktiva betydelse vid rekrytering

Vad säger forskningen? En heldagsföreläsning om evidensbaserat urval av och med docent Anders Sjöberg

När: 8 november 2018 kl 9 – 16

Var: Clarion Hotel Post, Drottningtorget 10, Göteborg

Kostnad: 1700 kr exkl. moms – (lunch och fika ingår)

Anmälan: forelasning8@gmail.com

SKL (Sveriges Kommuner och Landsting) bedömer att den kommunala offentliga sektorn behöver rekrytera 28 000 nya chefer inom den närmaste åttaårsperioden. Situationen inom statlig sektor är likartad. För att arbetsgivarna ska lyckas i denna kommande omfattande rekryteringsprocess krävs kunskap, långsiktighet och omdöme för att få rätt person på rätt plats. Kunskap om urvalsmetoder finns. Vetskapen om att kunskap finns, men gör det att den tillämpas i praktiken? Vilka svar ger forskningen?

En föreläsning som vänder sig till dig som rekryterar chefer och är anställd inom offentlig sektor, samhällsfinansierad verksamhet samt rekryteringsföretag. Platsantalet är begränsat.

Dela detta inlägg

European Association of Test Publishers (E-ATP) årliga konferens

Anders SjöbergUrvalsbeslut2 Comments

Den internationella organisationen European Association of Test Publishers (E-ATP) anordnar onsdag-fredag denna vecka sin årliga konferens. Naturligtvis är jag på plats i Aten. E-ATP är en ideell verksamhet som representerar testförlag, testinstrument och tjänster för utbildning, rekrytering, certifiering samt klinisk verksamhet. Deltagarna är främst från Europa och USA men även andra delar av världen är representerade. Under tre dagar presenteras ett intensivt program med seminarier, produktdemonstrationer samt diskussionsgrupper. Efter några dagar av konferensen delar jag med mig några av höjdpunkterna på konferensen.

Direkt kastades jag in i en debatt där två lag tävlade om publikens gunst. De fick på förhand veta om de skulle argumentera emot eller för ett påstående om ”assessment”. Ett av påstående handlade om vem som ska ha företräde att bestämma hur poängsättning av bedömning ska verkställas, tex i psykologisk testning i arbetslivet. Är det personer som har koll på psykometri som ska bestämma eller är det kunden som köper testet som ska bestämma. Nedan ser du uppgiften som de båda teamen skulle fightas om, ett team för och ett team emot.

Det blev en intensiv debatt (inte helt olikt den politiska debatten i Sverige just nu). Där företrädare för experterna hävdade att det är de som ska ta hand om hur test ska poängsättas och återrapporteras till både kandidater och uppdragsgivare, helt enkelt för att de är experter. 

Det andra teamet som var emot att experter ska ta över menade på att det är orimligt, om inte köparen av testet är nöjd kommer det inte bli någon affär, låt andra komma in och bestämma då blir det affär och alla blir nöjda.

Vilket team tror du vann publikens gunst? Teamet emot experterna, låt kunden bestämma. The measurement experts should NOT decide.

Efter denna session pratade jag med några av debattörerna, och det är naturligtvis något mittemellan ytterligheterna. Detta uttrycks väldigt tydligt i ISO 10667, det är både uppdragsgivaren (kunden) och leverantören (experten) som ska komma överens hur resultatet av en bedömning ska presenteras. I den bästa av världar tar experten fram en tolkning av bedömningen som stämmer med den evidens som finns för den tolkningen, kunden är nöjd med detta och presenterar denna tolkning. I verkligheten har jag sett exempel på när både experten och kunden får för mycket att säga till om. Det är därför vi har olika guidelines och standards som både leverantörer och uppdragsgivare bör läsa innan de genomför bedömningen.

Ett annat intressant seminarium jag var på handlade om myter inom testbranschen avseende personlighetstestning. Även där var deltagarna tvungna att ta ställning. Nedan ser ni några av myterna som många tar för sanning.

”Assessments need to be mobile optimized because most people prefer to assess on their phone.”

Här var argumentet självklart från några i panelen, alla använder ”mobile” devices, varför ska vi hindra folk från detta.

Samtidigt menade några att undersökningar visar är att det är bara 11% som väljer att göra testet på sin telefon, resterande väljer stationär dator eller laptop.

”The shorter the assessment, the better”

Här är argumenten tydliga. De som argumenterar för kortare test ser det som en fördel för kandidatupplevelsen, Argumentet emot detta är också solklart, det är svårt att få reliabilitet och validitet i korta test. Här finns det faktiskt inte mycket stöd för att längre test skulle ha en negativ påverkan på kandidatupplevelsen, och samtidigt finns det nya psykometriska modeller som kan göra test betydligt kortare utan att göra avkall på reliabilitet och validitet.

”Faking is a threat to validity to selection procedures such as personality assessments and interviews”

Att folk ljuger i både anställningsintervjuer och test var självklar för några i panelen, några i panelen menade att en urvalsprocess handlar om att ”alla” försöker imponera på andra, om man vill ha jobbet. Forskningen är inte helt klar här heller, en del studier tyder på att det är ett problem med intervjuer och test medan andra studier säger att det är försumbart. Som testutvecklare har jag hört många säga som jag testat (inte minst studenter) att det var lätt att ”veta” hur jag skulle svara på några frågor. När jag tittar på resultatet är jag inte riktigt säker på att denna person har en aning om hur jag tänkt (och empiriskt kunnat bevisa) när jag konstruerade dessa frågor. So, to be continued. 

”People don’t want to take assessments and data scraping will replace current assessments”.

En uppdatering av vad som händer inom testbranschen. En falang hävdar att test som det ser ut idag, nämligen att du vet att du blir testat för ett visst syfte, håller på att dö ut. Istället kommer arbetsgivare i närtid kunna hitta din personlighet och begåvning på nätet, genom att ”scraping will replace current assessments”. 

Flera studier citeras där personligheten kartläggs genom att dina ”likes” på facebook analyseras. Samtidigt menar många att dessa studier är metodologiskt ”häftiga” men att resultaten är tämligen triviala. Sedan kommer GDPR på detta, och då blir det betydligt krångligare, dvs att du blir bedömd utan att du vet om det, avseende din personlighet. Vem kommer vara ansvarig för att detta är ett tillförlitligt sätt att bedöma din personlighet.  

En bra bild är den nedan som visar vad vi idag är när det gäller frågan om Artificiell Intelligens, Maskininlärning etc etc. Det är helt klart att det finns saker att hämta för testbranschen i dessa nya metoder, men det har varit en hype de sista åren som nu håller på att vända till realistiska saker som kommer hända i närtid.

Idag är sista dagen på konferensen, flyger hem efter lunch idag och jag tar med mig en trevlig upplevelse, nämligen att prata med lika nördiga människor som jag som gillar psykometri och test.

Dela detta inlägg

Utbildning i Evidensbaserat Urval™

Anders SjöbergUrvalsbeslutSkriv en kommentar

Evidensbaserat urval (EBU™) 1 dag

Personcertifiering i Evidensbaserat Urval™ (EBU).

När: Hösten 2018: 13 sept, 9 nov eller 5 dec
Var: Danderyd (T-bana Mörby Centrum) kl 9-16.
Kostnad: 6500 exkl moms (i kostnaden ingår lunch och dokumentation)

Syftet med denna dag är att ge en allmän orientering samt grundläggande teoretiska och praktiska kunskaper rörande aktuella områden inom urval i organisationer. Ett andra syfte med momentet är att ge en övergripande träning i att kritiskt granska de processer och metoder som idag används både nationellt och internationellt vid urvalsbeslut i organisationer.

Utbildningdagen med examination resulterar i en personcertifiering i Evidensbaserat Urval™ (EBU) som bygger på kunskap om ISO 10667: Bedömningstjänster i arbetslivet och ISO 30405: Vägledning för rekrytering.

EBU™ KLICKA HÄR Kursbeskrivning, tid och pris

ANMÄLAN

Dela detta inlägg

Anställningsintervjun. Jobba, sova, dö. Reportageserie · 29 min

Anders SjöbergUrvalsbeslutSkriv en kommentar

Innan sommaren intervjuades jag i denna reportageserie som bland mycket annat handlade om anställningsintervjun. Intressant som forskare att få prata om den absolut vanligaste urvalsmetoden som aldrig verkar ifrågasättas som en tillförlitlig metod för att fatta urvalsbeslut. Lyssna gärna på hela avsnittet, jag tycker att kandidaters och intervjures perspektiv speglas på ett bra sätt genom programmet.

KLICKA HÄR FÖR ATT LYSSNA

eller klistra in denna länk i din webbläsare

https://urplay.se/program/206285-jobba-sova-do-anstallningsintervjun

Dela detta inlägg