Ett mått på hur väl leverantörer av urvalstjänster är evidensbaserade

ebu1Även om en urvalsprocess använder standardiserade bra metoder är det inte säkert att själva rekommendationen från leverantören och urvalsbeslutet i sig ger det avsedda resultatet för organisationen. Det är därför jag har utvecklat Evidensbaserat urval (EBU™). EBU™ ersätter den subjektiva bedömningen i slutet av urvalsprocessen med en objektiv metod för att fatta beslut. EBU™ innehåller en statistisk algoritm som kan stödja leverantören och uppdragsgivaren så att de uppfyller kraven som ställs i ISO 10667 standarden, bedömningstjänster i arbetslivet, och på detta sätt gör organisationer mer effektiva. Nedan kommer jag berätta hur en leverantör av urvalstjänster kan få ett objektivt mått på hur väl de följer EBU™ och på detta sätt förfina sin urvalsprocess.

En utmärkt urvalsprocess kan innehålla några standardiserade test och en standardiserad intervju, men i slutskedet verkar det för vissa indvider vara otänkbart att väga ihop dessa olika informationskällor på maximalt sätt. Det är ofta just i slutklämmen som de flesta strular till det.

Ett råd jag ger till rekryterare (både uppdragsgivare och leverantör) är att.

1) Samla in information med reliabla och valida bedömningsmetoder
2) Väg ihop dessa reliabla och valida metoder med hjälp av EBU™

Det första steget handlar om att alla kandidater bedöms på samma parametrar. När detta inte sker kan det vara olika typer av information om kandidaterna som styr urvalsbeslutet. Om tex psykologiska test ska användas ska alla göra samma test under samma förhållanden under samma tid. Deta första steg verkar de flesta leverantörer genomföra. CV bedöms enligt en mall, psykologiska test används och standardiserad intervju genomförs, men detta steg handlar inte om de enskilda metodernas reliabilitet och validitet i den enskilda urvalsprocessen. Det är riktigt att dessa metoder uppvisat reliabilitet och validitet i många studier, men det betyder inte att detta kan omsättas i praktiken till enskild situation utan att helt mekaniskt tolka resultatet.

Det andra steget är att väga ihop denna information där EBU™ algoritmen appliceras på den information som samlats in för varje kandidat. Detta ger en poäng för varje kandidat.

Dessa två steg är teoretiska, i praktiken händer en hel del under processen. Några expempel som kan hända under steg 1 (insamling av information)

  • en kandidat får göra ett test under kontollerade förhållanden en annan på distans
  • en kandidat intervjuas av två personer en annan intervjuas av en person
  • en kandidat har lämnat två referenser en annan bara en referens

Och några exempel på avvikelser för steg 2 (väga ihop informationen) kan vara

  • Bedömningsmetoderna vägs ihop med EBU™ men resultatet används inte vid beslut
  • Ostrukturerad information vägs ihop i EBU™ vilket sänker validiteten
  • Bedömningsmetoderna vägs ihop med EBU™ och resultatet används vid beslut men de kandidater som väljs för jobbet tackar nej till jobbet efter löneförhandlingen.

Genom undersöka hela urvalsprocessn kan en organisation en diagnos ställas hur väl organisationen följer EBU™. Diagnosen kontrollerar först hur väl man följer det första steget, vilket är en förutsättning att gå vidare till steg 2.

För att få ett mått på hur väl leverentören av urvalstjäsnten följer EBU™ i det andra steget behövs ett kriterie. Detta kriterie kan vara vilka som rekommenderas av leverenatören att anställas. Frågeställning är; om första steget uppfyllts genom att använda schyssta metoder när insamling av information samtidigt som den informationen vägs ihop med en algoritm (EBU™), är det verkligen de som får högst poäng som rekommenderas till tjänsten?

Tyvärr inte skulle jag vilja säga i flertalet fall, många organisationer anser att de har valt en evidensbaserad väg, men de hänvisar bara till första steget, när informationen samlas in, inte när beslut om rekommendation ska göras. Till syvende sist är det uppdragsgivaren (enligt ISO, individ eller organisation som uppdrar åt en leverantör att leverera bedömning och de delar som ingår i en bedömningsprocess) som ta urvalsbeslutet, men om det ska kunna vara evidensbaserat måste leverantören (enligt ISO, person eller organisation som levererar bedömningstjänster till uppdragsgivaren) följa ISO 10667.

Så här står det i ISO 10667 ”Om flera bedömningsmetoder används för att dra slutsatser ska rationalen (den logiska grunden) för den integrering av data som utgör grund för slutsatserna anges liksom evidensen för slutsatserna.”

Med ”flera bedömningsmetoder” menas i mitt exempel intervjuer- och testresultat. Med ”rationalen” menas de bevis som finns att det fungerar att göra som leverantören föreslår och med ”evidensen” menas att den rekommendation som leverantören gör stämmer inom en specifik kontext i ett specifikt syfte.

Så fort denna kedja av händelser bryts så sjunker evidensen i urvalsprocessen.

Låt mig ta ett exempel på hur två leverantör kan utvärderas. Men innan exemplet måste det klargöras att även om leverantören följer EBU™ kan uppdragsgivare helt strunta i rekommendationen, men då ligger ansvaret helt och hållet på uppdragsgivaren. Om detta sker följer leverantören ISO 10667 men EJ uppdragsgivaren.

Nu tillbaka till mitt fiktiva exemepl. Dessa två organisationer har under 5 år följt EBU™ processens två steg. Det är helt klart att det första steget följs där alla kandidater bedöms på samma sätt. Leverantörerna bedömer alla sökande under 1 dag på ett och samma fysiska ställe med exakt samma metoder under exakt samma tid. När all data är insamlad går de enskilda poängen från test, intervjuer och simuleringsövningar in i en EBU™ algoritm som sedan överlämnas till uppdragsgivaren som sedan tar själva urvalsbelutet. EBU™ algoritmen bygger på forskningsresultat från både meta analyser och egna valideringsstudier som leverentörerna genomfört.

Om EBU™ följs bör detta speglas i ett mått som mäter sambandet mellan EBU™ och rekommendationen, eller hur?

För att räkna detta mått behövs resultatet från EBU™ (alltså resultatet från den statistiska algoritmen), och leverantörens rekomendation av kandidater (urvalsbeslutet ligger hos uppdragsgivaren, detta kommer jag problematisera i kommande inlägg). I detta exempel kan EBU™ poängen variera från 0 till 10. 0 betyder låg arbetsprestation och 10 betyder hög arbetsprestation. Om leverantören till 100% skulle följa EBU™ skulle det representera den svarta linjen i diagrammet nedan.

curve2

På X axeln har ni EBU™ poängen och på Y axeln sannolikhet att bli rekommenderad uttryckt i procent (%). Ni ser att det är 0 % sannolikhet för rekommendation om kandidaten har en EBU™ under 4 (kolla den svarta linjen) och ligger kandidaten över 5 har kandidaten 100% chans att bli rekommenderad. Detta fall är unikt men ibland har jag stött på leverentörer som har detta förfarande i första screeningförfarande. Den enda gången det sker är när leverenatören bestämt på förväg ett gränsvärde för rekommendation (i detta fall över 4). Den svarta linjen representerar således att Leverantören följer EBU™ till 100%.
Leverantör A (grön linje) följer EBU™ till 46% och Leverantör B (Blå linje) följer endast EBU™ till 16%. Konsekvenser för kandidaterna som bedöms av Leverantör A blir att desto högre poäng på EBU™ desto högre sannolikhet att blir rekommenderad. Tex ger en EBU™ poäng på 5 poäng endast en sannolikhet på 25% att bli rekommenderad medan en EBU™ poäng på 9 ökar sannolikheten till närmare 95% att bli rekommenderad.

Leverantör B följer EJ EBU™ poängen och därmed EJ ISO 10667. Även om chansen ökar ser ni att en poäng på 10 knappast ger en chans över 50%  att bli rekommenderad, alltså knappt bättre chans än om man slumpade in kandidaterna. Leverantör B kan lika bra singla slant vilket är betydligt billigare än att använda standardiserade metoder och EBU™ för att välja vilka som ska rekommenderas.

Sammanfattning

Ett grundläggande antagande bakom all rekryterings- och urvalsverksamhet, är att människor skiljer sig från varandra, även när det gäller andra faktorer än utbildning och erfarenhet. Vore det inte så, skulle man kunna anställa vem som helst med rätt yrkesmässig kompetens. Men i och med antagandet att det också finns andra skillnader som påverkar människors arbetsprestationer, blir dessa intressanta att bedöma. Förutom den yrkesmässiga kompetensen är man i allmänhet intresserad av faktorer som motivation, begåvning, den sökandes personliga egenskaper, värderingar och så vidare. Detta bedöms ofta med standardiserade metoder som visat sig reliabla och valida. Problemet är inte längre, med dagens teknik, att samla information, utan problemet består av att rekyterare har en övertro på sin egen förmåga att väga ihop denna information. EBU™ är ett sätt att bli mer professionell i sin yrkesutövning, att ta statistikens hjälp för att fatta nyktra belslut. Min förhoppning är detta mått som jag redovisat ovan ska hjälpa till att ge bättre urvalsbeslut som bygger på logiskt tänkande istället för magkänsla.

Copyright Psychometrics Sweden AB. Evidensbaserat urval (EBU™) är varumärkesskyddat.

EFPA Certifieringsutbildning i arbetspsykologisk testning

validity2Syftet med denna utbildning är att ge deltagarna teoretiska och praktiska kunskaper i arbetspsykologisk testning som leder till en internationell certifiering enligt epa (läs mer om efpa här).

Målgrupp
Utbildningen vänder sig till personalvetare, psykologer, ekonomer, m.fl. som arbetar med psykologisk testning vid rekrytering.

Mål med utbildningen
Denna utbildning kommer att ge dig som testanvändare de kunskaper om psykologiska test och testanvändning i arbetslivet som kan leda fram till en certifiering i enlighet med de kriterier som är fastställda av European Federation of Psychologists’ Association. Innehåll i utbildningen

  1. Styrkor och svagheter hos arbetspsykologiska test
  2. Kvalitet i arbetspsykologiska test
  3. Tolkning av testresultat
  4. Återkoppling och hantering av testresultat
  5. Rättvisa och diskriminering
  6. Personalekonomi, urvalsprocesser och ekonomisk nytta
  7. Arbetspsykologiska kriterier
  8. Begåvning och begåvningstest
  9. Personlighet och personlighetstest

Tid och information
Utbildningen genomförs under två heldagar. I priset ingår en e-learningsmodul där du på distans kan sköta inlärningen mellan kurstillfällena.

Dag 1. Måndagen den 7 november 2016, klockan 08.30 – 16.30.
Dag 2. Onsdagen den 7 december 2016,  klockan 08.30 – 16.30.

Examination anordnas av Stiftelsen för Tillämpad Psykologi (STP) Tisdagen den 9 december 2016 (sista anmälningsdag 4 november).

Plats
Östermalmsgatan 87 e, 114 59 Stockholm (Tunnelbana Stadion)
Kursledare
Docent Anders Sjöberg och leg psykolog Eva Bergvall.
Kurslitteratur
Mabon, H (2014). Arbetspsykologisk testning. Stockholm. Assessio. ISBN 978-91-7418-366-5. Artikelnummer 778-000.
Kostnad
25.000 exklusive moms (inkl kostnad för kurslitteratur). Examination sker i STP:s regi (kostnad tillkommer).
Intresseanmälan
info@psychometrics.se eller ring 0732056048. Möjlighet finns att anordna denna kurs som företagsintern utbildning.

Vad betyder ordet arbetsprestation?

rating2En av vanlig fråga jag får när jag föreläser om testning och bedömning är vad betyder egentligen arbetsprestation? Naturligtvis varierar detta beroende vem man frågar och vem som bedömer prestationen. Men för att få en utgångspunkt för en djupare förståelse är det viktigt att gå till forskningen för att hitta en definition av fenomenet arbetsprestation, dvs minsta gemensamma nämnare som kan inkludera så många perspektiv som möjlgt. Först då, när det finns en enhetlig definition, kan vi börja förstå vad som påverkar arbetsprestation. I forskningslitteraturen (se Sofia Sjöbergs avhandling)  föreslås tre aspekter av arbetsprestation, dessa är uppgiftsprestation , organisationsmedborgarskap och kontraproduktiva arbetsbeteenden.

Det finns en mängd mer eller mindre empiriskt förankrade modeller och perspektiv på kriteriet arbetsprestation, dess betydelse, innebörd och definition. Den modell som i dagsläget har starkast stöd inom forskningen definierar arbetsprestation i en hierarkisk struktur. Längst upp i denna hierarki finns en generell och mycket övergripande prestationsfaktor. Denna generella faktor omfattar alla handlingar och beteenden som är kopplade till och/eller bidrar till organisationens mål, det innebär att såväl prestation i konkreta arbetsuppgifter som förmågan att hantera de sociala aspekterna av arbetet ryms inom begreppet. Generell arbetsprestation fungerar i sin tur som ett paraplybegrepp till de tre relaterade men konceptuellt distinkta dimensionerna; uppgiftsprestation (eng; Task Performance (TP), organisationsmedborgarskap (eng; Organizational Citizenship Behavior (OCB), och kontraproduktiva arbetsbeteenden (eng; Counterproductive Work Behavior (CWB).

TP omfattar den prestation i faktiska och konkreta arbetsuppgifter som bidrar till produktionen av företagets varor eller tjänster som formellt erkänns av arbetsgivaren. I allmänhet motsvarar detta beteenden och handlingar som bidrar till fullgörandet av uppgifter och det ansvar som är förknippat med en viss uppgift; att utföra arbetet med god kvalitet och att bli klar i tid är goda exempel på hög TP.

OCB definieras som alla de frivilliga och positiva beteenden som inte omfattas av TP men som på olika sätt främjar organisationens mål. Organ’s (1988) definition är förmodligen den mest vedertagna:

“Organizational Citizenship Behavior are individual behaviors that are discretionary, not directly or explicitly recognized by the formal reward system, and in the aggregate promote the efficient and effective functioning of the organization” (Organ, 1988, s. 4).

Denna typ av uppsåtliga beteenden, som bidrar till en väl fungerande organisation genom att stödja den övergripande organisatoriska, sociala eller psykologiska miljön, omfattar beteenden som inte direkt eller uttryckligen erkänns i organisationens formella belöningssystem.

I den hierarkiska strukturen av arbetsprestation görs distinktion mellan den mellan den ”goda” arbetsprestationen (som representeras av TP och OCB) och ”skadliga” eller kontraproduktiva beteenden (eng., Counterproductive Work Behavior) som är relaterade till arbetet eller organisationen. Den vanligaste och mest allmänt vedertagna definitionen av CWB är:

“any intentional behavior on the part of an organization member viewed by the organization as contrary to its legitimate interests” (Sackett & DeVore, 2001, s. 145).

CWB är således ett samlingsbegrepp för alla medvetna och avsiktliga beteenden utförda av en medarbetare inom en organisation och som på något sätt har en negativ inverkan på eller skadar organisationen eller dess anställda.

När arbetsprestation bedöms, av både arbetsgivare och medarbetare, brukar till olika grad TP, OCB och CWB påverka den övergripande bedömningen av arbetsprestation. Ibland fokuseras det på TP, tex när lön ska sättas, ibland är det OCB som är i fokus, tex vid medarbetarsamtalet och hos vissa organisationer är det CWB som man vill förhindra, tex inom detaljhandeln. TP, OCB och CWB är en framkomlig väg vid undersökningar om prestation på arbetsplatsen.

 

Tips på litteratur

Borman, W. C., & Motowidlo, S. J. (1993). Expanding the criterion domain to include elements of contextual performance. In N. Schmitt, & W. C. Borman (Eds.), Personnel selection in organizations (pp. 71–98). San Francisco, CA: Jossey-Bass.

Conway, J. M. (1999). Distinguishing contextual performance from task performance for managerial jobs. Journal of Applied Psychology, 84, 3–13.

ISO/IEC, (2011). ISO/IEC 10667:2011 Bedömningstjänster i arbetslivet – Processer och metoder för bedömning av människor i organisationer. Del 1: Krav på uppdragsgivare. Del 2: Krav på leverantör. Bryssel: Author.

Organ, D. W. 1988. Organizational citizenship behavior: The good soldier syndrome. Lexington, MA: Lexington Books.

Rotundo, M. & Sackett, P. R. (2002). The relative importance of task, citizenship, and counterproductive performance to global ratings of job performance: A policy-capturing approach. Journal of Applied Psychology, 87, 66–80.

Sackett, P. R., & DeVore, C. J. (2001). Counterproductive behaviours at work. In N. Anderson, D. S. Ones, H. K. Sinangil, & V. Viswesvaran (Eds.), International Handbook of Work Psychology (Vol. 1, pp. 145–164). London, UK: Sage Publications.

Sjöberg, S., Sjöberg, A., Näswall, K., Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavian Journal of Psychology, DOI: 10.1111/j.1467-9450.2012.00956.x

Sjöberg, A., Sjöberg, S., & Forssén, K. (2006). Predicting Job Performance. Manual. Stockholm: Assessio International.

Sjöberg, S., Svensson, C., & Sjöberg, A. (2011). MAP: Measuring and Assessing Individual Potential. Technical manual. Stockholm: Assessio International.

Viswesvaran, C., Schmidt, F. L., & Ones, D. S. (2005). Is there a general factor in ratings of job performance? A meta-analytic framework for disentangling substantive and error influences. Journal of Applied Psychology, 90, 108–131.

Viswesvaran, C., & Ones, D. S. (2000). Perspectives on models of job performance. International Journal of Selection and Assessment, 8, 216–226.

Övertro på sin egen förmåga vid rekrytering leder till dyrbara beslut

ebu1Evidensbaserat urval™ (EBU) betyder att information om kandidaten samlas in på ett standardiserat sätt och att viktningen av denna information vägs ihop mekaniskt med en statistisk ekvation. Den direkta motsatsen till EBU™ är att informationen samlas in på ett subjektivt sätt och att denna information inutitivt vägs ihop till en helhetsbedömning. Varför är då den mekaniska tolkningen överlägsen den intuitiva? Och vad finns det för risk att blanda ihop EBU™ med en mindre tillförlitliga intervjuer? Ny forskning presenteras.

Psykologiska test i urvalsprocesser utgör standardiserade verktyg för att samla information om de aktuella kandidaterna, på detta sätt uppfyller psykologiska test det första kravet om EBU, givet att testen i sig är validerade, förstås. Att samla information är dock inte tillräckligt för att kunna fatta ett urvalsbeslut. Informationen behöver tolkas/vägas ihop till en sammantagen bedömning som utgör grunden för beslutet.

Den andra kravet på EBU, hur informationen viktas ihop, kan bygga på intuition eller genomföras mekaniskt. Den intuitiva modellen fungerar så att personbedömaren själv i sitt huvud väger in information från tex en intervju och ett test. Det mekaniska tillvägagångsättet använder ofta en statitsik funktion för att vikta samma information. För att uppfylla EBU kravet krävs alltså både att informationen är standardiserad och att viktningen sker på ett mekaniskt sätt, det är själva poängen med EBU.

Varför är då den mekaniska modellen överlägsenhet den intuitiva?

För det första så påverkas validiteten i urvalsbeslutet av hur de olika informationskällorna viktas. Vid den mekaniska tolkningen viktas samma information exakt på samma sätt för alla kandidater, detta betyder är att även om viktningen inte är optimal är den reliabel. Vid den intuitiva subjketiva tolkningen är det näst omöjligt att behålla samma viktning för alla kandidater, särskilt om kandidaterna är många.

För det andra så utgör den mekaniska modellen möjlighet att använda statistiska modeller som alltid vinner över den kognitiva förmågan hos den enskilda personbedömaren. En annan fördel är att erfarenheten (i form av data) kan sparas och viktningen förfinas, vilket inte fungerar med den intuitiva tolkningen där den subjektiva känslan hos bedömaren hela tiden ändrar viktningen utan att ta hänsyn till kriteriet, tex arbetsprestation.

Och för det tredje så leder den intuitiva modellen att mer ”fel” petas in i beslutsmodellen. Intuitiva beslutsfattare har unika viktningar som många gånger ändras över tid utifrån upplevelser av nuvarande medarbetare. Endast kandidater som bekräftar beslutsfattarens upplevda viktning av informationen vid det enstaka tillfället väljs samtidigt som information som förkastar hypotesen bortses ifrån. Den mekaniska modellen reducerar risken att hela tiden fylla på med fel i beslutsprocessen.

Och för det fjärde så har det visat sig att ju mer information som petas in i beslutsprocessen desto mer lider det intuitiva sättet att fatta beslut av sk ”cognitive overload”. När rekryteraren själv ska väga ihop en stor mängd information om flera kandidater så tar ”hårdisken slut” och rekryteraren behöver istället förlita sig på genvägar som bygger på tidigare erfarenhet. Minnet ”tar slut” och denna genväg leder ofta till att tillförlitlig information om kandidaten försvinner på vägen fram till ett urvalsbeslut.

Ett ofta förekommet senario som jag stöter på är att EBU ibland används tillsammans med en intervju. Intervjun är nästan aldrig validerad, det finns alltså inget empriskt stöd för att intervjun på ett träffsäkert sätt verkligen plockar ut rätt kandidat. Om EBU steget innan intervjun använder data från validerade bedömningar (tex intelligens test och personlighetstest), dessa testpoäng vägs ihop statistiskt uppfylls kravet på EBU. Men vad händer om rekryteraren även vill väga in en intervju tillsammans med EBU poängen? Spännande ny forskning visar upp ett mycket tydligt resultat.

En forskargrupp genomförde tre experiment (Kausel, Culbertsson, & Madrid, 2016) där övertro på sin egen förmåga att tolka data från både testresultat och intervju undersöktes.

Övertro är brist på förmåga att känna var gränsen går för sin egen förmåga att fatta urvalsbeslut. Forskarna genomförde två studier med personer som är ansvariga för anställningsbeslut. I studierna presenterades oilka information för olika grupper. Den ena gruppen presenterades endast resultat från psykologiska test (testpoäng från ett intelligenstest och från ett test som mäter målmedvetenhet) och den andra gruppen fick förutom testresultatet även tillgång till resultatet från en intervju.

Resultaten visade att personer som hade tillgång till intervjuresultatet uppvisade större övertro än individer som presenteras med endast testresultat. Dessutom, vilket i sig inte är nytt, vann den statistiska viktningen över den intuitiva tolkningens förmåga att plocka ut rätt kandidater. Förklaringen, menar forskarna, att det blir så här är att när intervjun (som i detta fall inte var valid) introduceras till rekryterarna tas mer hänsyn till irrelevant information och på detta sätt ”viktar” rekryteraren bort valid information (i detta fall intelligens och målmedvetenhet).

I en tredje studie fick rekryterarna samma information som ovan samt ingå i en vadslagning, de fick helt enkelt satsa pengar på den kandidat som de bedömde som bäst. Resultatet var tydligt, de som presenterades med ej tillförlitlig information i form av en intervju hade större tilltro på sin egen förmåga (trots att den var fel) samt satsade större summa pengar på sina kandidater.

Forskarna kunde med denna studie konstatera att informationen från intervjun gör att anställande chefer sannolikt erbjuder för mycket pengar till fel personer när de använder en ostrukturerad intervju tillsammans med valid data från psykologiska test.

Det övergripande resultatet av tre studier kan sammanfattas i en mening.

När beslutsfattare efter EBU petar in egen ostrukturerad information kommer de övervärdera ”fel” information samt betala dessa personer mer i lön för att utföra arbetet.

Detta får naturligtvis praktiska konsekvener och mina förslag är.

  • Använd EBU, samla in data strukturerat och använd en statistisk ekvation för att vikta informationen.
  • Undvik ej validerade metoder tillsammans med EBU poängen.

Men om det inte går att undvika att cheferna vill träffa kandidaterna och ”känna om de passar i gruppen, typ”, vad gör jag då?

Gör detta i slutet av urvalet, då gör det minst skada men ta aldrig in EBU poängen tillsammans med denna information.

Referens

Kausel, E.E.,  Culbertsson, S.S.,  & Madrid, H.P. (2016). Overconfidence in personnel selection: When and why unstructured interview information can hurt hiring decisions. Organizational Behavior and Human Decision Processes, 137, 27-44.

 

Motståndet i rekryteringsbranschen att arbeta evidensbaserat, ett exempel

för2ISO 10667 – Bedömningstjänster i arbetslivet – processer och metoder för bedömning av människor i arbetsrelaterade syften har funnits i snart 5 år på den svenska och internationella marknaden. ISO 10667 har ett evidensbaserat synsätt på bedömningstjänster (tex rekrytering och urvalstjänster). Fram tills idag är det endast ett fåtal organisationer som certifieras sig mot ISO 10067. Certfiering är inget krav, utan vem som helst kan köpa standarden från SIS och börja arbeta enligt standarden. Men varför denna tröghet att arbeta med evidensbaserat urval? Min hypotes är att de stora rekryteringsbyråerna finner ingen orsak att ändra sitt arbetssätt så länge uppdragsgivarna inte ställer krav på rekryteringen. Detta kan spåras i en dom i förvaltningsrätten i Göteborg (mål nr 501-15) från 2015. Leverantören överklagar beslutet att förkasta deras anbud till Göteborgs Stad.

Som argument hävdar Leverantören att det alldeles för kostnadskrävande att certfiera sig och att det strider mot de grundläggande principerna om transparens, proportionalitetsprincipen och likabehandlingsprincipen som ska gälla vid offentlig upphandling. Men vilka krav ställde då Göteborgs stad? Detta är taget direkt från anbudsförfrågan (mina kommentarer inom parantes).

Leverantören ska ange vilka standardiserade processer som används.
Är Leverantörens rekryteringsprocess certfierad enligt ISO10667 ska kopia på certfieringen bifogas. (Här finns det alltså möjlighet för leverantören att certfiera sig av tredje part, tex DNV).

I annat fall ska Leverantören till anbudet bifoga dokumentaion som beskirver de arbetsmoment och metoder som används i samband med rekryteringsprocessen (även om man inte har certiferats kan man här bifoga information om den evidensbaserade processen). Detta omfattar dokumentation för varje enskild metod.

Dokumentationen ska innehålla.

en beskrivning av den modell, teori eller logik som bedömningsmetoden eller processen grundar sig på, t.ex. en teori om organisationskultur, en modell för arbetstillfredsställelse, en teori om individuella intelligensskillnader eller en modell för profilering av arbetsrelaterade kompetenskrav,

när och var evidensen anskaffades och senast uppdaterades,

information om vilken typ av data som samlats in, t.ex. testpoäng, skattningar av assesment-centerövningar, intervjuskattningar, och kollegieskattningar,

information beträffande fastställande av eventuella gränsvärden,

innebörden av slutsatser för användning av metoden eller processen vid bedömningar, inklusive begränsningar i användningen.

Om flera bedömningsmetoder rekommenderas av Leverantören, för att dra slutsatser om de som blir bedömda, ska förklaringen för den integrering av data som utgör grunden för slutsatserna anges liksom evidensen för slutsatserna.

Denna text är mer eller mindre tagen direkt från ISO 10667, vilket betyder att Levernatören har två val, antingen certifiera sig där dessa och en hel del andra krav ställs på leverenatören, eller beskriva i ovan nämnda punkter hur rekyteringsprocessen går till.

Inget av detta kunde verifieras i anbudet ansåg Göteborgs Stad, detta kunde däremot andra leverantörer göra och de fick därför uppdraget. Och det är därför Leverantören överklagar.

Leverantören hävdar vidare i sin argumentation att dessa krav är otydliga och högst subjektiva och att upphandlaren inte har förmåga att bedöma underlaget. Vidare säger Levarantören att ISO 9001 borde gälla som krav (vilket leverantören har certfierat sig mot). Dessutom har Levarantören bifogat andra process- och metodbeskrivningar i anbudet, men eftersom de innehåller företagshemligheter lämnas inte dessa ut som bevis i detta mål. Leverantören, har enligt egen utsaga, lidit skada av att anbudet inte kvalificerad sig till utvärdering.

Detta är inget ovanligt mål, och ingen ovanlig argumentation. Det man tycka är synd är att leverantören inte tar reda på hur ISO 10667 är uppbyggd och hur det kan underlätta arbetet med rekryteringsprocesser. Sedan är det ödets ironi att leverantören hävdar att kraven strider på transparens när det i själva verket var en stor drivkraft att publicera ISO 10667. Sedan är det intressant att leverantören har hemliga processer, snacka om krav på transparens.

Vad sa förvaltningsrätten kanske ni undrar?

Förvaltningsrätten avslår ansökan. Argumentation från förvaltningsrätten var att detta inte strider mot upphandlingsprincipen. Om Göteborgs Stad endast ställt krav på certifiering hade det dock kunna strida mot proportionalitetsprincipen eftersom det skulle utesluta anbudsgivare som har en motsvarande certfiering eller som i och för sig uppfyller kraven på certfiering men ändå saknar en sådan. Men eftersom Göteborgs Stad ställt upp ett alternativt metodkrav för att ge anbudsgivaren (leverantören) möjlighet att visa att de tillämpar evidensbaserade processer så bryter de inte mot proportionalitetsprincipen.

Detta är bara ett exempel mot det motstånd som idag finns i Sverige att arbeta evidensbaserat med urval, jag hoppas nu med denna dom att fler uppdragsgivare börjar ställa högre krav på rekryterare att arbeta vetenskapligt med urval. Inte minst pga av den senaste diskussionen om Riksrevisonens rekryteringsmetoder.

Ytterligare information om polisurvalet

rek2I tidigare inlägg har jag varit kritisk mot både nuvarande polisurvalet och utredningen (Polis i framtiden) om det kommande inträdet på polisutbildningen. Kritiken mot det nuvarande urvalet handlar främst om transparensen i urvalet och hur begåvningspoängen används. Nu har jag fått ny information från både sökande från polisprogrammet och personal på Rekryteringsmyndigheten.

Till skillnad från utredningen beskrivs urvalsprocessen idag var betydligt mer stringent än vad som framgår av utredningen. Gissningsvis har det tagit en tid att skriva utredningen och under den tiden har urvalsprocessen gjorts om av Rekryteringsmydnigheten och Polisen. Det verkar som urvalsprocessen har standardiserats eftersom begåvningstestet unIQ, personlighetstestet NEO och intervjun idag tolkas mekaniskt i processen. Har inte fått information exakt hur dessa saker viktas samman, men definitivt ett steg i rätt riktning.

Psykologintervjun idag utgår från Polisens kravprofil vilken brutits ner i nio aspekter, oklart vilka. Intervjun följer en intervjuguide där psykologerna för varje aspekt har obligatoriska frågor, valfria frågor och tillvalfrågor. Varje aspekt bedöms på en femgradig skala med ankare på varje skalsteg. Ingen helhetsbedömningen görs längre utan informationen vägs istället samman statistiskt dvs mekaniskt. Psykologerna tar löpande anteckningar och måste vid bedömningen dokumentera skälen till sina bedömningar för varje aspekt. Men hitintills har inga studier visat på att denna intervju är valid.

Inget utlåtande lämnas till de sökande istället får de sökande en standardiserad återkoppling med sina resultat och en förklaring till vad de står för. Den nya intervjun är alltså betydligt mer strukturerad än den tidigare även om den inte är helt strukturerad. Och en viss återkoppling sker redan idag.

En stor svaghet, vilken jag hörde att chefspsykologen för 10 år sedan var ytterst kritisk till redan då, är den webbaserade screening som sker före nästa steg när den mer standardiserade processen tar vid med test och betygssållningen. Målet är här att identifiera personer med otillräckliga medicinska med även psykologiska förutsättningar och personer som på annat sätt bedöms som olämpliga för polisyrket (t.ex. på grund av kriminell belastning). Instrumentet som används kallas Polisens webbaserade ansökningsformulär (PWA), en form av biodataformulär. Trots att ett relativt omfattande arbeta ligger bakom formuläret saknas ännu studier som belyser mätegenskaperna och kriterievalditet. Frågorna är relativt transparenta (tex Har du någon gång använt ett annat prestationshöjande preparat än anabola steroider?) så risken för socialt önskvärda svar är stor. Särskilt eftersom samma frågor genomförs även för de som söker om flera gånger. Det är också oklart hur alla dessa frågor bedöms för att komma vidare till nästa steg i processen vilket gör det ytterst tveksamt att använda detta underlag för urvalsbeslut. En annan brist i dagens modell är fysisk kondition, en förhållandevis god prediktor av polisprestation och hälsa, inte vägs in i den slutliga rangordningen. Den nya modellen har mött visst internt motstånd bland psykologer som uppger att de känner sig misstroda, men många psykologer tycker också att modellen är bättre än den tidigare då de kan se de metodologiska fördelarna.

Dr Stefan Annell verkar vara arkitekten bakom denna uppsträckning av urvalsprocessen, förmodligen ville Stefan få igenom än mer standardisering av processen, men enligt uppgift är Stefan helt bortkopplad från arbetet med polisurvalet, vilket naturligtvis är underligt.

Sammannfattningsvis är detta ett steg i rätt riktning, det går att skruva mer på detta, och särskilt angeläget ur ett urvalsperspektiv är att få resursstarka personer att söka utbildningen, en 3:a i begåvning och oklara gränser för hur personlighet och fysik bedöms gör att det finns risk att ”fel” personer tar sig in på utbildningen. Och även om utbildningen stärks så är det naivt att tro att inte urvalet spelar någon roll. Enligt den statliga utredningen är det på förslag att både begåvningstest och personlighetstest tas bort och endast betyg, högskoleprov och psykologbedömningen kvarstår när polisprogrammet går upp i den vanliga högskolan. Innan detta beslut tas borde oberoende forskare få uppdraget att med resultat från Stefan Annells avhandling göra en resultatsammanställning vilka metoder som funkar och vilka som inte funkar. Efter detta borde metod som på bästa möjliga sätt förutsäger både bra och dålig arbetsprestation bland nuvarande poliser väljas. Denna utredning bör inte ledas av personer varken från rekryteringsmyndighet eller polis, för mycket politik kommer då att överskugga logik och rational för vald process.

Tillträde till Polisutbildningen, ny utredning som kommer försämra urvalsprocessen

polis1I maj 2016 kom den nya utredningen om polisutbildningen i Sverige. Utredningen föreslår att grundutbildningen till polisman omformas till en högskoleutbildning. Idag är polisprogrammet upplagt efter 1997 utredning ”Ny grundutbildning för poliser, Polisprogrammet”. Dagens system för antagning till grundutbildningen till polis har kritiserats i vissa delar. Kritiken gäller främst att det inte är tydligt och att processen för urval inte är transparent. Det är Polismyndigheten som idag bestämmer vem som ska antas till utbildningen. Beslutet går inte att överklaga. De som söker idag och inte kommer vidare till sista uttagningsproverna får ingen information om varför de sorterats bort. Senaste tiden har även kritiken varit hård avseende sänkta krav på begåvningsnivå för att bli polis. Med den samlade kunskapen som idag finns i Sverige, tre avhandlingar under senaste åren som försvarats på stockholms universitet om rekrytering och urval, är det bara förvåning jag känner när jag läser kapitel 9 (Tillträde till utbildningen) i den senaste utredningen. Men innan jag går in på detaljer, hur går det till idag för att kunna bli Polis i Sverige?

Ansökning sker via Rekryteringsmyndighetens hemsida.  De sökande som uppfyller kraven får sig tillsänt inloggningsuppgifter och en inbjudan att komplettera ansökan. Den sökande besvarar frågor om hälsa, skolgång, intressen med mera i ett databaserat formulär och Rekryteringsmyndigheten kontrollerar ålder och medborgarskap

Universitets- och högskolerådet kontrollerar sedan den sökandes betyg och omdömen för att kontrollera studiebehörigheten, och räknar ut meritvärdet. De bäst meriterade sökande kallas till tester under två dagar. Simprov, begåvningstest och ett personlighetstest, fysiska och medicinska tester samt en psykologintervju.

Intressant är att inga nivågränser anges i utredningen avseende fysiska och medicinska tester. Inte heller specificeras vad som mäts i psykologintervjun och personlighetstestet.

Vad föreslår utredarna?

Utredarna föreslår att de regler som gäller för krav på grundläggande behörighet för tillträde till högskoleutbildning generellt, ska gälla som utgångspunkt för tillträdeskraven också för den utbildning som leder till polisexamen.

Sedan säger utredarna ”Vår utgångspunkt är att systemet för antagning till utbildningen som leder till polisexamen ska vara transparent och rättssäkert, men också funktionellt, av hög kvalitet och forskningsgrundat”. Därför föreslår utredarna.

De regler som gäller för krav på grundläggande behörighet för tillträde till högskoleutbildning generellt, ska gälla som utgångspunkt för tillträdeskraven också för den utbildning som leder till polisexamen.

OK, jag fattar galoppen. Utredarna vill att  antagningen till polisen ska fungera på samma sätt som vilken högskoleutbildning som helst, en kombination av Högskoleprovet och betyg. Detta uttalas också av företrädare av både Rekryteringsmyndigheten och polisen de senaste veckorna i olika medier.

Utredarna föreslår följande.

Vi anser att Universitets- och högskolerådet bör föreskriva om att en psykologbedömning ska genomföras för antagning till utbildning som leder till polisexamen. Däremot bör begåvningstestet och personlighetstestet
slopas.

Utredarna menar att forskning visat att betyg från gymnasiet och högskoleprov ger goda möjligheter att välja ut studenter som har goda förutsättningar att klara av högskoleutbildning. För detta hänvisar man sedan till Stefan Annells avhandling om hållbar rekrytering.

Anledningen att de vill slopa begåvningstest grundar sig inte på att det inte fungerar, utan snarare ett resonemang att det skulle vara tillräckligt bra utan. Men att just psykologbedömningen skulle vara kvar, den bedömning idag som det inte finns något som helst stöd för att det fungerar, där finns det ingen hänvisning till forskning. Det finns inget i Annells avhandling som varken stödjer att ta bort begåvningstest eller att behålla intervjun.

Utredarna upprepar sedan samma resonemang senare i utredningen.

”Vi har ovan föreslagit att det begåvningstest och det personlighetstest som i dag utgör tillträdeskrav slopas eftersom forskning visar att betyg från gymnasiet och resultat från högskoleprovet utgör ett väl så bra underlag vid bedömningen av vilka sökanden som har goda förutsättningar att klara ut bildningen.”

Vad utredarna fått detta ifrån är oklart. Utredarnas fortsätter sedan, utan att ha något empiriskt stöd och i svepande ordalag, att ”det är viktigt att en psykolog gör en adekvat bedömning av om en sökande utifrån sina förutsättningar är lämplig att utbilda sig till polisman”.

Vi föreslår att psykologintervjun blir en del av prövningen av sökandens lämplighet för utbildningen.

De menar att psykologen har en möjlighet till att göra en intervju som på ett adekvat sätt kan bedöma varje indvids personliga mognad, lyhördhet, flexibelitet, engagemang och ansvarsfullhet.

Nej, det finns inget stöd i forskningen för detta. Det finns ingen begreppsvalidering av att intervjun mäter personliga mognad, lyhördhet, flexibelitet, engagemang och ansvarsfullt  Och det finns ingen prediktiv studie som visar att intervjun förutsäger prestation på utbildning och i polisyrket.

Sedan kommer en obegriplig mening till som handlar om att använda offentliga medel på ett effektivt sätt.

”En lämplighetsprövning i ett tidigt skede, det vill säga innan sökanden blir antagen till utbildningen, minskar risken för att olämpliga personer genomgår utbildningen utan att kunna fullfölja den eller utan att senare kunna bli anställda av Polismyndigheten. Detta medför i sin tur således även en bättre användning av offentliga medel”

Bättre än vaddå? undrar undrar jag. Finns det något stöd för att en psykologintervju i ett tidigt skede skulle vara ett bra sätt att använda offentliga medel? Vad jag vet är just intervjun det dyraste av alla sätt, långt dyrare än att använda betyg, högskoleprov, intelligenstest och personlighetstest!

Sedan utan att närmare specificera hur detta hänger ihop med befintlig forskning för utredarna ett resonemang om hur man gör i officerurvalet vid försvarshögskolan. Och där gör utredarna det vanliga misstaget att hänvisa till den berömda magkänslan där bedömaren på ett magiskt sätt väger ihop all information till en lämplighetsbedömning.

Utredarna beskriver hur en lämplighetsbedömning inför antagning till Officersprogrammet genomförs med Inskrivningsprovet (som jag tror inte utredarna vet är just ett intelligenstest), psykologisk bedömning, intervjuformulär, professionsintervju och psykologintervju, där de tre första momenten genomförs före professions- och psykologintervjuerna och fungerar som ett underlag främst inför psykologintervjun.

Det hänvisas sedan att det är psykologen som ansvarar för analys och bedömning av alla dessa moment. Efter intervjuerna görs en sammanvägning av resultaten från de två delarna, psykologintervjun och professionsintervjun. Denna holistiska sammanvägning kommissionen uttrycks i en heltalsskala 0–3, där 0 innebär att den sökande inte uppfyller kravprofilen för utbildningen, medan 3 betyder att den sökande mycket väl uppfyller kraven för utbildningen.

Precis detta visar Sofia Sjöberg i sin avhandling är ett slöseri med resurser i pengar och ören samt ger en lägre validitet i jämförelse med om samma poäng vägs ihop i en mekanisk ekvation. Snacka om att slösa resurser.

Betyg och prestation

Jag har också berättat att den samlade kunskapen om betygs relation medarbetsprestation, att detta samband försvinner när indvidens intelligens tas hänsyn till, med andra ord intelligens predicerar arbetsprestation bättre i jämförelse med betyg. Jag har också tillsammans med Stefan Annell och Magnus Sverke visat att generell intelligens är en god prediktor till betyg på Polisprogramet och när jag var provopponent på Stefan Annells avhandling visade jag att intelligens samvarierar med betyg som i sin tur samvarierar med inledande praktisk prestation bland poliser. Det vill säga begåvning förutsäger prestation på utbildningen som i sin tur förutsäger prestation som polis i det praktiska arbetet.

Slutsats 

Utredningens kapitel 9 är en efterkonstruktion av ett tänkt svar att överföra Polisprogrammet till en högskoleutbildning och på detta sätt ta bort personlighetstest och begåvningstest men behålla psykolologintervjun. Jag kan köpa att begåvningstest och personlighetstest försvinner utifrån att detta inte finns på andra högskoleutbildningar. Men samtidigt behålla psykologintervjun blir svårsmält eftersom det inte idag finns en enda studie som stödjer intervjun som en god predikar för poliser i Sverige. Förslaget kommer leda till att de valida delarna i polisurvalet tas bort och det dyraste sättet blir kvar där vi inte har något belägg för att det fungerar. Det kommer att försvaga urvalet och det kommer att kosta skattebetalarna mera pengar.

Rekommendationer

Detta säger utredarna är framtidens poliser.

”För att möta dessa krav måste polismän i framtiden i högre utsträckning än i dag ha förmåga att ta till sig och analysera kunskap, att självständigt och kritiskt göra egna bedömningar, urskilja problem och föreslå lösningar”.

Mitt förslag är att tidigt i processen testa begåvning och personlighet till en rimlig kostnad (och detta kan man få tillstånd för av högskoleverket, bland annat läkarlinjen vid KI har använt intelligenstest i många år). De bäst meriterade sökande (de med högst poäng på begåvning och målmedvetenhet och emotionell stabilitet) kallas till simprov, fysiska och medicinska tester samt ett samtal med en erfaren polis/lärarer som beskriver utbildningen och den senare yrkesutövningen. Efter intervjun kan den godkända kandidaten ta ett medvetet beslut om Polisprogrammet är rätt utbildning för hen.

På detta sätt kommer vi få en mer begåvad och personlig lämpad poliskår, som samtidigt är fysisk kapabel att klara de kommande uppgifterna som beskrivs av utredarna. Och processen kommer bli mer jämställd.

 

 

 

Sänkta begåvningskrav på poliser. Men vad betyder det i praktiken?

I våras kunde inte alla platser fyllas på polisutbildningen. Men nu ska antalet poliser öka kraftigt. För att fler ska kunna komma in på polisutbildningen har begåvningskraven sänkts. Även DN rapporterar detta. Lyssna på intervjuer av representanter från Totalförvarets rekryteringsmyndighet och Polisen.

Polisförbundet uttrycker sin oro för att kraven att bli Polis sänks, men är det så att begåvningstest har någon betydelse? Nej, i själva verket används inte poängen på begåvningstest vid polisurvalet, sist jag såg data på detta 2014 så låg korrelationen mellan begåvningstestningen och antagningsbeslutet på .13. Däremot var den samlade subjektiva bedömningen av polis och psykolog helt avgörande, korrelationen av den samlade bedömningen var .82!! Och korrelationen mellan den subjektiva bedömningen och intelligens låg på .12. Med andra ord det spelar ingen roll hur kandidaterna presterar på begåvningstestet, det är psykologen och polisen som intervjuar och tycker sig finna de lämpliga personerna som blir helt avgörande.

För 13 år sedan (2003) när jag jämförde läkarurvalet till Karolinska med urval till Poliser var skillnaden stor. Titta i grafen nedan där jag räknat om poängen på exakt samma testitem till en IQ skala. Eftersom 100 utgör medel i populationen så representerade varken läkare eller poliser någon normalpopulation, med andra ord inte till fördel för polisen. När det gäller läkarurvalet skedde 2003 en mekanisk bedömning av begåvningstestet, kandidaten rangordnades och de som hade högst resultat fick komma på intervju som sedan blev avgörande (dessförinnan användes högskoleprov och betyg).

Polis Läkare

Låt nu säga att vi följer polisens logik när de säger att normalbegåvade ligger mellan 4-6 staninepoäng. Detta bygger på att det är ett mätfel i ett begåvningstest på ca 1 staninepoäng, och den medelbegåvade kandidaten får 5 staninerpoäng. Om man nu sänker kravet från 4 till 3 staninepoäng betyder det att kandidater som ligger ca 1 standardavvikelse under normalbegåvning kan komma in på utbildningen. Det är då bara de (ca 16%) som ligger lägst i Sverige på begåvningstest som inte kan komma in på polisutbildningen (lägger vi till lite mätfel så blir det i stort sätt alla i hela Sverige).

Med denna data kan bara en logisk slutsats dras, strunta i begåvningstestet, det är oetiskt att administrera ett test som inte har någon som helst betydelse för antagningen. Till detta ska läggas till att kandidaterna kan ej överklaga urvalsbeslutet, så all makt till psykologerna och poliserna som utövar holistisk tolkning, som vi vet inte funkar speciellt bra.

Med tanke på den samlade kunskapen om urval som finns idag vid Försvarsmaktens HR Centrum (tack o lov intelligenstestas militären fortfarande) och vid svenska lärosäten (tre avhandlingar har lägst fram senaste åren) kan detta starkt ifrågasättas, särskilt med tanke på att polisutbildningen ska vila på vetenskaplig grund.

Vill du läsa mina tidigare inlägg klicka här

ITC dag 3 och sammanfattning

itc tag2Sammanfattningsvis visar min namnskylt till höger lite om denna konferens, lite slarvigt upplägg. De stackars utställarna (bla Cut-e och Pearson) hade knappt några besökare, liksom vi som hade posters, eftersom denna lokal med posters och utställare inte hängde ihop med de lokaler där seminarierna hölls.

Flera av de seminarier jag var på liknade lite väl mycket ”klubben för egen beundran”, dvs alla vara överens, och då händer ingenting väsentligt för publiken. Några av de som brukar överprestera på dessa konferenser läste innantill, och jag misstänker att arrangörerna mörkade hur många som var där. Officellt skulle det vara 350 personer på ITC i år, jag såg högst 150 tillsammans. Så kan det vara ibland, jag hade ändå intressanta diskussioner med en hel del forskare som jag har nytta av både i forskningen och praktiken.

Sista dagen på ITC bjöd på en Keynote av Anna Brown som idag är ”Senior Lecturer in Psychological Methods and Statistics and Chair of Ethics at University at Kent, UK”. Anna anställdes av Dave Bartram på SHL på 90-talet och Anna är psykometrikern bakom senaste versionen OPQ, ett av världens mest använda personlighetstest. OPQ bygger på den sk Thurstone skalningen med tvingande svarsalternativ. Anna menar att alla de metoder idag som finns för att ”korrigera” för skönmålning av testresultat är tämligen värdelösa. Särskilt de som använder sk lögnskalor som sedan i sin tur korrigerar svaren på tex Big Five test. Anna kunde övertygande visa att hennes forskning att använda tvingande svarsalternativ (tillsammans med modern psykometri) kan var ett sätt att hindra ”bias” i personlighetsmätning, men var samtidigt ödmjuk inför att det är mycket forskning som behöver göras för att vara säker på att detta verkligen sker. En viktig fråga av mer filosofisk art är, finns det någon sanning i testresultat?

Efter detta lyssnade jag på några seminarier som gav mig noll, så jag pendlade mellan ett par olika. Nigel Evans från UK höll ett underbart bra 20 minuters tal om att använda sig av Standards när man ska bedöma personer. Han visade på ett övertygande sätt hur man i England har uppdaterat sin standard för Assessment Center (AC) och hur denna standard sammanflätas med ISO 10667, bedömningstjänster i arbetslivet. I en paus pratade jag med Nigel för jag vet att denna standard förespråkar 100% mekanisk tolkning av bedömningsresultat i ett AC. Det hade blivit ett himla liv om detta i UK bland praktiker när den nya standarden levererades, särskilt bland psykologerna som gillade att diskutera deras AC bedömninagr i en sk konsensusbedömning. Hur är det i Sverige frågade Nigel mig? Samma sak här sa jag, det finns inga i Sverige idag som följer den mekaniska modellen till 100% i ett AC .

Sedan ramlade jag in på ett ytterst intressant seminarium om personlighetens mörka, och då menar jag MÖRKA sida. Det var Professor Paulhus som var med och myntade uttrycket ”den mörka triaden”: machiavellianism, narcissism, och psykopati. Denna typ av forskning genömförs ofta på djupt kriminella personer som sitter bakom lås och bom. Paulhus & Co har gjort en kortversion av deras mörka-triad-test som han redovisade på konferensen. Dessutom meddelande han att ytterligare en dimension till triaden har adderats, sadism, som enligt Paulhus handlar om ”an appetite to hurt other people”.  Kanske inte något som passar i arsenalen av rekryteringstest…..eller? Vill ni läsa mer om detta klicka här.

Sammantaget får ITC 2016 en svag trea i betyg (tänk relativt system, gamla hederliga svenska betygsystemet). Det som förgyllde denna konferens var Deniz Ones, vilken forskare, WOW.

ITC dag 2

ITC2Dagens första keynote hölls av Maria Araceli Ruiz-Primo och handlade om formativa bedömningar inom skolans värld.

Formativa bedömnningar används i undervisningen för att utveckla studenter för ett djupare lärande i skolan. Detta skiljer från traditionella tentor eller prov som endast ska användas för betygsättning av elevens kunskap, enkelt uttryckt. Detta, menar Maria, har gjort det möjligt för testbranschen att sälja sk interim testing, alltså kunskapsmätande bedömningar mellan proven. Maria menar att ingenting i forskningen visar att dessa formativa bedömningar ger något för inlärningen, dvs att bara mäta saker betyder ingenting för lärande, vilket naturligtvis är ganska självklart kan jag tycka. Givet att dessa mätningar är reliabla och valida så är det vad som händer mellan mätningarna som betyder något, dvs vad läraren gör för att ge återkoppling av resultatet så att ett lärande kan ske.

Det råder inget tvivel på att mätningar av kunskap kan identifiera svagpresterande, men det enda som händer är att läraren ger mer undervisning till eleven, så mätningen betyder inget för lärandet i klassrummet. Dock har det formativa mätningen en effekt om läraren kontiunerligt upprepar verbalt varför man ska göra vissa saker i klassrummet och hur detta är kopplat till lärandemålet för kursen.

Tyvärr visar Marias forskning på nedslående resultat om lärares förmåga att koppla undervisningen till lärandemål. När lärare videofilmades under 429 dagar nämnde inte lärararna lärandemålen under 296 av dagarna (69%). Kontentan är att vi undervisar utan att nämna varför, hur ska då eleverna förstå varför man är i skolan? Resultatet blir än mer nedslående när lärarna intervjuas, de flesta kan inte tydligt förklara varför man gör som man gör i klassrummet. The ”take home message” av denna föreläsning är att jobba med lärandemålen.

  1. Definera lärandemålen
  2. Förklara lärandemålen
  3. Förklara vilka steg som finns i undervisningen
  4. Förklara hur dessa steg samvarierar med lärandemålet
  5. Samt förklara hur bedömningen mäter om eleven/studenten uppnått lärandemålen.

Nästa keynote talare var ingen mindre än Professor Deniz Ones vid University of Minnesota där hon leder ett sk Industrial-Organizational Psychology program. Deniz fick sin Ph.D från University of Iowa 1993 under handledning av Frank Schmidt. Hennes forskning, är publicerad i ca 200 artiklar och bokkapitel. Deniz forskning fokuserar på urval, mätning av personlighet, integritet och kognitiv förmåga och hennes forskning har citerats över 12 500 gånger! i den vetenskapliga litteraturen. Dessutom har hon fått ett gäng av de finaste utmärkelserna man kan tänka sig som akademiker inom psykologiområdet. Deniz har även varit ordförande för American Psychological Associations kommitté för psykologiska test och bedömningar. När hon jobbar som konsult (i USA kan man faktiskt kombinera forskning med praktik!!) fokuserar hon på att hjälpa organisationer utforma valida och rättvisa urvalsprocesser. RESPEKT.

Personlighetsmätning delade Deniz in i två kategorier, den första är det sätt som vi känner till från urvalsforskningen att vi mäter typiska personlighetsbeteenden i normalpopulationen. Den andra sättet är personlighetens extrema beteenden, dvs kliniska tillstånd som tex antisocialt beteende. Deniz visade att dessa sätt skiljer sig åt eftersom det skiljer sig att mäta vanligt förekommande personlighetsdrag och motsvarande extrema tillstånd hos individen. Låt säga att vi ska mäta normala tillstånd kanske ett item kan lyda: ”ibland litar jag aldrig på andra”, om detta påstående dras till sin ytterlighet skulle samma item lyda, ”jag har aldrig litat på någon i hela mitt liv” (båda item indikerar på låg sympatiskhet och som ingår som markör för antisocialt beteende).

Deniz menar att forskningen framöver kommer att fokusera på förhöjda eller låga värden på personlighetsskalor (+/- 1 SD), mörka sidan av personlighet (+/- 2 SD över medel) och extremvärden (+-3 SD), de senare värdena som är extrema kan jämföras med instrument som används inom den kliniska forskningen. Det som förenar den kliniska forskningen med den normala är just nu att båda forskningstraditionerna har en Big Five modell, den liknar varandra men har också olikheter. En olikhet är öppenhet som inte finns i den kliniska forskningen såsom den finns i övrig personlighetsforskning. Deniz gick igenom en stor del av forskningen som försöker förklara strukturen hos människans personlighet, ett ämne som kommer att forskas om mycket i framtiden. Det som stod klart är att strukturen är komplicerad, mycket mer komplicerad i jämförelse med den kognitiva forskningens generella faktor och underfaktorer. Förmodligen finns det ett antal olika nivåer även i personlighet och man kan inte utesluta att det rör sig om fem sex olika nivåer, allt från en generell faktor ned till mindre underfaktorer. Spännande att följa kommande publicering i form av en meta-analys där Deniz & Co har samlat in alla testmanualer som publicerat en korrelationsmatris, denna meta korrelationsmatris ska sedan ska ligga till grund för en ny klassifceringen över personlighetens domän som har syfte att gifta olika forskningstraditioner. Det är ytterst spännande att följa, inte minst för att jag och Sofia Sjöberg har bidragit med resultat från de test vi själva har utvecklat, MINT, MAP och PJP.

Efter lunch hade jag en egen poster presentation, sedan gick jag vidare på några seminarier som inte riktigt lyfte.  Avslutade dagen med en god middag i hamnen med familjen, och laddar nu inför morgondagen.

harbour2