Vi firade i förra veckan officiell invigning av vårt nya företag, Henrysson, Åkerlund & Sjöberg AB, och vi var extra glada att göra det i Tändstickspalatset.

 

Tack alla som kom och här kan ni läsa Marias invigningstal.

Den 15 – 17 maj 2014 anordnar Society for Industrial and Organizational Psychology, SIOP, den 29:de årliga SIOP-konferensen i Honolulu, Hawaii. Henrysson, Åkerlund och Sjöberg AB anordnar SIOP-safari för alla som ska delta och som vill förbereda sig, få hjälp att lägga upp ett eget konferensprogram och möjlighet att smälta information och dra slutsatser tillsammans med andra.

Guider på safarin är Sara Henrysson Eidvall och Maria Åkerlund, vana konferensdeltagare och erfarna arbets- och organisationspsykologer.

LÄS MER

Info om hotell

 

Den tioårsjubilerande kommunala verksamheten Center för ledarutveckling håller hög klass – det har man papper på. I förra veckan kom bekräftelsen på att CLU:s verksamhet blivit ISO-certifierad. Eva Bergvall, chef på Center för Ledarutveckling, var med redan hösten 2003 när CLU etablerades. Göteborgs Stad ville söka vägar att utveckla chefsrollen, men än viktigare: man behövde stöd i rekryteringsprocessen av nya chefer.

KLICKA HÄR för att läsa hela artikeln.

I de allra flesta fall används intervjun i urvalsporocessen. Till skillnad från personlighet och intelligens så är det högst oklart vad som mäts i intervjun. Detta är inte heller konstigt då intervjun inte är ett psykologiskt begrepp som det går att enas om vad det mäter (beror på situation). Men det kan ändå vara intressant att veta hur mycket av kognitiv förmåga vi i allmänhet fångar i intervjun, då det får konsekvenser hur vi sedan väger ihop intervjun med intelligens- och personlighetspoäng. Nya resultat har publicerats för att klargöra detta.

I en artikel publicerad i Journal of Personnel Psychology har Philip Roth och Allen Huffcutt gått igenom litteraturen för att ta fram en uppskattning av hur mycket urvalsintervjun överlappar (mäter samma sak) som ett intelligenstest. Det har gjorts flera sk meta analyser inom området och denna är en sammanfattning med frågeställningen specifikt riktad på urvalsintervjun när intervjuaren INTE sett intelligenspoängen innan intervjun. (I de allra flesta fall så ser intervjuaren intelligenspoängen innan intervjun och gör en egen viktning, men det är ju som bekant helt fel).

Författarna har följande sakliga argument varför intelligens poängen har ett positivt samband med intervjupoängen.

• I många intervjuer ingår frågor om kunskap, eftersom inlärning har ett positivt samband med intelligens bör därför intervjun spegla intelligens
• När intervjuaren frågar om tidigare goda prestationer bör detta spegla intelligens då tidigare prestation bör ha ett positivt samband med intelligens
• Den som har hög intelligens, till skillnad från den som har låg intelligens, förstår frågorna bättre, svarar på frågorna snabbare, och mer ”korrekt” och med relevant innehåll
• Hög intelligens kan betyda att det är lättare att imponera på intervjuaren
• Det har visat sig att intervjun bygger på en generell bedömning, eftersom det visat sig att den generella bedömningen har ett positivt samband med intelligens så bör det finnas ett positivt samband mellan intelligens och intervju

Resultatet tyder på att någonstans mellan 24% och 59% mäter intervjun samma sak som intelligenstestet, medelkorrelationen låg på 0.42. Författarna pekar på brister i tidigare metanalyser och menar på att när man ska avväga hur intervjun tolkas ihop med intelligenspoängen bör det tas hänsyn till att ca 40% av variationen är gemensam mellan intervjupoängen och intelligenspoängen.

Detta är naturligtvis generella uppskattningar. För att veta hur intervjun ska vägas ihop med intelligenspoängen bör dessa undersökningar genomföras för varje typ av urvalsintervju (och kanske varje enskild intervjuare) och intelligenspoäng, först då vet vi har dessa två metoder ska vägas ihop maximalt för att förutsäga beteenden i arbetslivet.

Referens

Roth. P.L., & Huffcutt, A. I. (2013). A meta analysis of interviews and cognitive ability. Journal of Personnel Psychology, 12, 157-169.

En av de mest framgångsrika forskarna inom urvalspsykologi, Frank Schmidt, skrev 2006 i The Industrial-Organizational Psychologist, the TIP, följande om urval.

“Some years back I realized that personnel selection had become a churning arena of constant irrationality. There is a huge disconnect between what we know to be true from research and what people pretend to be true. There is a serious corruption of scientific truth caused by legal and ideological intrusions into the field of selection and the failure of the profession to respond appropriately to these intrusions” (sid  27).

Och jag håller med. Forskningen talar för sig själv men praktiken säger något annat. När resultatet från 1 392 mekaniska bedömningar jämfördes med 1 156 intuitiva bedömningar som gjorts avseende förmågan att förutsäga arbetsprestation, fann forskarna att den intuitiva tolkningen gör så att minst 50% av den prediktiva kraften förloras (Kuncel et al, 2013). Sammanfattningsvis kan man säga att; om du använder ett urvalsystem med reliabla och valida bedömningar förlorar du 50% av effektiviteten i dina urvalsbedömningar om du till slut gör en helhetsbedömning av dina resultat som bygger på din intuitiva förmåga. Istället säger forskningen att du ska fatta beslut genom att låta en statistisk ekvation stå för din sammanvägning av information som ligger till grund för urvalsbeslutet.

Nu när finns det forskningsresultat som sammanställts för jämförelse mellan den mekaniska och intuitiva modellen vad gäller förmågan att förutsäga prestation på arbetet, och resultatet pekar tydligt i en riktning, så argumenteras ändå livligt att detta resultat inte stämmer, se tex Psykologtidningen. Jag tycker det är bra att det sker en diskussion för detta är en viktig fråga inte minst utifrån att urvalsbeslut kan vara en orsak till diskriminering i arbetslivet.

Men det finns även de forskare som inte kan acceptera detta resultat. I ett nyhetsbrev säger professor Lennart Sjöberg detta.

”Arne Trankell visade i en omfattande studie redan på 1950-talet att kompetenta bedömare kunde ge bättre resultat än en statistisk formel för sammanvägning av testresultat”

Problemet är att detta publicerades 1959, det är idag 2013, och Lennart, forskningen går framåt. Arne Trankells studie var bra på den tiden, den är publicerad i en högst ansedd tidskrift (samma tidskrift som Kuncel et al, 2013). Men med dagens kunskap om meta analyser (vilket inte fanns då) skulle den aldrig få publicerats. Det är tråkigt att en seriös och kunnig forskare och professor som Lennart inte läser på innan han uttalar sig, och framför allt tråkigt för de praktiker som vill ha råd från forskning hur man ska göra bästa möjliga urval. Tyvärr tror jag att Arne Trankells studie, rent historiskt, har fått alltför stor plats inom den svenska urvalsarbetet. Och det blir patetiskt att studien dyker upp på detta sätt som ett argument i debatten, 54 år senare!

Referenser

Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013, September 16). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034156

Trankell, A. (1959). The psychologist as an instrument of prediction. Journal of Applied Psychology, 43, 170-175.

 

 

Igår hölls rekryteringsdagen i Norge som anordnades av Handelshøyskolen BI i Oslo och Det Norske Veritas (DNV). Under temat rekrytering fanns det en hel del att lyssna på. Bland mycket annat pratade Jens Skyman om LinkedIN i rekryteringen, Ole Iversen hade analyserat hur anställningsannonser stämmer med verkligheten, och Lena Nilsson berättade hur Telenor arbetar med sin urvalsprocess. Själv bidrog jag att försöka reda upp i definitionerna om Evne och Intelligens. 80% av publiken sade sig använda Evne test och endast 2 stycken av ca 200 sade sig använda intelligenstest. Jag berättade historian bakom intelligensbegreppet och gav förslaget att summera ihop flera Evne test till en intelligenspoäng som kan kallas generell Evne (gE). Hela presentationen går att ladda ned här.

BI 2013 Anders Sjöberg

 

ISO 10667 gör att organisationer på ett effektivare sätt kan bedöma personer, fatta bättre anställningsbeslut samt förbättra förutsättningarna för sina anställda. Nu har den första bedömningstjänsten i Sverige blivit certifierad.

Grattis till center för ledarutveckling (CLU) i Göteborgs stad som enligt DNV uppfyller de krav som ställs i ISO 10667, del 2 krav på leverantörer av bedömningstjänster.

Assessment Center (AC) i Göteborgs Stad har utvecklats för att bedöma beteenden utifrån ett antal dimensioner som i valideringsstudier visat sig förutsäga viktiga beteenden för chefer i Göteborgs stad. Detta AC är uppbyggt av olika övningar som deltagarna genomför. I övningarna blir bedömningsdeltagaren observerad av olika bedömare. I detta AC ingår också ett standardiserade intelligenstest. Övningarna som bedöms på CLU kan sammanfattas i fyra dimensioner; lyhördhet, påverka andra, mål & resultat, samt analytisk förmåga.

CLU poängsätter dimensionerna i AC tillsammans med ett intelligenstest enligt en strikt standardiserat process och dimensionerna vägs sedan ihop med en mekanisk (statistisk) ekvation. För övrigt följer CLU, enligt DNV, de krav  i ISO 10667 för vad leverantören ska göra före, under och efter bedömningen.

Jag har haft förmånen att själv följa utvecklingen av CLU under många år, både som forskare och som leverantör av expertiskunskap inom psykometri, och tycker att CLU uppfyller de krav som bör ställas på ett evidensbaserat assessement center. Grattis alla medarbetare på CLU.

– Anders

 

Information om kandidater som söker ett arbete kan vägas ihop av bedömare på två olika sätt. Väljer man intuitiv tolkning, även kallad magkänsla eller helhetsbedömning, så försämras den prediktiva förmågan med i snitt 50% när arbetsprestation ska förutsägas. Delar av detta resultat presenterades redan 2008 på en konferens i USA. Igår publicerades en uppdatering av studien i Journal of Applied Psychology.

Det har länge varit känt att den mekaniska tolkningen är överlägsen den intuitiva tolkningen på en mängd olika områden inom den kliniska psykologin, dock är forskningsresultaten få om vilka konsekvenser det blir av att de allra flesta fortsätter att använda den intuitiva helhetsbedömningen inom urval och rekrytering.

Nu finns det forskningsresultat som sammanställts för jämförelse mellan den mekaniska och intuitiva modellen vad gäller förmågan att förutsäga prestation på arbetet. Det är forskarna Nathan R. Kuncel, David M. Klieger, Brian S. Connelly och Deniz S. Ones som som igår publicerade en meta analys i frågan, där samtliga studier som finns publicerade jämför den mekaniska och intuitiva sammanvägningen av information för att ta urvalsbeslut. När resultatet från 1 392 mekaniska bedömningar jämfördes med 1 156 intuitiva bedömningar som gjorts avseende förmågan att förutsäga arbetsprestation, fann forskarna att den intuitiva tolkningen gör så att minst 50% av den prediktiva kraften förloras. Sammanfattningsvis kan man säga att; om du använder ett urvalsystem med reliabla och valida bedömningar förlorar du 50% av effektiviteten i dina urvalsbedömningar om du till slut gör en helhetsbedömning av dina resultat som bygger på din intuitiva förmåga. Istället ska du fatta beslut genom att låta en statistisk algoritm stå för ditt beslut vilken kandidat du ska välja eller skicka vidare i processen.

Forskarna konstaterar att detta trots att bedömarna i studien är experter på urval, samt att i de flesta studier har experterna haft mer information om kandidaterna i jämförelse vad som vägts ihop av en statistisk formel. Med andra ord, när vi överlåter tolkningen till en person att subjektivt tolka resultatet av en personbedömning (istället för att ha en förutbestämd poängsättning av samma kunskaper, begåvning, personlighet etc) förloras upp till hälften av förmågan att plocka ut rätt person till jobbet. Då har vi ändå inte berört kostnaden för den intuitiva tolkningen i jämförelse med den mekaniska. Den intuitiva tolkningen tar längre tid och kostar därför ofta betydlig mer i jämförelse med i en algoritm. Forskningsresultat  kommer snart publiceras hur mycket du tjänar i kronor och ören på ett evidensbaserat urval med mekanisk sammanvägning av resultatet.

Kolla gärna in Assessment Engine, vi bygger mekaniska processer för urval.

Referenser

Kuncel, N. R., Klieger, D., Connelly, B., S. & Ones, D. S. (2008, April). Mechanical versus clinical data combination in I/O psychology. In I. H. Kwaske (Chair), Individual Assessment: Does the research support the practice? Paper presented at the annual meeting for the Society for Industrial and Organizational- Psychologists, San Francisco, CA.

Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013, September 16). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034156

Assessment Center (AC) är en vanligt förekommande metod vid urval och rekrytering. Ett AC är ofta en sammansättning av flera olika övningar som bedöms av professionella bedömare. Som beslutsunderlag används en övergripande poäng som räknas fram antingen mekaniskt (som en summa av delar) eller kliniskt (genom en kvalitativ diskussion). Inom forskningen har flera frågor diskuterats under lång tid. Den första frågan avser AC:s begreppsvaliditet, dvs vad det egentligen mäter. Den andra frågan är hur effektivt ett AC är för att förutsäga senare arbetsprestation. Nedan diskuteras några avgörande resultat som kan användas för att hjälpa organisationer utveckla effektiva AC. 

I de allra flesta AC i Sverige säger leverantören att deras AC mäter olika typer av kompetenser såsom problemlösningsförmåga och social kompetens. I forskningslitteraturen kallas detta dimensioner. I en ofta citerad artikel från 1982 (Sackett, & Dreher, 1982) fann forskarna att det inte alls var dimensionerna som var framträdande, istället var det de olika övningarna (postkorg, presentation) som stod för den unika variansen som skiljde kandidater åt i prestation. Sedan dess har många studier publicerats som både ger stöd för att dimensionerna och övningarna bör ingå som beslutsunderlag vid AC.

Nu har Sackett & Kuncel (2013) publicerat en ny studie i Journal of Applied Psychology som sätter punkt för en lång debatt. Författarna konstaterar att Sackett & Dreher, 1982) hade fel, det är dimensionerna som står för den primära informationen i ett AC. Övningarna ska ses som situationer där kandidaterna får visa sina kompetenser, och det är först och främst dimensionerna som ska poängsättas och sedan fungera som beslutsunderlag. Genom att analysera resultatet av inte mindre än fyra meta analyser finner de att summeringen av dimensionerna är den poängsättning som har högst reliabilitet.

Ofta så är det inte bara dimensionerna utifrån övningarna i ett AC som poängsätts, utan i samma AC testas kandidaterna med personlighetsformulär och intelligenstest. Frågan är således om AC dimensionerna ö h t tillför någon valid information för att förutsäga arbetsprestation utöver det vi kan mäta med test. I en meta analys i denna fråga visar Meriac, et al (2008) att AC tillför valid information utöver personlighet och intelligens. Genom att meta analysera relationen mellan intelligens, fem personlighetsfaktorer (Big 5), sju dimensioner av AC och prestation fann forskarna att de sju dimensionerna tillförde validitet (ca 10%) när man konstanthållit för intelligens och Big Five.

Således ska dimensionerna poängsättas i ett AC, och ni som använder AC kan räkna med att det förbättrar ert urvalsbeslut med ca 10% utöver ett intelligenstest och ett personlighetstest. Dessa 10% förbättring av urvalet ska sättas i relation till kostnaden av att utveckla och driva ett AC, först då avgörs det om det är ”värt mödan”.

Referenser

Kuncel, N. R., & Sackett, P. R. (2013, August 19). Resolving the Assessment Center Construct Validity Problem (as We Know It). Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034147.

Meriac, J.P., Hoffman, B.J., Woehr, D.J., & Fleischer, M. (2008). Further evidence for the validity of assessment center dimensions: A meta-Analysis of the incremental criterion-related validity of assessment center ratings. Journal of Applied Psychology, 93, 1042-1052.

Sackett, P. R., & Dreher, G. F. (1982). Constructs and assessment center dimensions: Some troubling empirical findings. Journal of Applied Psychology, 67, 401–410. doi:10.1037/0021-9010.67.4.401

Vi är stolta över att kunna presentera vårt gemensamma företag: Henrysson, Åkerlund & Sjöberg AB. Vi erbjuder tydlig, kunskapsbaserad och utvärderingsbar metodik inom arbets- och organisationspsykologi. Vi vill lyfta fram tre begrepp: evidens, transparens och ansvarsskyldighet. Evidens betyder att allt vi gör ska vila på vetenskaplig grund. Transparens är att vi ska kunna beskriva för uppdragsgivaren vad vi gör och varför vi gör det. Och ansvarsskyldighet innebär att vi lovar inget som vi inte kan hålla.

TILL HEMSIDAN Henrysson, Åkerlund & Sjöberg AB