När psykologiska test granskas i Europa används ”EFPA REVIEW MODEL FOR THE DESCRIPTION AND EVALUATION OF PSYCHOLOGICAL AND EDUCATIONAL TESTS” som kriterie för vad som ska granskas av de bedömare som genomför granskningen. En arbetsgrupp bestående av Arne Evers (chair, the Netherlands), Carmen Hagemeister (Germany), Andreas Høstmælingen (Norway), Patricia Lindley (UK) José Muñiz (Spain) och Anders Sjöberg (Sweden) presenterade en revision av de riktlinjer som gäller idag på ett möte i Bryssel förra veckan.
EFPA Board of Assessment som är den grupp som handskas med testrelaterade frågor röstade JA till att denna version kan gå ut på offentlig remiss i början av 2013. Förhoppningsvis kommer de nya riktlinjerna att gälla från hösten 2013. Även om de nya riktlinjerna bygger mycket på de gamla så är det några förändringar som bör poängteras. För det första så har ett längre avsnitt om validitet lagts till som förklarar ett ställningstagander att ett test inte isolerat kan valideras, utan måste sättas i relation till vilka beslut som ska tas efter att testpoängen räknats fram. För det andra har det tydliggjorts att de testförlag som säger att deras test går att användas för en mängd olika områden (utveckling, urval) behövs det mer bevis i jämförelse med förlag som säger att deras test är framtaget för ett syfte (urval inom försäljning). För det tredje har avsnittet om datagenerade tolkningsrapporter arbetats om, här bör granskningen inte bara titta på kvalieten i rapporterna utan också granska hur väl valideringsstudierna stödjer texten i datarapporten. Det går sålunda inte att komma undan med att redovisa en korrelation med ett kriterie om man inte också kan redovisa hur det hänger samman med vad som sägs i rapporten.
Ett längre avsnitt är nu ägnat åt en beskrivning vilka normer som använts och vilken rational som finns för hur dessa har räknats fram. Skrämmande många uppdragsgivare och leverantörer vet idag inte hur normerna räknats fram, vilket kan få vida konsekvenser vid beslutsfattande. På marknaden finns det företag som idag räknar fram särskilda normer för kunder (sk egna normer) som inte hänger ihop med resultatet som genereras av testsystemen.
När de nya riktlinjerna är klara får det konsekvenser för de organisationer som idag sköter testgranskningen i olika länder. I Norge är det Det Norskes Veritas (DNV) och i Sverige är det Stiftelsen för Tillämpad Psykologi (STP) som är ansvariga för att granska testkvaliteten. I England är det British Psychological Society (BPS) och i både Spanien och Nederländerna är respektive psykologförbund ansvariga för granskningen. Även om alla dessa länder har samma utgångspunkt, EFPA REVIEW MODEL, så är tillvägagångssättet vid granskningen olika. I Sverige och Norge får testförlag betala för att bli granskade, i övriga länder är det gratis. I Spanien och Nederländerna granskas alla typer av psykologiska test, i Norge och Sverige granskas bara test som används för arbetspsykologiska beslut.
Endast i Norge är den slutliga rapporten hemlig i den mening att det är det betalande förlaget som äger rapporten. I övriga länder är rapporten offentlig, i en del länder kostar det pengar att köpa rapporten i andra länder är det gratis. Endast i Norge och England godkänner eller underkänner man test, i övriga länder arbetar man efter den amerikanska modellen att granskarna beskriver kvaliteten i materialet och i valideringsstudierna. I Norge får testförlagen vara med och bestämma vilka som ska vara granskare, i Sverige utser STP granskare vars namn är anonyma.
Det är inte så av automatik att ett granskat test i ett land är granskat i andra länder, och det är inte heller riktlinjernas mål. Sålunda kommer inte test i framtiden godkännas eller underkännas av EFPA, det är upp till förbunden och marknaden i respektive land att bestämma hur riktlinjerna ska användas. I nästan alla länder görs och en anpassning av riktlinjerna, så faktum är att inte något land har samma system. Psychometrics meddelar i början av nästa år när riktlinjerna går ut på remiss, endast förslag som i texten är konkretiserade kommer att behandlas av arbetsgruppen. Innan riktlinjerna faststlås måste den nya modellen godkännas av ledningsgruppen i EFPA.
Synes jo det er merkelig at sluttrapporten skal holdes hemmelig i Norge og at testleverandørene selv kan få være med å bestemme hvem som skal være granskere. Man burde jo også jobbe for å få på plass et internasjonalt regelverk som gjør at alle land kan bruke samme system.
Hej Elene,
Det bästa vore förstås, som du säger, att alla jobbade enligt samma system. Dessvärre tror jag att det är omöjligt att komma dithän, det finns för många olikheter i våra europeiska länder för att marknaden kan lösa detta, dessutom finns det inget regelverk som kan ta hand om detta. EFPA review model är ett dokument att utgå från när testkvalitet diskuteras, men det finns andra dokument som också kan användas, ett som jag på tycker på ett bra sätt kompletterar EFPA är amerikanarnas Test Standars for educational and psychological testing.