Rockwoolfonden fejler i at påvise lærerbias

 Rockwoolfonden er i et nyt studie kommet frem til at lærere må være biased imod drenge og ikke-vestlige invandrere, men deres studiedesign kan ikke påvise det. 

Humlen er kort sagt at hvis man f.eks. kigger på drenge og piger der scorer ens på læseprøven i dansk ved 9.klasses afgangsprøver, så vil man finde at drengene i gennemsnit, får lavere standspunktskarakterer af deres underviser i faget, selv hvis de klarede sig ligeså godt som pigerne til prøven. At nogle drenge der scorer det samme som nogle piger til prøven, samtidig vurderes lavere i standpunkt, tolkes af Rockwool fonden som en indikation på bias. Måske underviserne vurderer drengene anderledes i standpunkt, fordi de også mere eller mindre ubevidst, medtager deres personlige holdning til dem, og drenge i den alder er jo super irriterende, så hvorfor ikke? Hvad ellers kan denne forskel mellem standpunktskarakter og prøveresultat betyde? 

Problemet med den analyse er, at der kun er én eneste prøve blandt folkeskolens afgangsprøver, hvor det er en plausibel antagelse, at eleven skal opnå i prøven, hvad de opnår i standpunkt og det er mundtlig engelsk. Ved alle andre prøver er der en tvivlsom sammenhæng mellem standpunkt og prøvekarakterer. F.eks. scorer både drenge og piger generelt højere i standpunkt i læsning end de gør til prøven (hvordan passer det i øvrigt med lærerbias hypotesen? Læreren kan bedre lide alle eleverne når censor ikke er der, men pigerne allermest?). Korrelationen mellem drenges standpunktskarakterer i læsning og deres karakterer i læseprøven fra 2007 til 2024 er 0,16, og for pigerne 0,14. Der er altså ingen sammenhæng mellem de karakterer, som elevernes undervisere giver dem i standpunkt i læsning og de karakterer de får til årsprøven. Det er i den forstand en svag prøve, hvor vi må antage at overlappet mellem undervisning i faget og så prøven er lille. Til sammenligning er engelskprøven den mest præcise prøve af alle, da både drenge og pigers standpunktskarakterer korrellerer 0,95 med prøvekaraktererne. Man kan med andre ord forudse med høj præcision, hvad en elev vil opnå til engelskprøven, ud fra hvad de har opnået i standpunktskarakter. At udvælge de drenge og piger der scorer det samme til prøven, og antage at forskellen mellem deres standpunktskarakterer må være tegn på diskrimination, er et eksempel på diskrimination af data, når man tager udgangspunkt i prøver der har så svag en kobling til faget.

Over tid er forskellen mellem elevernes karakterer i læseprøven og deres karakterer i standpunkt også blevet mindre. Det betyder at man i f.eks. 2011 kunne finde mange flere par af drenge og piger der scorede det samme til prøven, men ikke i standpunkt, end man kunne i 2016. Hvorfor var lærerne mindre biased i 2016? I standpunkt i matematik ligger pigerne og drengene næsten lige det meste af tiden, men til prøverne har drengene det med at overhale. Fordi vi taler omkring 60.000 elever hvert år, vil man også her kunne finde en masse par af piger og drenge der opnår det samme til prøven, men hvor drengene ligger under i standpunkt, men der er bare mange færre af de par i det fag. Hvorfor er matematikundervisere så meget mindre biased end dansklærerne? 

I stedet for at lave en analyse som Rockwool fondens, som obfuskerer konteksten for deres observationer, kunne Rockwool også blot have påpeget at drenge generelt ligger under piger i standpunkt i flertallet af fag. Det kan jo være på grund af lærerbias. Tager man det argument bliver man imidlertid også nødt til at forklare, hvorfor censors tilstedeværelse til eksamen gør en forskel, når censor selv er en af de tilsyneladende mange, fordomsfulde undervisere? 

En bedre forklaringsmodel for forskellen mellem standpunkt og prøvekarakterer, er at det simpelthen er to forskellige ting. Noget som Rockwoolfonden selv har påvist i et andet studie de udgav samtidig med det ovennævnte. 

Der er ingen tvivl om, hvis man lavede en kvalitativ undersøgelse af folkeskolelæreres biases, at man kunne finde fordomme i alle mulige retninger. I 2020 var der omkring 47.000 lærerårsværk i grundskolen (både folke, privat og fri). Tilsammen kommer produktet af deres akkummulerede biaser ikke til at ændre sig fra år til år. Forestil dig eksempelvis at en gruppe på 100 folkeskolelærere laver en klub for at fremme kvinder i samfundet, ved systematisk at give dem højere karakterer i grundskolen. Det er en stor klub, selv hvis underviserne har samme fag, er de ikke nok til at rykke landsgennemsnittet eller gennemsnittet for en given region. Måske de kan rykke kommunegennemsnittet, hvis de giver karakterer i samme kommune. Så mange lærere ændrer sig ikke nok fra år til år til at påvirke de store gennemsnit. Der er ikke nok af dem som på én gang går på pension, bliver færdiguddannet, eller bliver ideologisk indoktrineret, eller hvad man ellers kunne forestille sig. Det samlede lærerkollegium, eller bare den andel som underviser i udskolingen, er ganske enkelt på et andet niveau af emergens, end de enkelte undervisere. Vi kan sikkert sagtens finde tegn på bias i kvalitative studier, vi vil ikke kunne finde en effekt af sådanne biaser på karakterer, på højeres, kvantitative niveauer. Og derfor har Rockwoolfonden heller ikke succesfuldt påvist sådan en effekt.

Jeg kritiserede også Rockwoolfondens studie før det blev udgivet, læs kritikken her.