Tryg Fondens Børneforskningscenter arbejder med forkerte antagelser i nyt studie

I en ny analyse (side 20) finder forskere fra TrygFondens Børneforskningscenter, at det kan hjælpe elever i 9.klasse at komme op i en obligatorisk mundtlig eksamen i matematik. Men undersøgelsen lever ikke op til almindelige standarder for uddannelsesforskning og årsagen er formentlig at forskerne i dette tilfælde er økonomer og politologer, og derfor arbejder med andre statistiske grundantagelser. 

Forskerne finder blandt andet at 1,1% flere drenge i 9. Klasse som blev udtrukket til mundtlig prøve i matematik, end de drenge som trak andre fag, gennemførte en gymnasial uddannelse senere hen. Effekten af at have været til mundtlig prøve i matematik på senere gennemførelse af gymnasiet er med andre ord 0,011. Sådan en effekt kan måske have noget på sig i et økonomisk studie, hvor variablene er mere abstrakte, men i menneskevidenskaber som uddannelsesforskning ved vi jo, at når sådanne effektstørrelser rapporteres, så er der nogen der prøver at sælge noget. Hertil er effekten heller ikke signifikant. Forskerne bruger et signifikansniveau på 0,1, dvs. at forskerne accepterer den effekt de har observeret med det forbehold, at hvis de gentog studiet 100 gange eller mere, ville de kunne få et ligeså signifikant resultat 10% af tiden, selv hvis effekten ikke findes. For menneskevidenskaberne at se betyder det at forskernes resultater formentlig selv er blandt de antagede 10% falsk positive resultater. Det skyldes at der i menneskevidenskaberne har været en krise siden 2015, kendt som replikationskrisen. Årsagen til krisen er at det har vist sig, i store dele af psykologisk forskning (som uddannelsesforskere også drager på og deler metoder med), at selv når man finder positive effekter, som er signifikante under 0,05 (et lavere signifikansniveau end de 10%/0,1 som forskerne her har arbejdet med), så kan de stadig ikke genskabes. Idag er diskussionen ikke bare om et acceptabelt signifikansniveau i menneskevidenskaberne skal sættes endnu lavere end 0,05 (5%), men om signifikanstests og effektmål overhovedet er nok. Et af de store problemer er i den sammenhæng at negative resultater ikke udgives, så når man kigger igennem forskningslitteraturen for at finde sammenlignelige studier, finder man kun de studier, hvor der tilfældigvis var en effekt. Når effekterne er små og knapt signifikante, ses det derfor idag som et tegn på, at man har set det ene positive resultat (inden for de 5%), som blev udgivet. Det er i den sammenhæng bemærkelsesværdigt at forskerne kun finder to andre lignende studier, som rapporterer ligeså små effekter. 

Forskerne skriver på side 26 i rapporten:

“Hvis alle 9. klasser på en årgang bliver eksamineret i mundtlig matematik fremfor en anden eksamen, vil det betyde, at ca. 160 flere drenge afslutter en gymnasial uddannelse inden for fem år pr. årgang, og at ca. 120 flere piger vil blive indskrevet på en STEM-uddannelse pr. Årgang.” 

Men sådan kan man ikke bare ekstrapolere så små effekter. Hvis det var logisk, ville vi kunne tage alle der dropper ud af gymnasiet og sende dem tilbage til 1.g igen efter endnu en mundtlig prøve i matematik. 

Forskerne forsøger at forklare denne magiske effekt af mundtlige matematikprøver ved at pege på at eleverne eksempelvis kan lære noget ved at forberede sig til prøve og øge deres faglige selvtillid og lignende. Men det er ikke det som skal forklares. Alle elever skal op i skriftlig matematik, så det der skal forklares er ikke effekten af matematikprøver, men effekten af mundtlige prøver. Det får vi ingen forklaring på, men vi mangler som sagt også bevis for at der er noget at forklare.