Den engelske sampling-bias i PISA 2025

Engelske elever burde have lidt et fagligt fald i PISA 2025 på niveau med andre OECD lande. 

Ved sammenligning af tabellerne fra henholdsvis 2022 (A.20) og 2025 (A.17), kan man se at Englands PISA sample er lidt mere skævt (biased) i 2025 end i 2022. Eksempelvis var andelen af elever der var SEN registreret (Special Educational Needs) større blandt de elever som ikke deltog i PISA, end blandt de som gjorde i 2022 (8,4% vs 16,4%). I 2025 var forskellen endnu større (10,7% vs 25%).

De som ikke deltager i PISA, fra en given socioøkonomisk gruppe, vil i højere grad være de fagligt dårligste i gruppen. Som det fremgår af sidste tabel (A.23) kunne man i 2022 måle, hvor meget bedre de PISA-deltagende elever var i matematik, end de som ikke deltog. De bedste elever var overrepræsenterede og elever under gennemsnittet var underrepræsenterede. Den vurdering kunne man ikke lave i 2025, da de elever der deltog i PISA det år, skulle have taget de nationale prøver under Covid.

Da man ikke kan måle den givne bias skrives der blot i den engelske rapport af 2025, på side 186:

"Overall, this analysis provides reassurance that the final sample of pupils participating in PISA 2025 was reasonably representative of the study population of 15-year-olds in relation to school type, region, school sex composition and school attainment band, after non-response adjustments were made. There was, however, evidence of potential bias arising from pupil-level characteristics, such as free school meal eligibility, EAL status, and SEN support eligibility. These findings mirror those reported in the non-response bias analysis of England’s PISA 2022 report (Ingram et al., 2023). However, in this nonresponse bias analysis, it was not possible to investigate response bias in relation to pupillevel attainment, as, due to COVID-related disruptions to education, this cohort of pupils did not sit key stage 2 assessments."

Justeringen er at justere procenterne, så de forskellige grupper, baseret f.eks. på andelen af elever der er SEN-registreret, blive lige store. Den justering løser ikke problemet med repræsentation indenfor grupperne, som man, som nævnt, ikke kan komme nærmere i 2025, selvom man i 2022 kunne se at det var et problem.






Kilder:
National report England 2025 (tabel s184), National report England 2022 (tabel s209 og 211)

Kommentarer

Send en kommentar

Populære opslag fra denne blog

Imod ideen om lærerbias i karaktergivning

Billede
DETTE ER DET GAMLE INDLÆG, her er det nye (Jeg skrev dette indlæg da jeg havde en unik mulighed for at tilbagevise Rockwoolfondens studie før det udkom. Kritikken er stadig korrekt, men jeg har også lavet en ny kritik , efter studiet kom.) Rockwoolfonden lufter på en “briefing” et studie der skulle indikerer at noget af forskellen på drenge og pigers karakterer kan forklares med lærerbias, i det at standpunktskarakterer, som jo gives af underviseren i et givent fag, er markant anderledes fra de karakterer som opnås til eksamen. Ideen værende, at det gør en forskel ikke bare generelt, men for karaktergabet mellem kønnene, når der er en ekstern censor til stede. Studiet skal angiveligt også indkludere spørgsmålet om herkomst. Den del kritiserer jeg ikke i dybden her, men jeg vil generelt kommentere, at når vi kigger på karaktersnit på tværs af fag og fagprøver sorteret efter herkomst, så er gruppen af henholdsvis invandrere og efterkommere, så lille og så varierende, at det indebærer en ...
Læs mere

Ændringer i kønsforskelle i prøver skyldes ændringer i prøver

Billede
Følgende indlæg er en opsummering af ting jeg har dækket i andre indlæg, for at få nogle sammenhængende hypoteser samlet på ét sted. Som altid bruger jeg data fra uddannelsesstatistik.dk.  Flere tænketanke og forskere har efterhånden kigget på karakterer fra grundskolens afgangsprøver og råbt vagt i gevær. Pigerne klarer sig markant bedre end drengene, og det er blevet værre i nyere tid ( KL , DEA , UVM ). Én forsker mener at årsagen kan være “stereotyper om drenge” . UVM har nedsat et ekspertudvalg til at finde ud af mere om forskellen ( UVM ). En anden forsker mener, at årsagen kan være “maskulinitetsidealer” . Kigger man lidt mere forsigtigt på karakterdata fra uddannelsesstatistik.dk, kan man få et mere nuanceret billede og nogle mere plausible forklaringer.  Først og fremmest kan vi se at den markante udvidelse i kønsforskelle mellem piger og drenge, på tværs af fag, ikke virker særlig markant, når vi kigger på standpunktskarakterer: Her er kønsforskellen faktisk på vej n...
Læs mere

Kønsforskelle i faglige prøver

Billede
I dette indlæg gennemgår jeg alment kendte kønsforskelle i tests af akademisk formåen. Generelt lader det til at piger er bedre til læseprøver og drenge er bedre til matematikprøver. I prøveresultaterne ser vi dog en del variation, som kan have forskellige forklaringer. PISA Det er en almindelig observation på tværs af internationale tests og nationale tests i akademisk formåen, at piger/kvinder klarer sig markant bedre end drenge/mænd i læsning. Fra år 2000 og til 2022, hvor PISA-prøverne er blevet gennemført 8 gange med 3 års mellemrum (undtagen under corona), har vi 563 observationer i læseprøven, dvs. 563 gange hvor de forskellige lande har deltaget. Af alle de observationer er antallet af gange, vi har observeret drenge i noget land, noget år, scorer højere end pigerne i læseprøven lig 0. Det tætteste vi er kommet, var i 2022 hvor pigerne på Costa Rica kun var 3 point bedre end drengene i gennemsnit.  Det er ligeledes rimelig almindeligt at observere i PISA og lignende prøver ...
Læs mere