Do equality and high average school performance really go hand in hand?

This post was first published on the IEA blog

Note: the graphs in this post display correlations only. They are used to discuss relationships some argue exist, not to draw causal conclusions.

We are often told that school systems with the highest performance are also the most equitable. For example, when the PISA 2012 results were released, Janet Downs, of the Local Schools Network, argued that ‘PISA found that the most successful school systems tend to be those which are the most equitable. These systems don’t just concentrate on excellence for some but provide excellence for all’. But what do we mean by equity? And is the ‘virtuous cycle’ hypothesis true?

Here, I sidestep the issue of causality, which Downs and the OECD completely ignore, and rather focus on the relationship that we are told exist. The OECD defines a system combining quality and equality as (1) having high performance and (2) low impact of pupil background on achievement, and as a system where (3) all individuals reach a basic minimum level of skills. But while (2) might be an appropriate definition of equality, (3) has nothing to do with it properly speaking. In traditional terms, if country A has a lower mean score than country B, but smaller differences between pupils/schools, country A is still more equal. A high performance floor may very well be the result of a strong focus on efficiency instead of equality. Indeed, a trade-off between the two is often assumed in economic theory.

To investigate the relationship between equality and efficiency in international surveys, I instead look directly at the relationship between performance and inequities in outcomes within education systems. That can give us an indication of whether equality in results does indeed go hand in hand with higher performance.

I use the latest PISA results, which tend to be considered the ultimate yardstick for whether or not school systems perform well (although I disagree). In the first graph, we find that there is in fact a weak but statistically significant positive correlation between between-school variance and performance. The measure here is the variance between schools as a percentage of the total variance in the country (in itself expressed as the percentage of the average variance in all countries).

In the below graph, I hold constant the performance variance within schools, but there is still no relationship between equality between schools and performance. In fact, the between-school variance is now even more strongly and positively correlated with results. Thus, there is no support for the argument that low between-school variation in performance is related to high average scores.

But what happens if we focus on differences between pupils, which I argue is a better measure of equity in the education system? Well, that doesn’t change the picture. In the graph below, I look at the relationship between within-school variation and performance, holding between-school variation constant. The relationship is even stronger than the positive relationship between between-school variation and mean performance.

  
Continuing our investigation, we find also find a strong positive relationship between test score inequality, measured as the difference between the 95th and the 5th percentile, and average performance. The higher the difference between pupils, the higher average performance. The same analysis can be found in the PISA report, although it compares the 90th and the 10th percentiles. The results are very similar. I also looked at the absolute standard deviation in scores as a measure of inequality. Again, results are very similar.

Another way to measure the relationship between performance and equality is to look at the relationship between the strength of the impact of pupils’ background on scores and average performance. The below graph shows that while the trend line points downwards, the relationship is not significant. In other words, there is no relationship between the impact of background and performance.

We only find a different picture if we look at the coefficient of variation (sometimes called the relative standard deviation). The coefficient of variation is the ratio of standard deviation divided to the mean. This variable is indeed correlated with average performance in a way that suggests a virtuous equality-efficiency relationship. But the measure is not too interesting if we are interested in inequalities per se, simply because it takes into account (and indeed ‘rewards’) countries’ performance. That is tantamount to mixing apples and oranges, performance and equality, which is untenable. Either we focus on variation between pupils and/or schools in the different systems, or we focus on their achievement.

To sum up, therefore, it does not seem to be the case that high equality and high average performance walk hand in hand. If anything, we find a negative correlation. Again, I want to emphasise that the above has nothing to do with causality. I have also ignored the (different) question of how changes in equality are related to changes in performance, to which I will come back in a future piece. But I do question the argument that the highest performing education systems are those that combine quality with equity, as is often contended in the debate. This contention is simply not supported by the data.

Är en jämlik skola en bra skola?

VARNING: GRAFERNA I DENNA BLOGGPOST VISAR KORRELATIONER. DE ANVÄNDS ENDAST FÖR ATT DISKUTERA SAMBAND SOM I DEBATTEN HÄVDAS EXISTERA, INTE FÖR ATT PÅVISA ORSAKSSAMBAND.

I en twitterkonversation med Jonas Vlachos igår diskuterade jag hur skollagens idéer om likvärdighet – att vilken skola man går på inte ska spela roll för ens resultat – möjligtvis endast kan tillgodoses av att genomsnittsresultaten faller.  Jonas menade att ”[h]ög genomsnittskvalitet o små skillnader mellan skolor förefaller dock gå hand i hand även om mekanismen är oklar. Så empirin talar emot att likvärdigheten kräver kvalitetssänkning.”

Detta är något som ofta upprepas i debatten: en jämlik skola är en bra skola.  På DN Debatt för ett par veckor sedan påstod Stefan Löfven och Ibrahim Baylan exempelvis att ”OECD har tydligt visat att de skolsystem i världen som presterar bäst också är de mest jämlika.”

Men stämmer detta? Jag ignorerar helt och hållet problemet med vad som orsakar vad utan inriktar mig endast på huruvida argumentet ”en jämlik skola samvarierar med en bra skola” stämmer.

Vi tar en titt på de senaste resultaten från PISA 2012, som i debatten verkar anses vara det viktigaste måttet för om ett skolsystem är bra (även om jag inte håller med om det). I den första grafen finner vi en positiv korrelation mellan relativt hög skolvarians och resultaten. Måttet är här variansen mellan skolor som en procent av total varians i landet (uttryckt i procent av genomsnittsvariansen i alla länder). Här ges inget stöd för påståendet att små skillnader mellan skolor och höga resultat går hand i hand.

I nedanstående graf håller jag även variansen inom skolor konstant men ändå finner vi ingen positiv relation mellan låg skolvarians och höga resultat. Tvärtom är högre skolvarians fortfarande positivt relaterat till genomsnittsresultaten.

Men vad händer om vi fokuserar på skillnader mellan elever, vilket jag själv anser vara ett mer rimligt mått på likvärdighet? Det ger inte heller något stöd för att en jämlik skola går hand i hand med en bra skola. Istället ser vi en positiv korrelation mellan hög ojämlikhet och höga prestationer. Den första grafen visar relationen mellan resultat och hur stora skillnaderna är mellan hög- och lågpresterande elever (skillnaden mellan elever i 95:e och 5:e percentilern). Ju större skillnader mellan elever, desto högre resultat. Samma analys återfinns för övrigt i PISA-rapporten men där definieras skillnaden mellan hög- och lågpresterande elever som skillnader mellan elever i 90:e och 10:e percentilerna. Resultaten är snarlika.

Nedanstående graf visar istället sambandet mellan hur stark effekten av elevernas bakgrund är och resultaten. Inte heller där finns det en positiv korrelation mellan likvärdighet och resultat. Faktum är att det inte finns någon relation alls mellan effekten av bakgrund och genomsnittsresultat (det är inte ett statistiskt signifikant samband). 

Jag vill återigen starkt betona att ovanstående inte har någonting med orsakssamband att göra. Men jag ifrågasätter argumentet som vi ofta hör i den svenska debatten om att det finns ett samband mellan likvärdighet/jämlikhet och resultat. 

UPPDATERING: Jag kollade även om variationskoefficienten (standardavvikelsen/medelvärdet) är lägre i länder med höga genomsnittliga resultat. Högre skillnader när man tar hänsyn till ländernas resultat är negativt korrelerade med genomsnittsresultaten (medan den absoluta standardavvikelsen istället är positivt korrelerad med resultaten). Jag menar dock att den relativa spridningen inte är det mest relevanta måttet på jämlikhet. Istället bör vi fokusera på den absoluta spridningen. Varför? Därför att om vi är intresserade av jämlikhet inom länderna är det inte säkert att vi är bör ta hänsyn till medelvärdet eftersom som vi då premierar länder som har höga resultat - och då studerar vi en annan fråga än den om jämlikhet. (Se exempelvis Jonas Vlachos som diskuterar förändringar i likvärdigheten i TIMSS och PISA baserat skillnaderna mellan hög- och lågpresterande elever som jag gör ovan.)

Pasi Sahlberg is talking out of his hat

Over at the Spectator, I write about Pasi Sahlberg and his relentless attacks on school choice policies, now in relation to what he believes the results in PISA 2012 display. Rather than looking at the PISA report’s fireworks of correlations, which wouldn’t be accepted as a BA dissertation in economics, he might be interested in the academic research on the subject. This shows that private-schooling raises achievement in international tests. Shortly, Sahlberg is talking out of his hat.