Do equality and high average school performance really go hand in hand?

This post was first published on the IEA blog

Note: the graphs in this post display correlations only. They are used to discuss relationships some argue exist, not to draw causal conclusions.

We are often told that school systems with the highest performance are also the most equitable. For example, when the PISA 2012 results were released, Janet Downs, of the Local Schools Network, argued that ‘PISA found that the most successful school systems tend to be those which are the most equitable. These systems don’t just concentrate on excellence for some but provide excellence for all’. But what do we mean by equity? And is the ‘virtuous cycle’ hypothesis true?

Here, I sidestep the issue of causality, which Downs and the OECD completely ignore, and rather focus on the relationship that we are told exist. The OECD defines a system combining quality and equality as (1) having high performance and (2) low impact of pupil background on achievement, and as a system where (3) all individuals reach a basic minimum level of skills. But while (2) might be an appropriate definition of equality, (3) has nothing to do with it properly speaking. In traditional terms, if country A has a lower mean score than country B, but smaller differences between pupils/schools, country A is still more equal. A high performance floor may very well be the result of a strong focus on efficiency instead of equality. Indeed, a trade-off between the two is often assumed in economic theory.

To investigate the relationship between equality and efficiency in international surveys, I instead look directly at the relationship between performance and inequities in outcomes within education systems. That can give us an indication of whether equality in results does indeed go hand in hand with higher performance.

I use the latest PISA results, which tend to be considered the ultimate yardstick for whether or not school systems perform well (although I disagree). In the first graph, we find that there is in fact a weak but statistically significant positive correlation between between-school variance and performance. The measure here is the variance between schools as a percentage of the total variance in the country (in itself expressed as the percentage of the average variance in all countries).

In the below graph, I hold constant the performance variance within schools, but there is still no relationship between equality between schools and performance. In fact, the between-school variance is now even more strongly and positively correlated with results. Thus, there is no support for the argument that low between-school variation in performance is related to high average scores.

But what happens if we focus on differences between pupils, which I argue is a better measure of equity in the education system? Well, that doesn’t change the picture. In the graph below, I look at the relationship between within-school variation and performance, holding between-school variation constant. The relationship is even stronger than the positive relationship between between-school variation and mean performance.

  
Continuing our investigation, we find also find a strong positive relationship between test score inequality, measured as the difference between the 95th and the 5th percentile, and average performance. The higher the difference between pupils, the higher average performance. The same analysis can be found in the PISA report, although it compares the 90th and the 10th percentiles. The results are very similar. I also looked at the absolute standard deviation in scores as a measure of inequality. Again, results are very similar.

Another way to measure the relationship between performance and equality is to look at the relationship between the strength of the impact of pupils’ background on scores and average performance. The below graph shows that while the trend line points downwards, the relationship is not significant. In other words, there is no relationship between the impact of background and performance.

We only find a different picture if we look at the coefficient of variation (sometimes called the relative standard deviation). The coefficient of variation is the ratio of standard deviation divided to the mean. This variable is indeed correlated with average performance in a way that suggests a virtuous equality-efficiency relationship. But the measure is not too interesting if we are interested in inequalities per se, simply because it takes into account (and indeed ‘rewards’) countries’ performance. That is tantamount to mixing apples and oranges, performance and equality, which is untenable. Either we focus on variation between pupils and/or schools in the different systems, or we focus on their achievement.

To sum up, therefore, it does not seem to be the case that high equality and high average performance walk hand in hand. If anything, we find a negative correlation. Again, I want to emphasise that the above has nothing to do with causality. I have also ignored the (different) question of how changes in equality are related to changes in performance, to which I will come back in a future piece. But I do question the argument that the highest performing education systems are those that combine quality with equity, as is often contended in the debate. This contention is simply not supported by the data.

Pisarapportens och "best practice"-approachens problem

I dagens DN Debatt skriver jag tillsammans med Philip Booth på IEA och Henrik Jordahl på IFN om Pisa-rapportens och "best practice-approachens" metodologiska brister när det gäller att förklara vad som ger bättre respektive lägre resultat.

Det har varit vilda västern i den svenska skoldebatten ganska länge nu. Debattörer tycker till höger och vänster med hemsnickrade teorier om vad som orsakat svenska elevers fall i internationella undersökningar. Många refererar till Pisarapportens kapitel som diskuterar "vad som skapar bättre skolor" och olika särdrag som finns hos hög- respektive lågpresterande system.

Att referera till Pisakapitlet är populärt, inte minst i Storbritannien där jag för tillfället jobbar och bor. På IPPR, en något vänsterinriktad tankesmedja, hävdade i december exempelvis chefen Nick Pierce och forskaren Jonathan Clifton att kapitlet är "användbart". Dessa har uppenbarligen ingen som helst förståelse för forskningsmetoder. Pisarapporten är, som vi skriver i DN, ett fyrverkeri av korrelationer till höger och vänster som inte kan säga någonting om orsakssamband.

Båda exempel vi tar upp, skolkonkurrens och skolautonomi, kommenteras av Pierce och Clifton. De menar att debattörer på högerkanten måste svara på varför fristående skolor och konkurrens inte förbättrar resultaten i Pisa. Hade dessa författare kollat upp vad den nationalekonomiska Pisaforskningen har att säga - och förstått de metodologiska skillnaderna med Pisarapporten - hade de haft svårare att slänga ur sig något sådant. Det finns vissa relevanta invändningar mot den studien - ingen forskning är helt  invändningsfri men jag anser att den håller i det stora hela (varför ska jag förklara senare) - men att vi bör föredra Pisarapportens enkla korrelationsanalys finns inte på kartan.

Vissa menar att det bara handlar om ideologi. Det tror jag inte. Att det handlar om bristande förståelse stöds av att samma personer skriver att även vänstern, som ofta förespråkar starkare politiskt styre av skolan, borde lära av rapporten. Pisastudien finner nämligen att skolautonomi tillsammans med ansvarsskyldighet förbättrar resultaten, medan autonomi utan ansvarsskyldighet är negativt. Denna slutsats nås med bättre metoder än den om skolkonkurrens, men många problem återstår. Det är därför intressant att den bästa akademiska studien på området motsäger idén om att skolautonomi endast är bra i industriländer om det åtföljs av ansvarsskyldighet. Autonomi är bra i sig även om det verkar som att ansvarsskyldighet ökar effekten. I utvecklingsländer är effekten istället negativ, oavsett ansvarsskyldighet. Utvecklingsländer bör tänka sig för innan de följer råden från OECD (samt Pierce och Clifton).

Att det icke-akademiska Pisakapitlets statistiska analyser går emot den akademiska forskningen står därför klart. Än mer populärt bland skoldebattörer är dock att hänvisa till hög- och lågpresterande länders skolpolitiska särdrag i förslag till vad som bör åtgärdas. Men sådana hänvisningar säger ingenting - vi har exempelvis ingen aning om japanska elever presterar bra för att Japan har en bra utbildningspolitik. Så vitt jag vet kan det vara för att japanska elever äter mycket fisk. "Best practice"-approachen är därför ren humbug. I princip alla särdrag som nu sägs ligga bakom högpresterande länders prestationer finns även i lågpresterande länder. Debattörer kan därför betona det de gillar och tror på. Man ser det man vill se. Kul läsning - men något bevisvärde har det inte.

Skolforskning och -debatt har länge varit präglat av tyckande och bloggande. Sådant är roligt att läsa. Men det är värdelöst om man vill veta vad som ger bättre resultat i internationella undersökningar. För att förstå vad som orsakar vad måste vi analysera och utöka den metodologiskt starka forskningen på området. Den är kanske tråkigare. Men den är också viktigare.

On the Today programme discussing retirement

This morning, I was on the Today programme to discuss my new paper on how to make older people work longer (which I wrote about over at ConservativeHome). It’s all about incentives. Radical measures are necessary, including raising the state pension age faster, reduce employment protection among older people, and in the long run move towards a privatised system with compelled savings (similar to Australia’s pension system).

In the programme, I was asked how likely reform is given that old people vote. It’s true that the representative democratic process is a problem here. Rent seeking soon-to-be pensioners try to stifle any attempts to fundamentally reform the system. But keeping the status quo will just lump over the problem on my generation, who will be taxed up to our ears in order to pay for the increasing state pension expenditures under the current system, with declining economic growth as a result. Doing nothing is not an option – we clearly need courageous politicians to take on the challenge rather than worrying about the prospects of getting re-elected.

Är en jämlik skola en bra skola?

VARNING: GRAFERNA I DENNA BLOGGPOST VISAR KORRELATIONER. DE ANVÄNDS ENDAST FÖR ATT DISKUTERA SAMBAND SOM I DEBATTEN HÄVDAS EXISTERA, INTE FÖR ATT PÅVISA ORSAKSSAMBAND.

I en twitterkonversation med Jonas Vlachos igår diskuterade jag hur skollagens idéer om likvärdighet – att vilken skola man går på inte ska spela roll för ens resultat – möjligtvis endast kan tillgodoses av att genomsnittsresultaten faller.  Jonas menade att ”[h]ög genomsnittskvalitet o små skillnader mellan skolor förefaller dock gå hand i hand även om mekanismen är oklar. Så empirin talar emot att likvärdigheten kräver kvalitetssänkning.”

Detta är något som ofta upprepas i debatten: en jämlik skola är en bra skola.  På DN Debatt för ett par veckor sedan påstod Stefan Löfven och Ibrahim Baylan exempelvis att ”OECD har tydligt visat att de skolsystem i världen som presterar bäst också är de mest jämlika.”

Men stämmer detta? Jag ignorerar helt och hållet problemet med vad som orsakar vad utan inriktar mig endast på huruvida argumentet ”en jämlik skola samvarierar med en bra skola” stämmer.

Vi tar en titt på de senaste resultaten från PISA 2012, som i debatten verkar anses vara det viktigaste måttet för om ett skolsystem är bra (även om jag inte håller med om det). I den första grafen finner vi en positiv korrelation mellan relativt hög skolvarians och resultaten. Måttet är här variansen mellan skolor som en procent av total varians i landet (uttryckt i procent av genomsnittsvariansen i alla länder). Här ges inget stöd för påståendet att små skillnader mellan skolor och höga resultat går hand i hand.

I nedanstående graf håller jag även variansen inom skolor konstant men ändå finner vi ingen positiv relation mellan låg skolvarians och höga resultat. Tvärtom är högre skolvarians fortfarande positivt relaterat till genomsnittsresultaten.

Men vad händer om vi fokuserar på skillnader mellan elever, vilket jag själv anser vara ett mer rimligt mått på likvärdighet? Det ger inte heller något stöd för att en jämlik skola går hand i hand med en bra skola. Istället ser vi en positiv korrelation mellan hög ojämlikhet och höga prestationer. Den första grafen visar relationen mellan resultat och hur stora skillnaderna är mellan hög- och lågpresterande elever (skillnaden mellan elever i 95:e och 5:e percentilern). Ju större skillnader mellan elever, desto högre resultat. Samma analys återfinns för övrigt i PISA-rapporten men där definieras skillnaden mellan hög- och lågpresterande elever som skillnader mellan elever i 90:e och 10:e percentilerna. Resultaten är snarlika.

Nedanstående graf visar istället sambandet mellan hur stark effekten av elevernas bakgrund är och resultaten. Inte heller där finns det en positiv korrelation mellan likvärdighet och resultat. Faktum är att det inte finns någon relation alls mellan effekten av bakgrund och genomsnittsresultat (det är inte ett statistiskt signifikant samband). 

Jag vill återigen starkt betona att ovanstående inte har någonting med orsakssamband att göra. Men jag ifrågasätter argumentet som vi ofta hör i den svenska debatten om att det finns ett samband mellan likvärdighet/jämlikhet och resultat. 

UPPDATERING: Jag kollade även om variationskoefficienten (standardavvikelsen/medelvärdet) är lägre i länder med höga genomsnittliga resultat. Högre skillnader när man tar hänsyn till ländernas resultat är negativt korrelerade med genomsnittsresultaten (medan den absoluta standardavvikelsen istället är positivt korrelerad med resultaten). Jag menar dock att den relativa spridningen inte är det mest relevanta måttet på jämlikhet. Istället bör vi fokusera på den absoluta spridningen. Varför? Därför att om vi är intresserade av jämlikhet inom länderna är det inte säkert att vi är bör ta hänsyn till medelvärdet eftersom som vi då premierar länder som har höga resultat - och då studerar vi en annan fråga än den om jämlikhet. (Se exempelvis Jonas Vlachos som diskuterar förändringar i likvärdigheten i TIMSS och PISA baserat skillnaderna mellan hög- och lågpresterande elever som jag gör ovan.)

Pasi Sahlberg is talking out of his hat

Over at the Spectator, I write about Pasi Sahlberg and his relentless attacks on school choice policies, now in relation to what he believes the results in PISA 2012 display. Rather than looking at the PISA report’s fireworks of correlations, which wouldn’t be accepted as a BA dissertation in economics, he might be interested in the academic research on the subject. This shows that private-schooling raises achievement in international tests. Shortly, Sahlberg is talking out of his hat.

PISA results are out - and Finland is down

Today, the PISA 2012 results were released. Finland fell out of the top ten countries, thereby confirming the slide that was found in TIMSS earlier. Several publications referred to my writing in discussing the problems with just looking at PISA results when judging countries’ performance (including Business Insider and the Guardian).

In terms of Finland, I’ve been arguing that other measures have displayed a significant fall in educational achievement for more than a year. But everyone just cares about PISA. Now, when the fall also shows up in PISA, people start to listen. It’s nice to be right.

Gove’s school choice can end social segregation. The old system entrenches it

I write for the Spectator Coffee House, arguing that school choice decreases residential segregation whereas a proximity-based admissions system increases it. The evidence clearly shows that house prices increase around the best state schools when choice of school is tied to choice of residence, while other research finds a direct link between larger choice opportunities and decreased residential sorting. Choice always exist in the education system - since rich parents can move closer to the best state schools - and institutionalised school choice is necessary to ensure that all parents are given the same opportunities.