Pisarapportens och "best practice"-approachens problem

I dagens DN Debatt skriver jag tillsammans med Philip Booth på IEA och Henrik Jordahl på IFN om Pisa-rapportens och "best practice-approachens" metodologiska brister när det gäller att förklara vad som ger bättre respektive lägre resultat.

Det har varit vilda västern i den svenska skoldebatten ganska länge nu. Debattörer tycker till höger och vänster med hemsnickrade teorier om vad som orsakat svenska elevers fall i internationella undersökningar. Många refererar till Pisarapportens kapitel som diskuterar "vad som skapar bättre skolor" och olika särdrag som finns hos hög- respektive lågpresterande system.

Att referera till Pisakapitlet är populärt, inte minst i Storbritannien där jag för tillfället jobbar och bor. På IPPR, en något vänsterinriktad tankesmedja, hävdade i december exempelvis chefen Nick Pierce och forskaren Jonathan Clifton att kapitlet är "användbart". Dessa har uppenbarligen ingen som helst förståelse för forskningsmetoder. Pisarapporten är, som vi skriver i DN, ett fyrverkeri av korrelationer till höger och vänster som inte kan säga någonting om orsakssamband.

Båda exempel vi tar upp, skolkonkurrens och skolautonomi, kommenteras av Pierce och Clifton. De menar att debattörer på högerkanten måste svara på varför fristående skolor och konkurrens inte förbättrar resultaten i Pisa. Hade dessa författare kollat upp vad den nationalekonomiska Pisaforskningen har att säga - och förstått de metodologiska skillnaderna med Pisarapporten - hade de haft svårare att slänga ur sig något sådant. Det finns vissa relevanta invändningar mot den studien - ingen forskning är helt  invändningsfri men jag anser att den håller i det stora hela (varför ska jag förklara senare) - men att vi bör föredra Pisarapportens enkla korrelationsanalys finns inte på kartan.

Vissa menar att det bara handlar om ideologi. Det tror jag inte. Att det handlar om bristande förståelse stöds av att samma personer skriver att även vänstern, som ofta förespråkar starkare politiskt styre av skolan, borde lära av rapporten. Pisastudien finner nämligen att skolautonomi tillsammans med ansvarsskyldighet förbättrar resultaten, medan autonomi utan ansvarsskyldighet är negativt. Denna slutsats nås med bättre metoder än den om skolkonkurrens, men många problem återstår. Det är därför intressant att den bästa akademiska studien på området motsäger idén om att skolautonomi endast är bra i industriländer om det åtföljs av ansvarsskyldighet. Autonomi är bra i sig även om det verkar som att ansvarsskyldighet ökar effekten. I utvecklingsländer är effekten istället negativ, oavsett ansvarsskyldighet. Utvecklingsländer bör tänka sig för innan de följer råden från OECD (samt Pierce och Clifton).

Att det icke-akademiska Pisakapitlets statistiska analyser går emot den akademiska forskningen står därför klart. Än mer populärt bland skoldebattörer är dock att hänvisa till hög- och lågpresterande länders skolpolitiska särdrag i förslag till vad som bör åtgärdas. Men sådana hänvisningar säger ingenting - vi har exempelvis ingen aning om japanska elever presterar bra för att Japan har en bra utbildningspolitik. Så vitt jag vet kan det vara för att japanska elever äter mycket fisk. "Best practice"-approachen är därför ren humbug. I princip alla särdrag som nu sägs ligga bakom högpresterande länders prestationer finns även i lågpresterande länder. Debattörer kan därför betona det de gillar och tror på. Man ser det man vill se. Kul läsning - men något bevisvärde har det inte.

Skolforskning och -debatt har länge varit präglat av tyckande och bloggande. Sådant är roligt att läsa. Men det är värdelöst om man vill veta vad som ger bättre resultat i internationella undersökningar. För att förstå vad som orsakar vad måste vi analysera och utöka den metodologiskt starka forskningen på området. Den är kanske tråkigare. Men den är också viktigare.

Fortsatt märklig argumentation från Kungliga Vetenskapsakademiens ledamöter

Ledamöterna för den Kungliga Vetenskapsakademien har svarat på min replik och min rapport gällande skolval, segregation och likvärdighet. Tyvärr lider deras artikel delvis av samma brister som deras förra.

De medger att jag har en poäng i att forskningen tyder på att skolvalet minskar bostadssegregation, men samtidigt fortsätter de att referera till forskning som inte tar hänsyn till den poängen. Varken Skolverkets rapporter eller andra svenska studier tar hänsyn till att bostadssegregationen, enligt internationell forskning (som inkluderar närliggande länder som Norge, Frankrike och Storbritannien), skulle ha haft större betydelse för skolsegregationen om skolvalet inte hade funnits.

De menar också att min översikt indikerar att kunskapsläget är klent. Detta beror på vilken forskning man pratar om. När det gäller relationen mellan huspriser och skolresultat refererar jag bland annat till en översiktsartikel som går igenom 50 studier som alla finner samma resultat: högre skolresultat leder till högre huspriser.  Och, som sagt, ett par andra studier visar att skolval bryter ner den relationen. En annan studie analyserar vad som händer med medelinkomsten i området och ger ytterligare stöd för tesen. Det finns alltså starkt stöd för att möjligheten till skolval minskar bostadssegregationen som uppstår på grund av närhetsprincipen. Studierna som analyserar skolsegregationen direkt är dock ganska få, och ingen tar hänsyn till de förändringar i bostadssegregationen som uppstår.

Men om nu kunskapsläget faktiskt är klent (speciellt på grund av problemen med dagens skolsegregationsforskning) är ledamöternas tvärsäkra påståenden att skolvalet ökar skolsegregationen netto märkliga. Antingen stödjer forskningen säkert deras påstående eller inte. Jag har visat att det är långt ifrån säkert och att man därför bör vara försiktig med slutsatserna gällande skolsegregationen. Och även om denna skulle öka netto borde man fråga sig om det är viktigare än att bostadssegregationen minskar. Det är långt ifrån självklart.

Det är också ytterst märkligt att ledamöterna ignorerar frågan om likvärdighet i brödtexten – bara för att återkomma till den i slutsatsen. De väljer att inte kommentera likvärdighetsforskningen, som inte stödjer deras tes. Det finns hittills inte någon forskning som visar att större möjligheter till skolval, bland skolor som finansieras med offentliga medel, minskar likvärdigheten. I min rapport visar jag att ett antal studier tyder på motsatsen, att likvärdigheten faktiskt ökar med större möjligheter till skolval. En studie finner stöd för att detta beror på att föräldrarnas inkomst blir mindre viktig för skolan barnen går på, eftersom endast bemedlade föräldrar kan välja med fötterna och bosätta sig i områden med attraktiva skolor när närhetsprincipen är i bruk. Att skolval som gäller privatfinansierade skolor ger upphov till lägre likvärdighet är inte heller konstigt, eftersom plånboken då också avgör vilken skola eleverna går på.

Sedan är det viktigt att påpeka att även om det vore så att skolval ökar skolsegregationen netto efter att kontrafaktisk bostadssegregation tagits med i beräkningarna, behöver detta inte betyda att likvärdigheten minskar. I den svenska debatten har en alltför simplistisk syn på hur kamrateffekter påverkar elevers resultat vuxit fram. En del forskning indikerar faktiskt att en viss segregation efter förmåga kan öka alla elevers resultat. Den mest integrerade skolan behöver alltså inte betyda den mest likvärdiga skolan. Den svenska debatten gällande hur skolsegregation påverkar likvärdigheten bör alltså helt klart nyanseras.

Men även om orsakssambandet vore så enkelt som ”ju bättre kamrater, ju bättre resultat” måste man också ta hänsyn till hur skolvalets andra effekter påverkar elever. Positiva konkurrens- och matchningseffekter måste också tas med i beräkningarna till när man analyserar hur likvärdigheten påverkas av skolval.

Till sist är det märkligt att ledamöterna fortsätter att hävda att vinstdrivande skolor ökar skolsegregationen. Man menar att ”de mest lättförtjänta pengarna står att finna genom att attrahera elever från studieinriktade hem”. Nu motsätter den svenska statistiken denna tes eftersom vinstdrivande friskolor antar elever från lägre socioekonomisk bakgrund än icke-vinstdrivande skolor på grundskolenivå. På gymnasienivå har vinstdrivande friskolor ungefär samma elevsammansättning som kommunala skolor. Tesen motsägs också av forskning från Chile, där vinstdrivande grundskolor som inte tar ut avgifter antar fler elever från sämre förhållanden än kommunala skolor. Att ta bort vinstintresset i skolan skulle alltså knappast vara bra för likvärdigheten eller integrationen. Istället bör vi fokusera på att förbättra incitamenten ibland alla aktörer i skolan.

Skolval, segregation och likvärdighet

I måndags släpptes min rapport gällande skolval, segregation och likvärdighet. Tre viktiga saker som forskningen indikerar:

1. Skolval minskar bostadssegregationen

2. Det är inte säkert hur skolval påverkar skolsegregationen netto efter att man tagit hänsyn till just förändringar i bostadssegregation.

3. Om något tyder forskningen på att likvärdigheten ökar med hjälp av skolval.

Ett par ledamöter vid Kungliga Vetenskapsakademien skrev på onsdagen en debattartikel, där de hävdade att det är nu "säkert" att skolval ökar skolsegregationen och minska likvärdigheten. Min rapport visar att det försa inte är säkert alls och att det inte finns något stöd alls för det andra - detta var också vad jag skrev i min replik till ledamöterna.

Är Finland verkligen ett skolmirakel?

Finland ses av forskare och politiker världen över ofta som ett skolmirakel. Men detta baseras i princip endast på landets PISA-resultat. På dagens DNDebatt (15/6) diskuterar jag vad andra indikatorer visar.

Kort sagt är det långt ifrån vad PISA-miraklet har fått oss att tro. Flera andra kvalitetsmått pekar i en annan riktning. Helhetsbilden är därför att Finland inte är det mönsterexempel som framhävts i svenska debattartiklar det senaste året. Landet verkar faktiskt ha offrat väldigt viktiga kunskaper som PISA inte mäter.

Detta är ett problem som alla centraliserade skolsystem står inför: experter är inte ofelbara. Och ju starkare centralisering, desto större är risken för att stora misstag begås.

Det vet vi sedan tidigare från Sveriges centraliserade läroplan 1994, där man försökte diktera lärares arbetssätt. Ett antal studier indikerar starkt att de arbetssätt som förespråkades är negativa för resultaten. En IFAU-rapport menar mycket riktigt också att detta troligtvis är den enskilt viktigaste förklaringen till Sveriges kunskapsfall.

Fördelen med mångfald och valfrihet är att andra aktörer förutom experterna också påverka kompromisserna kring vad och hur eleverna ska lära sig, vilket minskar risken för att felaktiga beslut får ödesdigra konsekvenser.

Som jag skrivit tidigare, och som jag också diskuterar kort i artikeln på DN Debatt, behövs det självklart genomgående reformer för att göra det svenska skolvalssystemet funktionellt.

Jag kommer ut med en bok i Storbritannien i sommar där jag analyserar all skolvalsforskning som gjorts, med djupgående genomgångar av forskningen från Chile, Nederländerna, Sverige och Storbritannien samt problemen som finns i dessa system. Dessutom drar jag slutsatser för vad som behövs för att skapa en fungerande skolmarknad i Storbritannien. Reformerna som behövs i Sverige är något annorlunda och jag kommer att fokusera mer specifikt på dessa senare under året.