I dagens DN Debatt skriver jag tillsammans med Philip Booth
på IEA och Henrik Jordahl på IFN om Pisa-rapportens och "best
practice-approachens" metodologiska brister när det gäller att förklara
vad som ger bättre respektive lägre resultat.
Det har varit vilda västern i den svenska skoldebatten ganska länge nu. Debattörer tycker till höger och vänster med hemsnickrade teorier om vad som orsakat svenska elevers fall i internationella undersökningar. Många refererar till Pisarapportens kapitel som diskuterar "vad som skapar bättre skolor" och olika särdrag som finns hos hög- respektive lågpresterande system.
Att referera till Pisakapitlet är populärt, inte minst i Storbritannien där jag för tillfället jobbar och bor. På IPPR, en något vänsterinriktad tankesmedja, hävdade i december exempelvis chefen Nick Pierce och forskaren Jonathan Clifton att kapitlet är "användbart". Dessa har uppenbarligen ingen som helst förståelse för forskningsmetoder. Pisarapporten är, som vi skriver i DN, ett fyrverkeri av korrelationer till höger och vänster som inte kan säga någonting om orsakssamband.
Båda exempel vi tar upp, skolkonkurrens och skolautonomi, kommenteras av Pierce och Clifton. De menar att debattörer på högerkanten måste svara på varför fristående skolor och konkurrens inte förbättrar resultaten i Pisa. Hade dessa författare kollat upp vad den nationalekonomiska Pisaforskningen har att säga - och förstått de metodologiska skillnaderna med Pisarapporten - hade de haft svårare att slänga ur sig något sådant. Det finns vissa relevanta invändningar mot den studien - ingen forskning är helt invändningsfri men jag anser att den håller i det stora hela (varför ska jag förklara senare) - men att vi bör föredra Pisarapportens enkla korrelationsanalys finns inte på kartan.
Vissa menar att det bara handlar om ideologi. Det tror jag inte. Att det handlar om bristande förståelse stöds av att samma personer skriver att även vänstern, som ofta förespråkar starkare politiskt styre av skolan, borde lära av rapporten. Pisastudien finner nämligen att skolautonomi tillsammans med ansvarsskyldighet förbättrar resultaten, medan autonomi utan ansvarsskyldighet är negativt. Denna slutsats nås med bättre metoder än den om skolkonkurrens, men många problem återstår. Det är därför intressant att den bästa akademiska studien på området motsäger idén om att skolautonomi endast är bra i industriländer om det åtföljs av ansvarsskyldighet. Autonomi är bra i sig även om det verkar som att ansvarsskyldighet ökar effekten. I utvecklingsländer är effekten istället negativ, oavsett ansvarsskyldighet. Utvecklingsländer bör tänka sig för innan de följer råden från OECD (samt Pierce och Clifton).
Att det icke-akademiska Pisakapitlets statistiska analyser går emot den akademiska forskningen står därför klart. Än mer populärt bland skoldebattörer är dock att hänvisa till hög- och lågpresterande länders skolpolitiska särdrag i förslag till vad som bör åtgärdas. Men sådana hänvisningar säger ingenting - vi har exempelvis ingen aning om japanska elever presterar bra för att Japan har en bra utbildningspolitik. Så vitt jag vet kan det vara för att japanska elever äter mycket fisk. "Best practice"-approachen är därför ren humbug. I princip alla särdrag som nu sägs ligga bakom högpresterande länders prestationer finns även i lågpresterande länder. Debattörer kan därför betona det de gillar och tror på. Man ser det man vill se. Kul läsning - men något bevisvärde har det inte.
Skolforskning och -debatt har länge varit präglat av tyckande och bloggande. Sådant är roligt att läsa. Men det är värdelöst om man vill veta vad som ger bättre resultat i internationella undersökningar. För att förstå vad som orsakar vad måste vi analysera och utöka den metodologiskt starka forskningen på området. Den är kanske tråkigare. Men den är också viktigare.
Det har varit vilda västern i den svenska skoldebatten ganska länge nu. Debattörer tycker till höger och vänster med hemsnickrade teorier om vad som orsakat svenska elevers fall i internationella undersökningar. Många refererar till Pisarapportens kapitel som diskuterar "vad som skapar bättre skolor" och olika särdrag som finns hos hög- respektive lågpresterande system.
Att referera till Pisakapitlet är populärt, inte minst i Storbritannien där jag för tillfället jobbar och bor. På IPPR, en något vänsterinriktad tankesmedja, hävdade i december exempelvis chefen Nick Pierce och forskaren Jonathan Clifton att kapitlet är "användbart". Dessa har uppenbarligen ingen som helst förståelse för forskningsmetoder. Pisarapporten är, som vi skriver i DN, ett fyrverkeri av korrelationer till höger och vänster som inte kan säga någonting om orsakssamband.
Båda exempel vi tar upp, skolkonkurrens och skolautonomi, kommenteras av Pierce och Clifton. De menar att debattörer på högerkanten måste svara på varför fristående skolor och konkurrens inte förbättrar resultaten i Pisa. Hade dessa författare kollat upp vad den nationalekonomiska Pisaforskningen har att säga - och förstått de metodologiska skillnaderna med Pisarapporten - hade de haft svårare att slänga ur sig något sådant. Det finns vissa relevanta invändningar mot den studien - ingen forskning är helt invändningsfri men jag anser att den håller i det stora hela (varför ska jag förklara senare) - men att vi bör föredra Pisarapportens enkla korrelationsanalys finns inte på kartan.
Vissa menar att det bara handlar om ideologi. Det tror jag inte. Att det handlar om bristande förståelse stöds av att samma personer skriver att även vänstern, som ofta förespråkar starkare politiskt styre av skolan, borde lära av rapporten. Pisastudien finner nämligen att skolautonomi tillsammans med ansvarsskyldighet förbättrar resultaten, medan autonomi utan ansvarsskyldighet är negativt. Denna slutsats nås med bättre metoder än den om skolkonkurrens, men många problem återstår. Det är därför intressant att den bästa akademiska studien på området motsäger idén om att skolautonomi endast är bra i industriländer om det åtföljs av ansvarsskyldighet. Autonomi är bra i sig även om det verkar som att ansvarsskyldighet ökar effekten. I utvecklingsländer är effekten istället negativ, oavsett ansvarsskyldighet. Utvecklingsländer bör tänka sig för innan de följer råden från OECD (samt Pierce och Clifton).
Att det icke-akademiska Pisakapitlets statistiska analyser går emot den akademiska forskningen står därför klart. Än mer populärt bland skoldebattörer är dock att hänvisa till hög- och lågpresterande länders skolpolitiska särdrag i förslag till vad som bör åtgärdas. Men sådana hänvisningar säger ingenting - vi har exempelvis ingen aning om japanska elever presterar bra för att Japan har en bra utbildningspolitik. Så vitt jag vet kan det vara för att japanska elever äter mycket fisk. "Best practice"-approachen är därför ren humbug. I princip alla särdrag som nu sägs ligga bakom högpresterande länders prestationer finns även i lågpresterande länder. Debattörer kan därför betona det de gillar och tror på. Man ser det man vill se. Kul läsning - men något bevisvärde har det inte.
Skolforskning och -debatt har länge varit präglat av tyckande och bloggande. Sådant är roligt att läsa. Men det är värdelöst om man vill veta vad som ger bättre resultat i internationella undersökningar. För att förstå vad som orsakar vad måste vi analysera och utöka den metodologiskt starka forskningen på området. Den är kanske tråkigare. Men den är också viktigare.
