Att omsätta evidens i skolans arbete

Att omsätta evidens i skolans arbete

Evidensrörelsen har att hantera tre utmaningar: 1) Sammanfattningsproblemet, 2) Översättningsproblemet och 3) Relevansproblemet.

Det första problemet handlar om att sammanställa den evidens som finns i forskningen. Vad säger forskningen är det bästa sättet att uppnå X? Det andra problem är att översätta evidensen till praktiken. Hur kan de arbetssätt som har stöd i forskningen bli en del av den vanliga verksamheten i skolan? Det tredje problemet handlar om att översättningen ska bli relevant för det uppdrag som tilldelats utbildningen. (se länk till tidigare blogg nedan för en utförligare beskrivning av de tre problemen).

Vad skolan ska uppnå har avgörande betydelse för vilken forskning blir relevant och också för hur den kan användas i skolans arbete och relevansproblemet är således helt centralt. Därför kan det också vara poängfullt att ändra på ordningen ovan för att illustrera relevansproblemets primat: 1) Relevansproblemet 2) Sammanfattningsproblemet och 3) Översättningsproblemet.

Den här bloggen ska ägnas åt det översättningsproblem som formulerats i bloggens rubrik ovan. Innan vi närmar oss översättningsproblemet är det dock viktigt att diskutera betydelsen av relevansproblemet.

Relevansproblemet

I skollagens 1 kap 4 § beskrivs utbildningssystemets syfte, såsom det beslutats i demokratisk ordning:

4 § Utbildningen inom skolväsendet syftar till att barn och elever ska inhämta och utveckla kunskaper och värden. Den ska främja alla barns och elevers utveckling och lärande samt en livslång lust att lära. Utbildningen ska också förmedla och förankra respekt för de mänskliga rättigheterna och de grundläggande demokratiska värderingar som det svenska samhället vilar på.

I utbildningen ska hänsyn tas till barns och elevers olika behov. Barn och elever ska ges stöd och stimulans så att de utvecklas så långt som möjligt. En strävan ska vara att uppväga skillnader i barnens och elevernas förutsättningar att tillgodogöra sig utbildningen.

Utbildningen syftar också till att i samarbete med hemmen främja barns och elevers allsidiga personliga utveckling till aktiva, kreativa, kompetenta och ansvarskännande individer och medborgare.

Utifrån denna paragraf och de mål som formuleras i skollagen för de olika skolformerna har jag urskilt sju mål för skolan: 1) Ett kunskapsuppdrag som innefattar lusten att lära 2) Ett uppdrag som handlar om överföring av värden och fostran till demokrati 3) Ett kompensatoriskt uppdrag 4) Ett uppdrag som handlar om utveckling av dygder (t.ex. ansvar) 5) Främjande av personlig utveckling 6) Främjande av gemenskap 7) Främjande av hälsa. (se länk till tidigare blogg om dessa sju mål)

Jag gör inga anspråk på att detta är den definitiva analysen av vad skolan ska uppnå enligt styrdokumenten men utan tvekan är det mest betydelsefulla medtaget. Givetvis finns det utrymme för andra alternativ, till exempel skulle lusten att lära kunna brytas ut som ett mål i sin egen rätt. Observera att min analys utgår från skollagen som har större juridisk tyngd än läroplanen.

Som jag uttryckt vid flera tillfällen, bland annat i denna blogg, är jag oerhört förvånad, och faktiskt lite chockad, över hur lite uppmärksamhet som ägnas åt skolans uppdrag såsom det beslutats i demokratisk ordning. Många stora tänkare i historien har ägnat frågan om utbildningens mål och mening stor uppmärksamhet vilket inte gör frånvaron av denna diskussion idag i svensk forskning och offentlighet mindre problematisk.

Mycket ofta tas det för självklart att förbättringen av utbildningsprestationer är skolans enda mål. Tyvärr innebär detta dessutom ofta en förenklad syn på vad som utgör kunskap (se länk till tidigare blogg nedan) Men hur ska man förstå oviljan att fokusera på utbildningens uppdrag såsom det fastställts på demokratisk väg?

Det finns givetvis flera förklaringar till denna ovilja, till exempel: 1) Okunskap (man känner inte till vad styrdokumenten säger om målen) 2) Motstånd (man förespråkar en annan ideologi för skolan än den som föreskrivs i styrdokumenten) 3) Desperation (man har varit så skrämd av svenska elevers fallande resultat på internationella mätningar/att så många elever inte når skolans mål att uppmärksamheten närmast uteslutande riktas mot resultaten) 4) Bekvämlighet (betyg och motsvarande är de enda data man har vad gäller skolsystemet) 5) Rädsla (att hävda ett brett uppdrag från skolan gör att man riskerar att stöta sig med överordnade nivåer/personer) 6) Professionellt fokus som tar sig uttryck i att målen i kursplanerna tas som enda utgångspunkten för undervisningen.

Även om jag kan känna en viss förståelse för 3) ovan finns det självklart inga ursäkter för att åsidosätta de demokratiskt beslutade målen för skolan i diskussioner och forskning. Intressant är också att dessa mål inte ska, och heller kan, fastställas vetenskapligt. Därför är evidensfrågan underordnad det vi i samhället i diskussioner och politiska beslut kommer fram till att skolan ska uppnå.

Annorlunda uttryckt: Den fråga som ställs inom evidensrörelsen om ”what works” bör omformuleras till (och här går jag för enkelhetens skull över till svenska) till ”vad fungerar för att den svenska skolan ska uppnå de mål som demokratiskt beslutats för den?”

Efter denna lite längre utläggning om relevansfrågan, vilken förklaras av frågans helt centrala betydelse, är det dags att återvända till frågan om hur evidens ska kunna överföras till praktiken.

Att omsätta evidens i skolans arbete

För framställningens skull förutsätter vi att det föreligger evidens från forskningen vilken ska omsättas i praktisk forskning. Vi utgår också ifrån att denna evidens gäller utbildningsprestationer, vilket oftast är fallet (men håll i minnet det som skrevs ovan om relevansproblemet).

Vi ska också bortse från det faktum att det långtifrån alltid föreligger en överensstämmelse om exakt vad som utgör evidens eftersom sammanfattningsproblemet är teoretiskt och metodologiskt komplext (se länk nedan till blogg som illustrerar detta). Vi utgår dock här för argumentationens skull alltså ifrån att det finns en, åtminstone temporär, lösning på sammanfattningsproblemet. Hur ska då denna evidens överföras till policy och praktik så att dessa blir ”evidensbaserade”?

Vi kan tänka oss ett antal olika sätt att överföra evidens från forskningen till skolans praktik genom att: a) lärare själva eller tillsammans söker evidens och använder den för att utforma utbildningen/undervisningen (vilket framhållits av Bengt och Elisabet Persson som en framgångsfaktor i Essunga kommuns förändringsarbete)  b) evidens sammanställs på hemsidor och liknande som lärare kan använda c)  så kallade ”tredje rum” skapas där lärare och forskare kan mötas på ”lika” villkor och diskutera hur skolan kan ställas på vetenskaplig grund d) forskningscirklar anordnas/lärare handleds e)  forskare ger föreläsningar inom ramen för en fortbildning av lärare f) forskare är involverade i gestaltningen av själva undervisningen (t.ex. learning study) g) evidens ligger till grund för utformningen av läroböcker h) evidens ligger till grund för styrdokument i) evidens ligger till grund för läroböcker och styrdokument och  myndigheter får ett stor ansvar för hur användandet av läroböcker och styrdokument i skolan genomförs.  

Vi kan i uppräkningen ovan se en fallande skala (där ordningen mellan d-f förstås kan diskuteras) från en hög grad av lärarkontroll där lärare i viss mån är med och bestämmer vilken forskning som är relevant och hur den ska användas till att lärare så att säga ställs inför fullbordat faktum (se länk nedan till tidigare blogg om läraren som fri själ eller robot). Frågan om hur evidens ska överföras till praktiken är således intimt förknippad med hur vi ser på lärarens professionella handlingsutrymme. Vidare är det också viktigt att observera att de olika sätten att överföra evidens har olika kostnader och når olika antal mottagare, vilket förstås också måste vägas in när vi ska jämföra dem med varandra.

Det finns alltså många idéer om hur skolan bäst ska ställas på vetenskaplig grund. Men vilken evidens finns det för vilket som är bästa sättet att göra det på? Det som krävs för att besvara den frågan är 1) identifikation av evidens för ett visst sätt att arbeta (sammanfattningsproblemet) 2) en (eller en kombination av flera) metoder för att överföra evidensen (se listan ovan) 3) bevis (för att visa att de lärare som fått tillgång till arbetssättet utvecklar sina elever (ofta handlar det som nämnts om kunskapsprestationer) mer än lärare i en kontrollgrupp. På så sätt kan evidens för hur evidens kan överföras till praktiken genereras. 

Hur vet vi då vilket som är det bästa sättet att överföra evidens? Gorard med fler har genomfört en forskningsöversikt med titeln ” What is the evidence on the best way to get evidence into use in education?  (se referens och länk till artikel nedan) där de sökt forskning som kan ge metodologiskt hållbara svar på frågan om hur evidens ska kunna överföras till policy och praktik.

De kommer fram till en hel del intressanta resultat: 1) det finns lite relevant forskning som kan besvara frågan, speciellt när vi avgränsar oss till det utbildningsvetenskapliga området 2) de studier som finns gäller praktik snarare än policy 3) det finns viss evidens för att evidens kan överföras så att den påverkar lärares kunskaper och beteenden men närmast ingen för hur den kan överföras så att den påverkar elevers prestationer. 4) inte alla studier visar på positiva effekter när evidens ska överföras till praktiken.

Godard med flera skriver själva att det är svårt för dem att tydligt redovisa hur de sökt vetenskapliga arbeten och att de kan ha missat ett antal studier, men menar att de att ändå visar på de övergripande tendenserna inom området. Dock är det en något förvånande slutsats att det inte finns studier som visar hur överföring av evidens kan förbättra elevers prestationer.  Ett skäl till denna slutsats är sannolikt att studien hade något snäva inkluderingskriterier.

Det finns dock andra forskningsöversikter vilka visar på hur praktiken kan utvecklas så att inte bara lärarens beteende ändras utan också så att elevernas prestationer förbättras. I en intressant översikt visar till exempel Kraft med flera (se referens och länk nedan) hur ”coaching” (brett definierat som att mer kunniga/erfarna lärare handleder kollega eller att kollegor handleder varandra) leder till förbättrade elevprestationer. Det är dock oklart för mig i vilken utsträckning handledningen i de ingående studierna i sig bygger på genomgripande analyser om vad som är evidens inom området för coachingen (de flesta studierna handlar om tidig läs- och skrivinlärning).

Effekten på elevers prestationer är dock inte speciellt stor och minskar ju fler lärare som ingår i studierna. Vidare ligger utfallsmåtten nära det som så att säga tränas i studierna. Nästan ingen studie undersöker heller longitudinella effekter av ”coaching” och i det fåtal som gör det finner man ”mixed evidence” men några visar på positiva resultat.

Här är det dock viktigt att skjuta in en brasklapp. Kraft med flera utgår från studier där randomiserade experimentella designer använts. De beräknar ”effekt-storlekar”, vilket innebär att en styrka på sambanden ges (i det här fallet mellan ”coaching” och elevers utbildningsprestationer).

Det är också med hjälp av sådana effekt-mått som Hattie bygger upp sin argumentation kring vad som bäst förbättrar utbildningsprestationer, men Hattie har också blivit väldigt kritiserad för hur han beräknar ”effekt-sizes” (se länk till tidigare blogg nedan).

I en tidigare blogg har jag omtalat korrelationer som ett ”djävulens bländverk” och detta kan även effekt-storlekar vara. Jag har inte möjlighet att gå in på alla vanskligheter kring detta här, men något som har avgörande betydelse för hur stor effektstorleken blir är vad kontrollgruppen gör (se länkar till tidigare bloggar nedan).

Här finns variationer alltifrån att kontrollgruppen inte ens utför samma typ av aktivitet som experimentgruppen till att det är små skillnader mellan vad experiment- respektive kontrollgrupp gör. Självklart påverkar sådant effektstorleken. Min brasklapp handlar således om att jag inte haft möjlighet att undersöka hur Kraft med flera sammanställt forskningen och hur de till exempel hanterat frågan om kontrollgruppens aktivitet.

Utifrån en evidenslogik ger de två översikter bilden att en hel del återstår innan vi vet hur evidens systematiskt kan överföras till praktiken så att elevers prestationer ökar på lång sikt, men att det inte förefaller orimligt att tro att detta är möjligt. Det som behövs utifrån denna logik är studier som är tydligare med hur sammanfattningsproblemet hanterats, som har en tydlig modell för hur evidensen så att säga ska överföras och vilka kan visa på longitudinella effekter med en viss substans på elever.

Nu undrar nog läsaren vart relevansproblemet tog vägen så låt oss återgå till denna grundläggande fråga.

Avslutande kommentar

Inledningsvis argumenterade jag för att relevansfrågan bör vara utgångspunkt för en diskussion om hur skolan ska ställas på vetenskaplig grund. Den har helt avgörande betydelse för vilken forskning som blir relevant att sammanställa (studier som har bäring på det breda uppdraget) och även att genomföra. Vidare menade jag att relevansfrågan ytterst är en demokratifråga. Politiker som väljs i fria val fastställer de övergripande målen för skolan vilka således får en legitimitet som grundar sig i demokratin.

Det är dock positivt att evidensrörelsen sätter ljuset på betydelsen av att visa att vad som förespråkas kan fungera. Hela utbildningsfältet är fyllt av åsikter och teorier men betydligt mer sällsynt är att dessa teorier prövas i praktiken.

Det är givetvis också positivt att man kan visa på vad som kan öka utbildningsprestationerna, eftersom kunskapandet förstås är ett centralt uppdrag för skolan. Dock skulle man i den typen av studier behöva titta på utfallsvariabler vilka speglar en större del av det breda uppdraget. Ett minimikrav är i alla fall att diskutera utfallet av interventionsstudier i relation till skolans uppdrag. I en genomgång av high-impact översikter om forskning om undervisningsmetoder kom vi till slutsatsen att detta mycket sällan görs (se länk till tidigare blogg nedan).

Avslutningsvis är det viktigt att slå fast att vi skulle behöva en ny typ av interventionsstudier för att kunna bygga upp en gedigen kunskap om hur ett bredare uppdrag ska kunna genomföras på bästa sätt. Dessa studier skulle således studera fler utfallsvariabler och också vara mer uppmärksamma på vilka aktiviteter som kontrollgruppen ägnar sig åt.

Det är ganska uppenbart att en forskning som endast uppmärksammar utbildningsprestationer riskerar att bli ett redskap för NPM snarare än för demokratin.

Referenser och länkar till artiklar:

Gorard, S., See, B.H och Siddiqui, N. (2020) What is the evidence on the best way to get

evidence into use in education? (2020) Review of Education, 8(2), 570 - 610.

https://dro.dur.ac.uk/29896/

Kraft, M., Blazar, D.  & Hogan, D. (2018). The Effect of Teacher Coaching on Instruction and Achievement: A Meta-Analysis of the Causal Evidence. Review of Educational Research, 88 (4), 547-588.

https://scholar.harvard.edu/files/mkraft/files/kraft_blazar_hogan_2018_teacher_coaching.pdf

Länkar till bloggar:

Länk till blogg om de tre utmaningarna/problemen:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/skola-pa-vetenskaplig-grund-eller-pa-grund-vetenskap-

Länk till blogg om utbildningssystemets sju mål:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/sju-uppdrag-for-skolan

Länk till blogg om måluppfyllelse/kunskapsprestationer och kunskap:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/garanterar-maluppfyllelse-ku

Länk till blogg om (några aspekter av) komplexiteten i sammanfattningsproblemet:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/vukja-insatser-for-barn-i-forskolan-med-autism-har-evidens-

Länk till bloggen Läraren – fri själ eller robot?:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/lararen-fri-sjal-eller-robot-

Länk till blogg om Hattie:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/ar-john

Länk till bloggar om kontrollgruppens betydelse:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/vad-gor-kontrollgruppen-

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/ar-det-poangfullt-att-trana-arbetsminnet-for-elever-med-adhd-och-dyslexi-

Länk till blogg om high-impact översikter om undervisning:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/undervisningens-mal

 

kommentarer
Lägg till kommentar