Vad gör kontrollgruppen?

Vad gör kontrollgruppen?

Det verkar som det börjar bli vanligare med experimentellt orienterade studier inom utbildningsforskningen i Sverige. I ett experiment får, något förenklat, en experimentgrupp ta del av en så kallad intervention, till exempel en ny typ av undervisning. Utfallet av interventionen jämförs sedan med utfallet i en kontrollgrupp som inte tagit del i interventionen, i detta exempel den nya typen av undervisning. Vi känner igen tänkandet från den medicinska forskningen där en grupp patienter får prova en ny medicin medan en annan får så kallad placebo. Placebo betecknar då en tablett eller liknande som inte innehåller någon verksam substans. I idealfallet vet vare sig patienter eller de som utdelar medicinen vilka patienter som får medicin respektive placebo, s.k, ”double-blind metodik. Detta görs för att inte förväntanseffekter ska påverka utfallet. (En intressant fråga som kan ställas i förbigående  är om det finns mediciner som endast fungerar i samklang med förväntanseffekter, jag kan inte se att double-blind metodiken prövar den möjligheten.) Jämförelsen med medicinen haltar dock något då vi inte kan använda ”double-blind” metodik inom utbildningsvetenskapen.

Genom att göra mätningar när experiment genomförts på olika utfallsvariabler i både experiment- och kontrollgruppen kan det alltså avgöras om interventionen haft någon effekt. I det utbildningsvetenskapliga exemplet kan vi se om den nya typen av undervisning leder till förbättrat lärande och mer samarbete i experimentgruppen i jämförelse med i kontrollgruppen. Inom den medicinska forskningen kan det urvärderas om den nya medicinen leder till att patienterna i experimentgruppen blir friskare än de i kontrollgruppen.  

 

Skolan som natur eller kultur

Ett problem inom den utbildningsvetenskapliga forskningen är att det ofta är svårt att veta vad kontrollgruppen ägnat sig åt medan experimentgruppen deltagit i interventionen. Nu talar jag inte om svensk forskning, där experiment varit sällsynta, utom framför allt om den amerikanska forskningen. Ofta beskrivs det som att kontrollgruppen ägnat sig åt ”vanlig” undervisning och det framgår sällan vad denna består i, vad den haft för syfte och om den kanske haft några andra effekter än de forskarna som genomför studien letar efter. Det bör också nämnas att det inte är ovanligt med studier där kontrollgrupper inte används alls men dessa är då heller inte experiment i den mening av ordet som getts här. Hur som helst tycker jag att tänkandet kring kontrollgrupper inom den utbildningsvetenskapliga forskningen ofta vilar på en idé om någon sorts naturlighet i bemärkelsen att något är oföränderligt och har en viss given form. Det finns alltså en ”naturlig” undervisning som pågår och som de nya arbetssätten ska jämföras med. Om experimentet ger ett positivt utfall i form av att forskaren finner statistiskt signifikanta skillnader mellan experiment- och kontrollgrupp dras slutsatsen att det nya arbetssättet verkar fruktbart.

Inget kan dock vara felaktigare än att anta att skolan är natur. Undervisningen gestaltas på olika sätt under olika historiska epoker och i skilda kulturella sammanhang. Undervisning är således en mänsklig uppfinning, en produkt av vår kultur, och det leder till problem om vi börjar uppfatta att viss undervisning är naturlig.

 

Två problem med att uppfatta skolan som natur

Det första problemet har jag redan berört. Om vi utgår från att det finns en ”naturlig” undervisning som interventionerna ska jämföras med måste vi belägga att undervisningen verkligen är ”naturlig” och vad det innebär vilket nästan aldrig görs. Vi får då svårigheter att veta vad undervisningen i kontrollgruppen representerar. Flera invänder säkert att det snarare är med den ”vanliga” än med den ”naturliga” undervisningen som jämförelsen görs, vilket kan vara en rimlig invändning.  Om det hävdas att kontrollgruppen deltar i ”vanlig” undervisning måste det  hur som helst ändå visas på vilket sätt den kan sägas vara vanlig.

Det andra problemet med att uppfatta skolan som natur är kanske allvarligare. Om vi uppfattar skolan som kultur, det vill säga som något format av och för människor och som är statt i förändring, framträder problemet tydligt. Det blir utifrån ett sådant synsätt ganska meningslöst att jämföra med den undervisning som är vanligast, det vill säga den som uppfattas som naturlig. I stället öppnas våra ögon för att undervisning kan gestaltas på en rad olika sätt. Det är då inte lika intressant att visa att en intervention ger signifikanta resultat i jämförelse med en kotrollgrupp som deltar i ”vanlig” undervisning. I stället är det mer rimligt att fråga sig om det nya arbetssättet som ska provas är mer funktionellt än andra arbetssätt som provats i tidigare forskning. Om vi gör en analogi igen med medicininen blir den viktiga frågan inte om den nya medicinen är effektivare än placebon utan om den är effektivare än andra mediciner.

Jag har varit inne på denna diskussion i en tidigare blogg då jag diskuterade träning av arbetsminnet och dess effekter på skolarbetet. Där menade jag att det är av stor betydelse vad kontrollgruppen som inte tränar arbetsminnet gör. Till exempel försvann positiva effekter av träning när kontrollgruppen fick göra liknande aktiviteter, vilka dock inte innebar att arbetsminnet tränades. Enligt mitt resonemang hade det varit ännu mer fruktbart om kontrollgruppen fått ägna sig åt skolarbete utifrån arbetssätt som har gott stöd i forskningen när man utvärderar träning av arbetsminne. Detta speglar den verkliga situationen där alternativen för elever med AD/HD kan vara att träna arbetsminne eller att undervisas i exempelvis matematik. Om man får tro den norske forskaren Monica Melby-Lervåg (se referens nedan) har arbetsminnesträning inga effekter på skolkunskaper när jämförelser görs med kontrollgrupper som genomför liknande aktiviteter, som då alltså inte innebär träning av arbetsminne. Det är en god gissning att om eleverna får arbeta med exempelvis matematik eller läs- och skrivlärande utifrån arbetssätt som visat sig ge goda resultat i vetenskapliga studier under den tid de sysslat med arbetsminnesträning så hade de lärt sig betydligt.  Om det nu förhåller sig på det sätt som Melby-Lervåg menar finns det skäl att fråga sig vem som bär ansvaret för att elever med AD/HD i svenska skolor sysslat med träning av arbetsminnet. Forskare som för tidigt gått ut med sina resultat? (som inte visat sig hålla för en närmare granskning) Skolor och lärare som satsat på detta? Företag som tjänat pengar på att sälja datorprogrammen? Det finns i skolhistorien givetvis en stor mängd exempel på att arbetssätt förespråkats vilka inte visat sig ha några effekter alls när de prövats på ett vetenskapligt sätt, till exempel grovmotorisk träning för att förbättra läs- och skrivlärandet.

Det räcker således inte att ett nytt arbetssätt ger ett statistiskt signifikant bättre resultat för experimentgruppen i jämförelse med en kontrollgrupp (enligt Melby-Lervåg nåddes alltså inte arbetsminnesträningen ens upp till detta första krav). För att ett nytt arbetssätt ska vara intressant att införa i skolan bör det dessutom ge ett bättre utfall än andra arbetssätt som provats. Den här frågan har givetvis uppmärksammats inom forskningen och det blir allt vanligare att intresset riktas mot hur stor skillnad en intervention gör i relation till andra interventioner. Det är alltså vanskligt att påstå att en intervention som ger en signifikant effekt i jämförelse med utfallet i en kontrollgrupp ska implementeras i skolan. Tvärtom kan det vara mycket riskabelt att dra sådana slutsatser.

 

 Melby-Lervåg, M. och Hulme, C. (2016) There is no convincing evidence that working memory training is effective: A reply to Au et al. (2014) and Karbach and Verhaeghen (2014). Psychonomic  Bulletin and Review, 23, 324-330.

kommentarer
Lägg till kommentar