vetenskaplig impact

vetenskaplig impact

Alla forskare vill förmodligen att deras forskning ska ha impact, det vill säga ha påverkan på omgivningen.

Först och främst handlar det som forskare om att påverka det vetenskapliga område inom vilket man är verksam. Det kan ske genom att utveckla teori och/eller presentera ny empiri och/eller utveckla metodologiska ansatser som är av intresse för vetenskapssamhället.

Forskaren kan också förmedla sin forskning i undervisning eller genom att producera läroböcker.

Forskaren kan också ha impact på det omgivande samhället. Detta kallades tidigare för universitetets tredje uppgift (utöver forskning och undervisning) och gavs då en högre status. För utbildningsvetenskapen kan impact framförallt gälla 1) policy 2) det offentliga samtalet och 3) praktiken.

Frågan om vetenskaplig impact, vilket alltså är den typ av impact som fokuseras i denna blogg, har alltmer kommit att uppmärksammas. Trots allt handlar det inte endast om att som forskare bli publicerad utan också om att ha en påverkan på forskningen.

Men hur kan vetenskaplig impact mätas? Och är det poängfullt att mäta sådan impact? Låt oss börja med den första frågan.

Hur kan vetenskaplig impact mätas?

Det finns ett antal mer eller mindre vedertagna metoder att mäta vetenskaplig impact. Det handlar oftast om att mäta antalet citeringar, det vill säga de gånger någon annan forskare refererat till ett arbete. Databaserna Web of Science och Scopus tillhandhåller mått på citeringar.

Går man in i Web of Science och väljer ”cited references” och sedan skriver ett namn i fältet för ”cited author” så erhålls en förteckning över de arbeten av denna person som citerats i Web of Science och en siffra för hur många gånger ett visst arbete citerats. Detta gäller även arbeten som är publicerade i tidskrifter och liknande som inte finns i Web of Science

Ett annat sätt att mäta impact är att använda Google Scholar, där namnet skrivs in i sökrutan. Google schoolar tittar mycket brett på citeringar i jämförelse med Web of Science och Scopus och anses inte ha lika god kvalité. Web of Science och Scopus täcker bara in en del av alla vetenskapliga arbeten och har relativt sett höga kvalitetskrav för exempelvis de tidskrifter som vill ingå databasen.

Ytterligare ett sätt att mäta impact möjliggörs av att många tidskrifter idag ger information om antalet visningar/läsningar av artiklar. Såsom är fallet med citeringar i Google Schoolar är det inte helt lätt att veta vad dessa visningar/läsningar står för.

Det går förstås också att undersöka impact av en specifik artikel i Web of Science och Scopus. En annan  möjlighet är att leta fram de arbeten inom ett visst området (t.ex, inkludering) vilka haft störst impact. På så sätt ges en bild av vart forskarsamhället riktar sin uppmärksamhet.

Antalet citeringar är givetvis ett ganska ytligt mått på påverkan på vetenskapssamhället. Det säger inte ens om den som citerar är positiv eller negativ till det som citeras.  Mer informativt är givetvis att veta vad i ett arbete som citeras och hur det citeras. Vidare är det förmodligen så inom utbildningsvetenskapen att vi först i ett långt tidsspann har möjlighet att veta mer säkert om och i så fall hur ett visst arbete haft ett inflytande på området.

Själva citeringsmåttet är alltså snarast ett mått på uppmärksamhet. Å andra sidan kan det som inte uppmärksammas knappast ha någon påverkan. Antalet citeringar är således långt ifrån ointressant.

Inom det utbildningsvetenskapliga området är det betydelsefullt att ge teoretiska och konceptuella bidrag, snarare än att presentera ny empiri, enligt min åsikt. Ny empiri är förstås viktig om den tolkas insiktsfullt. Ett problem är dock att många empiriska studier inom det utbildningsvetenskapliga området inte är tillräckligt teoretiskt/konceptuellt genomtänkta.

Ett övergripande mål för forskare inom det utbildningsvetenskapliga området bör enligt min mening vara att skriva positioneringsartiklar där kunskapen inom ett område kritiskt sammanfattas och vägar framåt pekas ut. Betydelsefullt är förstås också att sådana artiklar uppmärksammas och ses som viktiga av andra forskare.

Tyvärr har svensk utbildningsvetenskaplig forskning till alltför stor del importerat teorier, vilka illustrerats med hjälp av data från den svenska kontexten. Internationalisering har i alltför hög grad kommit att betyda att ha kontakt med forskargrupper i utlandet snarare än att ha en teoretisk/konceptuell impact på en internationell vetenskaplig arena.

Är det poängfullt att mäta impact?

Det vore förstås konstigt om inte forskare strävar efter att påverka sitt forskningsområde. Därför blir det också betydelsefullt att åtminstone på något sätt att undersöka forskningens påverkan. Det är dock som sagt viktigt att höja en varningsflagga vad gäller mätningar av impact.

För det första är det betydelsefullt att inse att impact inte ett mått på vetenskaplig kvalité. När vi till exempel i ett projekt  undersökt high-impact forskning om undervisning har vi varit kritiska till ganska grundläggande antaganden i denna forskning (se länk nedan). Även om forskningen varit inflytelserik så har den inte varit tillräckligt teoretiskt/konceptuellt underbyggd, utifrån våra analyser.

Det finns dock krafter som vill att vi ska se impact som ett mått på vetenskaplig kvalité. Det möjliggör nämligen en ny form av styrning av forskningen. Impact-måttet kan dessutom kalibreras så att forskare inom olika områden kan jämföras. Om vi ser impact som ett mått på kvalité öppnar sig enligt detta synsätt möjligheten för en optimal resursallokering genom att den forskning som har högst impact får mest resurser. 

Det innebär paradoxalt nog i extremfallet att frågan om hur resurser ska satsas flyttas bort från forskarsamhället självt till mer objektiva indikatorer. Dock bör vi i det här sammanhanget också uppmärksamma att när forskare själva ska allokera resurser lyckas man inte heller bedöma vetenskaplig kvalité på ett godtagbart sätt (se länk till tidigare blogg nedan).

Jag tror att det vore ett steg framåt om vi i stället för att tro att vi kan bedöma forskning mer eller mindre objektivt inser att bedömning inom det utbildningsvetenskapliga området är en relation. Utifrån vissa utgångspunkter ses en forskningsansökan, en vetenskaplig artikel mm. i ett visst ljus, vilket har nästan lika mycket med de(n) som bedömer som de(n) som blir bedömd(a) att göra.

Om samstämmigheten i bedömningar blir hög kan vi inte utesluta att det är andra faktorer än kvalité som avgör bedömningarna (t.ex. gynnande av viss teori, visst område, viss disciplin och/eller sökandes kön (vilket en gång i tiden visade sig ha stor betydelse i en kritisk analys av vetenskapliga ansökningar inom det medicinska området)).

Vi bör således aldrig diskutera frågor om impact fristående från frågan om vad som utgör god forskning och hur vi tror att forskningen kan öka vår kunskap på bästa sätt. Inom ramen för en sådan diskussion kan impact-värden tillhandahålla värdefull kunskap, vare sig det gäller en enskild forskares forskargärning eller en analys av ett kunskapsområde. Det är den höga frånvaron av sådana övergripande diskussioner om vad som utgör god forskning inom olika områden inom det utbildningsvetenskapliga området som oroar mig.

Avslutningsvis vill jag för att illustrera att det är intressant att titta på impact använda ett material jag fått från Daniel Sundberg, professor i pedagogik vid Linnéuniversitet. Daniel har varit vänlig att låta mig ta del av en lista över de 12 artiklar publicerade mellan 1996-2020 i tidskriften Pedagogisk Forskning i Sverige som blivit mest citerade i Google scholar. Den bifogas som ett appendix till den här bloggen för att illustrera att en hel del intressant information går att utvinna ur sådana impact-analyser. Till exempel är det tydligt att flera av de artiklar som citerats mycket i en av Sveriges ledande pedagogiska tidskrifter är av en mer övergripande begreppslig/teoretisk/metodologisk karaktär. 

Flera artiklar är resonerande översikter över forskningsområden där centrala aspekter av dessa områden diskuteras (t.ex. barnperspektiv). Det blir intressant att se om denna typ av översikter kommer att ersättas av så kallade systematiska översikter vilka oftast har mer avgränsade frågeställningar och lutar sig mer mot på förhand fastställda metodologier.

Fyra av artiklarna berör förskolan, två specialpedagogik medan fyra rör metodologiska frågor. En intressant observation är att artikeln där Rodney Åsberg kritiserar användningen av begreppen kvalitativa och kvantitativa metoder är så väl citerad men ändå verkar ha haft en alltför begränsad påverkan på hur uttrycken används idag.

 

Länk till blogg om om kritisk analys av forskning:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/undervisningens-mal

Länk till blogg om att mäta vetenskaplig kvalité:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/gar-det-att-mata-forskningsansokningars-kvalite-pa-ett-tillforlitligt-satt-

 

Appendix:

 

De 12 artiklar i Pedagogisk Forskning i Sverige från 1996 till 2020 som blivit mest citerade.

 

 

Barnperspektiv som ideologiskt och/eller metodologiskt begrepp. G Halldén (2003). Pedagogisk forskning i Sverige, cited by 481 (28.29 per year)

Begreppet barnperspektiv är mångtydigt. Det används som ett ideologiskt begrepp med stor retorisk kapacitet och det används i vetenskapliga sammanhang som ett metodologiskt begrepp. Artikeln diskuterar olika innebörder som kan ges åt begreppet barnperspektiv…

Att närma sig barns perspektiv: Forskares och pedagogers möten med barns perspektiv. E Johansson (2003). Pedagogisk forskning i Sverige, cited by 400 (23.53 per year)

Denna artikel behandlar vad barns perspektiv kan innebära i pedagogisk forskning och i pedagogiskt arbete med barn. I arbetet diskuteras de möjligheter att studera och förstå barns perspektiv som en livsvärldsfenomenologisk teori kan bidra med. Vidare analyseras …

Det finns inga kvalitativa metoder–och inga kvantitativa heller för den delen: Det kvalitativa-kvantitativa argumentets missvisande retorik. R Åsberg (2001) Pedagogisk forskning i Sverige, cited by 363 (19.11 per year)

Min utgångspunkt är insikten om att all utläggning om valet mellan så kallade kvantitativa och kvalitativa metoder i forskningssammanhang, som man ofta möter både i metodiska handböcker och i vetenskapliga arbeten, visar till en pseudofråga. Det finns inget sådant …

Specialpedagogik av igår, idag och imorgon. A Ahlberg (2007). Pedagogisk forskning i Sverige, cited by 277 (21.31 per year)

Syftet med denna artikel är att ge en bild av specialpedagogik som kunskapsområde och de kunskapstillskott som den specialpedagogiska forskningen kan ha bidragit med för att utveckla fältet. Beskrivningen tar sin utgångspunkt i en kortfattad historik, därefter behandlas …

Specialpedagogik: Vilka är de grundläggande perspektiven? C Nilholm (2005) Pedagogisk forskning i Sverige, cited by 274 (18.27 per year)

Forskningen om specialpedagogik brukar delas in i två grundläggande perspektiv. Å ena sidan ett mer traditionellt, individualistiskt perspektiv med rötter i medicin och psykologi och, å andra sidan, ett alternativt perspektiv med betoning på sociala faktorers betydelse för …

Delaktighet som värdering och pedagogik. I Pramling Samuelsson, S Sheridan (2003). Pedagogisk forskning i Sverige, cited by 254 (14.94 per year)

Skoleffekter på elevers motivation och utveckling. J Giota (2002) Pedagogisk forskning i Sverige, open.lnu.se, cited by 220 (12.22 per year)

Denna artikel diskuterar skolans såväl direkta som indirekta effeker på elevernas utveckling genom att lyfta fram forskningsstudier om» effektiva skolor» och kontrastera dem med studier som utgår från olika psykologiska processer och i synnerhet betydelsen av elevernas …

Ramfaktorteori och praktisk utbildningsplanering. U P Lundgren (1999) Pedagogisk forskning i Sverige, 130.241.35.84, cited by 210 (10.00 per year)

Ramfaktorteorin behandlas som ett tankeverktyg för utbildnings-planering. Artikeln beskriver huvuddragen i efterkrigstidens skolreformer med utgångspunkt i hur ramfaktorteorin formulerades och hur den senare också kom att bli ett verktyg för utbildningsplanering och …

Om att bli dokumenterad: Etiska aspekter på förskolans arbete med dokumentation AL Lindgren, A Sparrman (2003) Pedagogisk forskning i Sverige, 130.241.35.84, cited by 198 (11.65 per year)

I dagens förskola har dokumentation fått en prioriterad position som arbetsmetod. Hur dokumentation ska gå till och vad den kan användas till finns det relativt utförliga instruktioner om, däremot saknas etiska diskussioner omkring vad dokumentation innebär …

Om användning av videoinspelning i fältarbete. M Häikklä, F Sahlström (2003) Pedagogisk forskning i Sverige, conferences.lnu.se, cited by 196 (11.53 per year)

I den här artikeln diskuteras de möjligheter och begränsningar som videoinspelningar under fältarbete innebär för analyser av barns vardag ur barns perspektiv. Hur påverkar olika användande av bild och ljudinspelningar av barns interaktion analytiska möjligheter och …

'Stimulated recall': Några anteckningar om en metod att generera data. B Haglund (2003) Pedagogisk forskning i Sverige, cited by 160 (9.41 per year)

I artikeln beskrivs stimulated recall, en metod där man med hjälp av ljudband eller videoinspelat material dokumenterar en intervjupersons verksamhet. Den intervjuade får kort efter inspelningen ta del av materialet för att se och höra sig själv i aktion och …

Lärobokskunskap, styrning och elevinflytande. B Englund (1999) Pedagogisk forskning i Sverige, cited by 149 (7.10 per year)

I artikeln ges en översikt över forskning om läromedel och läromedelsstyrning, främst empirisk forskning. Sammanfattande slutsatser dras om lärobokens funktioner i undervisningen: den har en kunskapsgaranterande-auktoriserande och en …

 

kommentarer
Lägg till kommentar