NORNESK-seminar: Er systematiske kunnskapsoppsummeringer nyttig på alle fagområder?

Jeg tilbrakte deler av torsdag 10. oktober på seminar om systematiske kunnskapsoppsummeringer arrangert av NORNESK (nornesk.no). Dette er et relevant tema fordi jeg selv holder på med 2-4 systematiske kunnskapsoppsummeringer akkurat nå, litt avhengig av hvordan man teller: 1-3 som en del av et NFR-prosjekt og en som et eget lite prosjekt. (La meg si med det samme at kjært barn har mange navn samtidig som det som inkluderes i begrepet systematiske kunnskapsoppsummeringer er veldig bredt. Det er alt fra statistiske metastudier, via oversikter som skal gi en status om "hva er forsket på?" til prosjekter hvor det er begrepsfesting som er poenget, og hvor poenget er å få et mest mulig perspektivrikt grunnlag for en slik begrepsfesting. Og en masse annet. Fellesnevneren er at man bruker tidligere forskning som er innsamlet på en systematisk måte.)

La meg også komme med min standard-disclaimer: Det som kommer nedenfor er naturligvis forsøk på å gjengi det jeg oppfattet at folk sa. Skal man finne ut det de selv mener at de sa, må man naturligvis bruke andre kilder enn meg.

Seminaret startet med en samtale mellom John-Arne Røttingen, direktør for Norges Forskningsråd og Gro Jamtvedt, dekan ved OsloMet - storbyuniversitetet. De snakket om historien til feltet, og et av poengene er at systematiske kunnskapsoppsummeringer startet som noe man gjorde for å sette FoU-funn ut i livet, mens det i dag har sterkere og sterkere rolle i selve forskningen. Tidligere var det ikke akseptert at man hadde en systematisk kunnskapsoppsummering som del av en doktorgrad, sa Røttingen, mens det i dag heldigvis har endret seg. Røttingen la også vekt på at det trengs en balanse. Hvis man har 70 primærstudier og 11 kunnskapsoppsummeringer på et område, burde man sannsynligvis heller ha gjort flere primærstudier enn å gjøre nok en kunnskapsoppsummering.

Etter innledningen var det en paneldebatt. Kirsti Malterud presiserte at systematiske kunnskapsoversikter ikke er en universalnøkkel men en spesialnøkkel. Tone Kvernbekk understreket at en kunnskapsoppsummering må kunne være noe mer enn en oppsummering. Malene W. Gundersen understreket at man ikke behøver å legge sammen 1 og 1 og få 2, av og til gir to ulike artikler ulike perspektiver som til sammen gir noe nytt. Men det er viktig at man har en bred forståelse av kunnskapsoppsummeringer. Rigmor Berg vektla at kunnskapsoppsummeringer har fått et "dårlig rykte" ved at misforståelser av hva som er mulig og ikke mulig har gitt noen oppsummeringer som ikke har oppfylt forventningene. (Dette blir vel på samme måte som forskning generelt - at det finnes for eksempel intervjustudier som ikke sier oss noe spesielt interessant, betyr ikke at intervjustudier ikke kan være nyttig på det området hvis det gjøres på en tjenlig måte.) Gundersen stilte også spørsmål om hva som er bakgrunnen for den enkelte kunnskapsoversikt - er det trykket på å publisere eller er det et genuint forskningsønske? Røttingen understreket at oppsummeringer kan være ut fra et ønske om å lage en syntese eller snarere å få fram et mangfold av opplevelser, for eksempel. (Her er jeg jo usikker på hvordan folk tolker begrepet "oppsummering" - i matematikken er jo summen et resultat etter at man har slått sammen noe, og mangfoldet er ikke så synlig når man har (opp)summert...)

Kirsti Malterud understreket samtidig at det gjøres kunnskapsoppsummeringer hvor konteksten - for eksempel organiseringen av helsevesenet - er så ulik at man ikke kan overføre resultater. Hun sa også at synteser kan gjøres både av kvantitativ og kvalitativ forskning. Hun lurte på om hun har en annen forståelse av ordet syntese enn Røttingen, og det kom det vel fram at hun hadde. Kvernbekk understreket at kunnskapsoppsummeringer på utdanningsfeltet ikke vil kunne gi læreren svaret "Hva skal jeg gjøre med mine elever?" Læreren har et kontekstbundet spørsmål mens kunnskapsoppsummeringene er mer generelle. (Uten at det betyr at lærere ikke kan gjøre seg nytte av kunnskapsoppsummeringer i sine vurderinger, naturligvis...)

Øyvind Pålshaugen kommenterte ordene kunnskapsoppsummeringer og kunnskapsoversikter. Man kan ikke oppsummere en melodi (men kan man gi oversikt, spør jeg?) Kvernbekk gikk tilbake til syntesediskusjonen, og foreslo at det handler mer om å "bygge forståelse" eller bygge teori (med teori i betydningen underbygd kunnskap).

Dette er for øvrig kanskje den best fungerende paneldebatten jeg noen gang har vært vitne til - og jeg har bevitnet veldig mange slike...

Rigmor Berg hadde så et kort innlegg om "Ulike typer av systematiske kunnskapsoppsummeringer og deres berettigelse". Hun startet med historikk, blant annet om statistiske metoder for å syntetisere litteratur innen astronomi på 1600-tallet, og første metaanalyse om tyfoidvaksine i 1904. Hun viste et deilig tre med kanskje 30 ulike begreper som dekker kunnskapsoppsummeringer, som overlapper i varierende grad. Grant&Booth hadde i 2009 ei liste med 14 reviewtyper, andre har hatt andre antall og forholdsvis lite overlapp i navn på kategoriene. Tricco et al 2016: en serie på fem artikler, hvor den første var en scoping review av "emerging knowledge synthesis methods" og identifiserte 25 typer av slike. (Det er jo noe herlig med systematiske kunnskapsoppsummeringer av former for systematiske kunnskapsoppsummeringer. Jeg håper det blir gjort flere slike, slik at det snart blir mulig å gjøre en systematisk kunnskapsoppsummering av de forskjellige systematiske kunnskapsoppsummeringene av former for systematiske kunnskapsoppsummeringer. Dette var min idé - ikke stjel den. Bortsett fra at det var litt det Berg gjorde.)

Enkel som jeg er, tenker jeg at det aller viktigste da ikke er å finne den "riktige" termen blant disse kanskje hundrevis av mulige termene, men å beskrive tydelig hva vi gjør og hva målet er.

Spørsmål til gruppesamtale: Finnes det et hierarki av systematiske kunnskapsoppsummeringer? Hvordan ser det i så fall ut? Spørsmålet førte til en fin diskusjon på "min" gruppe, blant annet om hvilke hierarkier vi synes vi oppfatter at folk mener det er, og også hierarkier i kvaliteten på arbeidet som er gjort. I diskusjonen i plenum ble det veldig tydelig at det var mange ulike forståelser av spørsmålet. Men det kom jo også fram at noen miljøer holder metaanalyser høyt (høyest?). Og så er det jo et spørsmål om "rapid review" har lavere status enn "slow review". I diskusjonen kom det også fram at man bør være mer transparent på hvorfor man har valgt å gjøre den type review man har valgt - altfor ofte står det "Vi har valgt å gjøre en..." uten noen begrunnelse.

Et spørsmål i salen var hvordan man sammenstiller studier hvor det er brukt ulike intervensjoner og målt effekt på ulike måter. Igjen er naturligvis svaret "It depends", men det er jo mulig å gjøre metaanalyser hvor man ser på om type intervensjon henger sammen med effektstørrelse, for eksempel. Gro Jamtvedt nevnte at man ofte havner i et spørsmål om du er en splitter eller en lumper - altså om du foretrekker å slå ting sammen eller å splitte det. (PS: På et kurs i kvantitativ metode i Roma lærte jeg at standardsvaret på alle metodiske spørsmål er "it depends". Det finnes alltid ulike måter å få til noe metodisk, som har hver sine fordeler og ulemper - gitt at man har begrensninger knyttet til penger, tid osv.) Pålshaugen nevnte blant annet at det med overføring av kunnskap ofte ikke berøres i kunnskapsoppsummeringer - hvordan få kunnskapen til å bære over til den andre siden?

Neste post på programmet var hvor og hvordan systematiske kunnskapsoppsummeringer kan brukes, og her var det Elaine Munthe som innledet. EPPI-senteret har skrevet at forskning kan brukes direkte eller indirekte, bevisst eller ubevisst, til å informere eller til å støtte avgjørelser - og det er også et tidsaspekt om forskningen er der når man skal bruke den. Munthe spurte: hva vet vi egentlig om hvordan kunnskapsoppsummeringer blir brukt?

Hun snakket også om formidling - er den for awareness, for understanding eller for action? Og skal brukerne ha tilgang til forskningen, skal de i tillegg ha veiledning/støtte, eller skal de faktisk være involvert i forskningen?

Diskusjonsspørsmålet i denne delen var "Hva skal til for at kunnskapsoppsummeringer blir nyttige (på ulike måter) - hvordan når vi ut? Prosesser? Strukturer? Synteser?"

Dette var litt vanskelig å diskutere i vår gruppe, siden de kunnskapsoppsummeringene vi holder på med, ikke retter seg direkte mot et profesjonsfelt slik Munthes innledning la opp til. Men det er jo uansett en utfordring å ha klarhet i hva målgruppa kan ha nytte av. I diskusjonen i plenum var det noen som stilte spørsmål om det var forskerens ansvar å sørge for at profesjonen bruker den kunnskapen forskeren produserer. Det ble også spurt om UH-sektoren utdanner profesjonsutøvere som vil holde seg oppdatert på forskning. (Dette tenker jeg vel varierer ganske mye fra utdanning til utdanning. Legene som utdannes er forhåpentligvis ganske gode til å oppdatere seg, tilsvarende vil forhåpentligvis grunnskolelærerne med mastergrad fortsette å holde seg oppdatert på utdanningsforskning. Kortere utdanninger vil sannsynligvis - men ikke nødvendigvis - ha mer problemer med det. Og så vil det jo i neste omgang handle om tilrettelegging på arbeidsplassen for å holde seg oppdatert, og for eksempel det å sørge for solide fagmiljøer - slik for eksempel utredningen av domstolstrukturen har tatt til orde for - er viktig.)

Det siste dialogtemaet var "Om behovet og nytten av et norsk nettverk for systematiske kunnskapsoppsummeringer". Her var det UiAs Thomas Westergren som innledet om det NORNESK foreløpig har som visjon og mål. Her var spørsmålet til gruppene: "Ikke spør hva NORNESK kan gjøre for deg, men hva du kan gjøre for NORNESK". Vi snakket om behovet for publikasjoner på norsk, behovet for å erobre begrepet fra medisin. Vi kan ha behov for et sånt nettverk, men vi trenger definitivt ikke et nettverk som har et for snevert begrep. Vi snakket også om at dette feltet gjør at bibliotekarenes kompetanse blir mer synlig, blant annet som medforfattere.

I oppsummeringen ble det blant annet sagt at det kunne vært nyttig med oversikter over ressurspersoner innen systematiske kunnskapsoppsummeringer og statistikere som er gode på metaanalyser. Fra bibliotekarenes side ble det lagt vekt på at arbeidsgiverne måtte se behovet for å sette av arbeidstid til dette arbeidet og til kompetanseheving. Det ble også spurt hvordan forskerutdanninger og bibliotekarutdanninger forbereder for dette.

Til slutt var det en oppsummering og tanker om veien videre. Et viktig poeng var at det er hva en kunnskapsoppsummering skal brukes til som skal bestemme hva slags oppsummering man bør gjøre - det er viktigere enn det å finne det riktige navnet i en eller annen oversikt over typer. Når det gjelder veien videre, ble det presentert planer om en årlig konferanse med et årsmøte i nettverket. 

Alt i alt var det en nyttig og interessant seminardag, og jeg endte vel opp med en enda klarere oppfatning av at de som tenker at de har en krystallklar forståelse av hva de ulike begrepene betyr på dette området, de har ikke satt seg nok inn i litteraturen på området...