Kan fagfeller bli bedre med opplæring?

Kan fagfeller bli bedre med opplæring?

Opplæring av fagfeller fører trolig til liten eller ingen forskjell i kvaliteten på fagfellers vurderinger. Det viser en Cochrane-oversikt. 

Hva sier forskningen?

I systematiske oversikter samles og vurderes tilgjengelig forskning. I denne systematiske Cochrane-oversikten var spørsmålet: Hva er effekten av å gi opplæring til fagfeller som vurderer forskningssøknader eller forskningsartikler sammenlignet med vanlig praksis? 

Resultatene viser at når fagfeller får opplæring: 

  • Blir det trolig liten eller ingen forskjell i hvor godt fagfellene følger en etablert sjekkliste 
  • Fagfellene avdekker muligens noen flere alvorlige feil i forskningsartikler
  • Det er muligens liten eller ingen forskjell i sentrale interessenters vurderinger av kvaliteten på fagfellenes vurderinger

Vi vet ikke hva effekten er på enighet mellom fagfellers vurderinger fordi vi har svært liten tillit til resultatet.

Vi vet ikke noe om effekten på bibliometriske målinger fordi ingen studier hadde målt dette. 

Bakgrunn

Fagfeller brukes til å vurdere forskningssøknader og forskningsartikler. Enkelte forskningsinstitusjoner og institusjoner som deler ut forskningsmidler tilbyr opplæring til sine fagfeller med mål om bedre kvalitet på fagfellevurderingene. Hvorvidt dette faktisk fører til bedre forskningssøknader eller forskningsartikler er av allmenn interesse fordi vi er avhengig av å ha best mulig forskning for å treffe gode beslutninger. 

Hva er denne informasjonen basert på?

Forfatterne av Cochrane-oversikten gjorde et søk i aktuelle forskningsdatabaser april 2022, og fant ti randomiserte kontrollerte studier med til sammen 1 213 fagfeller. Inklusjonskriteriene i oversikten var at fagfellene måtte vurdere kvaliteten av enten forskningssøknader eller forskningsartikler til vitenskapelige tidsskrifter. Opplæringen til fagfellene måtte sammenlignes enten med ingen opplæring, ulike typer opplæring, eller standard praksis.  Studiene var stort sett utført og rapportert veldig godt, men med enkelte uklarheter i særlig to av studiene. Deltakerne var i stort sett fagfeller i vitenskapelige tidsskrifter, men i to av studiene var deltakerne fagfeller for forskningssøknader. Opplæringen som ble gitt varierte i studiene fra videokurs, mentor, sjekkliste, selvopplæring, eller tilbakemeldinger på vurderingene. Sammenligningsgruppen fikk hovedsakelig standard praksis eller skriftlig informasjon alene. Utfallene var målt med ulike måleverktøy eller tester og de aller fleste hadde ikke rapportert de samme målene på samme måte. Svakheter ved dette, samt at studiene ikke alltid var store nok, førte til at tilliten til resultatene ble trukket ned til middels, liten og svært liten.

Systematisk oversikt

I systematiske oversikter søker man etter og oppsummerer studier som svarer på et konkret forskningsspørsmål. Studiene blir funnet, vurdert og oppsummert ved å bruke en systematisk og forhåndbeskrevet fremgangsmåte (les mer Cochrane Consumer Network).

Tillit til resultatet (GRADE)

Når vi oppsummerer studier og presenterer et resultat, så er det viktig å si noe om hvor mye tillit vi kan ha til dette. Det handler om hvor trygge vi kan være på at resultatet gjenspeiler virkeligheten. GRADE er et system vi bruker for å kunne bedømme tilliten til resultatet. I GRADE vurderer vi blant annet:

  • hvor godt studiene er gjennomført
  • om studiene er store nok 
  • om studiene er like nok
  • hvor relevante studiene er
  • om alle relevante studier er fanget opp

Kilde

Hesselberg J-O, Dalsbø TK, Stromme H, Svege I, Fretheim A. Reviewer training for improving grant and journal

peer review. Cochrane Database of Systematic Reviews TBD, Issue TBD. Art. No.: MR000056. DOI:

10.1002/14651858.MR000056.pub2.

Tilgjengelig fra: https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.MR000056.pub2/full

Omtalt av: Therese Kristine Dalsbø og Jan-Ole Hesselberg for Cochrane Norway

Ansvarlig redaktør: Claire Glenton, Cochrane Norway, Høgskulen på Vestlandet