Om fagfellevurdering

Av Ola Røyrvik, geofysiker/ingeniør

Seks professorer har i et svar til Stein S. Bergsmark ettersøkt publikasjoner med fagfellevurdering (eller på engelsk, peer review = PR). For allmuen som er usikker på hva dette er, kan det være på sin plass å komme med noen avklaringer.

Artikler som sendes inn til vitenskapelige tidsskrifter blir evaluert av et panel på 2-3 antatte eksperter innen fagfeltet for å få bestemt om artiklene er av en kvalitet som forsvarer publisering. Ofte kommer det kommentarer og forslag til forbedringer som da som regel blir etterkommet av forfatterne. Dette er ment å være en kvalitetskontroll og garantere at kvaliteten på publikasjoner er på høyt vitenskapelig nivå. Slik er det i alle fall tenkt, men uheldigvis er det ikke slik det virker i mange tilfeller. Vi skal se litt på hvordan PR ofte blir praktisert.

For å slå an tonen er det greit å starte med navnet Sudbø, og hvem husker vel ikke han og kompisene (et al.)? (Se omtale her og her, red.anm.) PR hjalp ikke i dette tilfellet, og det var bare pga et illojalt individ med «innside»-innsikt at Sudbø (foto, Radiumhospitalet) ble avslørt. Det er nok mange som beklager at en lysende karriere ble forkortet av noen som ikke kunne la være å sladre. Det er to ting som er bemerkelsesverdig i dette tilfellet. Hvordan kunne Sudbø være så dum at han ble tatt, for det er jo så lett å finne på noen tall uten å bli oppdaget? Og hvordan kunne en hel flokk av medforfattere være med på noe slikt? Men at en slik artikkel kan passere PR er mindre oppsiktsvekkende.

Er Sudbø et enestående tilfelle? Slettes ikke. Det kommer til stadighet nye avsløringer, men de fleste kommer ikke fram i mediene. Juksing med data og plagiat blir til stadighet avslørt etter at en publikasjon har passert PR. Og mest sannsynlig er det som kommer fram bare toppen av isfjellet. Det er forøvrig ikke her PR svikter mest ved å slippe gjennom ting som det er jukset med. Det største problemet med forskningen og PR er at mye av det som blir publisert ikke er reproduserbart. I følge Ioannidis og flere andre er fra 1/3 til 2/3 av alle publiserte artikler ikke reproduserbare, noe avhengig av fagområde. For ca. to decennier siden satt jeg i et auditorium og hørte påstanden om at norsk medisinsk forskning var bortimot 100% uholdbar pga svak statistisk forankring. Man fristes til et sitat:

“If you torture the data long enough, it will confess”

Man får det svaret man vil ha og det går glatt gjennom PR.

Det er ikke så vanskelig å forstå at det er blitt slik. Mengden av personer som driver «forskning» har økt eksponentielt og for alle disse personene blir det stadig vanskeligere å finne noe å forske på som gir positive resultater; negative resultater blir jo sjeldent publisert. Og for at alle disse forskerne skal ha steder å publisere har antallet tidsskrifter økt jevnt og trutt.

PR er ikke en garanti for at et arbeide holder en rimelig høy kvalitet. Som lekkasjen av e-post fra East Anglia University viser er det noen ganger et filter som brukes til å holde tilbake resultater som ikke er i overensstemmelse med meningen til makteliten. Og dette gjelder ikke bare klimaforskning.

FNs klimapanel (IPCC) har i enkelte sammenhenger hevdet at de utelukkende støtter seg på PR materiale. Dette var vel tenkt å skulle overbevise oss lesere om at IPCC drev med seriøst arbeide. Så for de som følger med var det derfor noe av en fadese da en journalist påviste at ca. 1/3 av referansene i IPCCs rapport ikke var til vitenskapelige artikler med PR. Lurer på om noen (97% av verdens topp klimaforskere) prøver å lure oss enfoldige lesere?

Og for å avslutte med et lysende eksempel kan man trekke fram Meteorologisk Institutt (MI) i tidsskriftet Climate (Climate, 2013,1, 76-83). Her plukker vi ut følgende tilfeldige sitat: “Furthermore, thermal systems do not contain “memory” of past climate states, as inferred by [4].” Og for ordens skyld, [4] er Syun-Ichi Akasofu, en rimelig anerkjent geofysiker. Gitt at MI ikke ønsker å avklare mulige uklarheter i formuleringen er det nødvendig å ta dette utsagnet slik det står, og da er det å si følgende. Ordet «memory» brukes ikke ofte i geofysikken, men når det forekommer er det for å beskrive at en tilstand er avhengig av det som har skjedd tidligere. For eksempel, isbreer kommer og går ikke over natten, men er delvis avhengig hva som har vært situasjonen opptil flere tusen år tilbake. All fysikk er matematisk beskrevet av differensiallikninger og når disse løses inngår starttilstanden i løsningene. Bruker ikke MI dagens værobservasjoner for å spå morgendagens vær? Og til alt overmål finner man følgende uttalelse på yr.no der det står: «Været har god hukommelse». Man trenger vel ikke si mer. MI kommer med naturvitenskapelig reinspikka vrøvl for deretter å slå seg selv på kjeften. Med dette som utgangspunkt skulle det vært interessant å se hva PR rapporten sa om den artikkelen, men forespørsler til flere av de innblandede aktørene har avslørt følgende:

Kunnskapsdepartementet (KD) med kunnskapsminister Torbjørn Røe Isaksen i spissen kan ikke, eller vil ikke svare på om offentlighetsloven gir meg rett til å se PR rapporten når jeg henviser til at dette er et av grunnlagsdokumentene for årsrapporten (2013) fra MI til KD.

En av medforfatterne påstår at Akasofu spretter ball og at dette ikke er tillatt.

MI nekter å utlevere PR rapporten og henviser til den før nevnte medforfatter og svarer forøvrig at de driver forskning på høyt nivå.

Sjefredaktøren for tidsskriftet Climate påstår at artikkelen ble publisert uten å være PR, bak ryggen på sjefredaktøren og i strid med retningslinjene for tidsskriftet. Dette medførte at «editor assistant» som godkjente publikasjonen ble byttet ut (fikk sparken).

Med bakgrunn i alt som foregår ved publikasjon med fagfellevurdering bør man ikke forundres over at en del av allmuen stiller seg skeptisk til de seks professorenes påstand om at PR er et kvalitetsstempel på forskning. Om de seks ønsker å bidra til å gjenopprette noe av tiltroen til forskningsmiljøene, kunne de starte med å oppfordre KD/MI til å forklare sitatet fra Climate, eller enda bedre, å framlegge PR rapporten for om mulig å vise at sjefredaktøren for tidsskriftet Climate lyver.