HARKing, cherry-picking og p-hacking med mer er utbredte metoder som kan gi inntrykk av sikre forskningsfunn. I virkeligheten kan resultatene være rene tilfeldigheter. Nå advarer fagmiljøer mot praksiser som kan undergrave tilliten til vitenskapen.
Forskning bygger på tillit. Lesere, fagfeller og beslutningstakere skal kunne stole på at resultater er analysert og presentert på en redelig måte. Likevel forekommer det forskere kaller «tvilsomme forskningspraksiser», særlig i statistisk analyse og presentasjon av funn.
Disse metodene brukes både bevisst og ubevisst, og kan føre til at tilfeldige funn blir fremstilt som sikre vitenskapelige sannheter.
Hypoteser laget i ettertid
En av de mest kjente praksisene er HARKing, som betyr at forskeren lager hypotesen etter at resultatene er kjent. Det skjer når man først analyserer data, finner et interessant utslag, og deretter skriver artikkelen som om det var dette man ønsket å teste hele tiden.
Det er i seg selv ikke galt å få nye ideer etter å ha sett på data. Problemet oppstår når dette ikke blir sagt tydelig. Da kan tilfeldige funn fremstå som solide bevis, selv om de i realiteten bare er ett av mange mulige utslag.
Når mange variabler testes samtidig, vil noen så å si alltid gi utslag på grunn av ren tilfeldighet.
Bare de gode resultatene slipper igjennom
Cherry-picking er en annen utbredt praksis. Da velger forskeren bare å rapportere resultater som støtter egen hypotese, mens de funnene som ikke passer innn, blir utelatt.
For eksempel kan et legemiddel vise effekt på én måleskala, men ikke på flere andre. Hvis bare det ene positive funnet rapporteres, får leseren et misvisende bilde av hvor god effekten faktisk er.
Også valg av hvilke studier som omtales i en diskusjon, kan være preget av selektivitet.
Man fortsetter med analysen inntil tallene «ser riktige ut»
P-hacking går enda lenger. Her analyseres data om og om igjen, med ulike metoder og avgrensninger, helt til et statistisk signifikant resultat dukker opp. Deretter rapporteres bare denne ene analysen.
Dette kan innebære å endre grenseverdier, ta med eller utelate undergrupper, eller justere hvilke faktorer det kontrolleres for.
Å lete planløst etter sammenhenger
Såkalte fisketurer og datagraving handler om å teste et stort antall mulige sammenhenger, uten at forskeren har klare antagelser på forhånd. Jo flere tester som gjøres, desto større er risikoen for tilfeldige treff.
Slike analyser kan være nyttige hvis det tydelig oppgis at de er utforskende. Problemet oppstår når funnene fremstilles som sikre.
Undergraver tilliten til forskningen
Felles for disse praksisene er at de kan føre varige feil i forskningslitteraturen. Mange forskere er ikke klar over at det regnes som vitenskapelig uredelighet; det gjelder særlig yngre og uerfarne forskere.
Derfor understrekes behovet for åpenhet, forhåndsregistrering av studier og ærlig rapportering. Bare slik kan lesere skille mellom solide funn og resultater som kanskje aldri burde vært mer enn en idé.
