Reproducera studier, som facit!

Publicerat: 2018-08-02 i Statistik, Vetenskap
Etiketter:,

An ambitious project that set out nearly 5 years ago to replicate experiments from 50 high-impact cancer biology papers, but gradually shrank that number, now expects to complete just 18 studies. Källa: Science

Min tolkning: Ett ambitiöst projekt startade för nära 5 år sedan med avsikt att återupprepa experiment från 50 cancerstudier som fått starkt genomslag. Gradvis har antalet minskat, nu förväntar man att 18 fullföljs.

Den vetenskapliga metoden bygger samman hypoteser till teorier och vidgar på så sätt vårt vetande samtidigt som den eliminerar felaktigheter.

  • Hypoteser är avgränsade tankebyggstenar som utgår från någons ideer. En hypotes skall vara testbar och ge samma utfall givet att ingående parametrar, en eller flera, är samma.
  • Om utfallen varierar trots samma ingångsvärden kan det bero på att hypotesen är felaktig, den anses då falsifierad.
  • En falsifierad hypotes kan förkastas helt eller omarbetas inför ytterligare test.
  • En falsifierad hypotes uppfattas vanligen som ett nederlag, men representerar även det väsentlig kunskap; här finns inget att hämta.
  • En giltig teori består av (ännu!) ej falsifierade hypoteser som samverkar. Med hjälp av en sådan teori kan man förutsäga utfall inom en så snäv felmarginal att slumpen inte spelar någon roll.
  • Om och när en eller flera av de ingående hypoteserna i en teori falsifieras måste de förfinas eller ersättas. Lyckas inte det är hela teorin falsifierad.
  • Vare sig hypoteser eller teorier är slutgiltiga, nya rön kan utvidga eller helt ersätta gamla kunskaper.*

Detta är en kraftigt förenklad beskrivning av ”äkta” naturvetenskaplig forskning. Inom medicin och kostforskning är det långt vanligare att man istället söker stöd för sina hypoteser snarare än sortera ut de felande. Vid en första anblick kan skillnaden förefalla obetydlig, att söka stöd för det man vill visa eller stresstesta en hypotes till dess den eventuellt krackelerar kan väl kvitta?

Skillnaden är enorm! Förutom inom logik och matematik kan man inte bevisa att någonting entydigt är sant.** Att sortera ut osanningar, däremot, är betydligt enklare. Ju fler osanningar vi kan eliminera dess bättre.

  • Antag att hypotesen påstår att om A varierar så påverkas B efter ett förutbestämt mönster. Sker inte det fullt ut (inom försökets och mätningarnas felmarginaler) så är hypotesen osann (falsk) i sträng vetenskaplig anda.
  • Om vi däremot påstår att A orsakar B och mätningar visar en statistiskt säkerställd variation så kan man för den skull inte bortse från att det finns en mellanliggande parameter, C, som överför verkan.
  • Ett utfall anses statistiskt signifikant (säkerställt) om sannolikheten för att det beror på slump är tillräckligt låg. Tyvärr har det blivit vedertaget inom ”hälsosektorn” att acceptera att risken för slump är så hög som 1/20 (5%).
  • Ett självklart krav på vetenskapliga studier är att de ska kunna reproduceras (återupprepas) av andra och, inom felmarginaler, ge samma utfall.

As several scientists told Science last year when the initiative got off the ground, Elizabeth Iorns is tackling a significant problem in biomedical research: the fact that many published studies can’t be repeated, and that many researchers aren’t enthusiastic about simply replicating what someone else has already done. Källa: Science (annat nummer)

Min tolkning: Elisabeth Iorns tacklar ett allvarligt problem, många publicerade studier kan inte upprepas och många forskare är ovilliga att helt enkelt upprepa vad någon redan gjort.

Självklart drog projektet på sig kritik från de ursprungliga författarna samt andra som utgick från att de labb som kontrakterats saknade kompetens och därför skulle misslyckas att nå samma resultat som de ursprungliga.

Kan någon tänka sig andra skäl att inte vilja utsätta sina experiment för risken att vara undermåliga?


*) Ett välkänt exempel är när Einsteins teorier kunde komma tillrätta med Newtons tillkortakommanden vid höga hastigheter och i extremt kraftiga gravitationsfält. För vardagsbruk duger fortfarande Newton utmärkt, men ett lysande undantag är GPS-applikationer.

**) Inte ens matematik är ett perfekt exempel då det bygger på ett fåtal antaganden, axiom, som förefaller ytterst trovärdiga trots att bevis saknas för dem.

Annonser

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut /  Ändra )

Google+-foto

Du kommenterar med ditt Google+-konto. Logga ut /  Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut /  Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut /  Ändra )

Ansluter till %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.