Cherrypicking betyder att man metodiskt söker stöd till förmån för ett visst ställningstagande. Det anses vara ett förkastligt tillvägagångssätt då en forskare förväntas vara objektiv inför fakta och redovisa både det som talar för en hypotes/teori lika väl som det som motsäger den.
- En teori är en sammanhängande kedja/nät av hypoteser (antaganden) och ingen av dem får vara falsk.
- En teori som ännu, trots seriösa försök, ej är falsifierad (visad vara felaktig) kan utgöra grundval för vidare forskning inom ett område.
- Om en hypotes som är avgörande för teorin visar sig vara falsk faller teorin som helhet. Ibland kan den räddas av att den falska hypotesen omformuleras och testas i sin nya betydelse.
- En hypotes som inte har betydelse för en teori ska plockas bort oavsett om den är sann eller falsk.
Mycket av det som uppmärksammas av massmedia bygger på observationer, inte kontrollerade experiment! Detta gör att ingångsparametrarna svajar som granskog i storm och eventuella utfall är så små och blandade att det krävs mycket statistiskt knådande för att alls märka några skillnader.
Med den bakgrunden är det fullt förståeligt om resultaten av epidemiologiska studier (observationsstudier, det jag kallar ”tittepå” i rubriken) ger små utfall som ofta motsäger varandra. Av det skälet finns s.k. metastudier där avsikten är att väga samman flera studier för att på så sätt åstadkomma en slags ”sanning”.
Tro inte för ett ögonblick att ”folk i allmänhet” eller forskare saknar förförståelse (ett mer PK sätt att skriva fördom) eller undgår att förvänta sig ett särskilt utfall. Något som skiljer ut de seriösa
från resten är att förutse att utfallet kan bli väldigt annorlunda än det förväntade. En rimlig analysmetod förutsätter därför att man inte undertrycker oväntade utfall, det kan vara bland dem man finner nya och revolutionerande kunskaper.
Ju skickligare statistiker som krävs för att gräva fram samband desto troligare är att dessa är svaga eller ickeexisterande.
För att en hypotes eller en teori ska ha bärkraft måste den vara testbar och ge samma utfall, inom felmarginaler, vid upprepade tester med andra deltagare, gärna även annan personal. Var avvaktande om utfallet händelsevis ger påtagliga ekonomiska fördelar för en part som bidrar med personal, utrustning och laboratoriefaciliteter eller i övrigt bekostar en studie.
Inga mästare i t.ex. skytte utses efter ett enkelskott i mittpricken. Där är det förmågan att upprepa prestationen i en lång serie som premieras.
Den som utför en metastudie kan, medvetet eller omedvetet, utforma inklusionskriterierna så att de prioriterar vissa utfall. Med tillgång till Internet kan man redan i förväg testa fram en kombination av sökbegrepp som både förefaller objektiv och ger utfall åt önskat håll. Detta är exempel på förledande cherrypicking och används ofta i medicinska och nutritionssammanhang för att stödja flimsiga påståenden. Ibland talar man om konsensus när en grupp förmenta experter röstar fram en åsikt man stödjer.
Cherrypicking och konsensus används ofta för att stödja ”darrig vetenskap” där inga avgörande argument gör det på egen hand.
Cherry picking eller ”Min pappa är starkare än din mamma”
Avslöja flumtänk, eget och andras
Vad skiljer vetenskap från SISU?
MatFrisk Blogg 