Arkiv för kategori ‘Epidemiologi’

Cherry picking, suppressing evidence, or the fallacy of incomplete evidence is the act of pointing to individual cases or data that seem to confirm a particular position, while ignoring a significant portion of related cases or data that may contradict that position.

Min tolkning: Körsbärsplockning innebär att man fokuserar på data som stöder en speciell åsikt medan man bortser från en betydande mängd data som motsäger åsikten. (Klart förkortat)

Källa: Wikipedia

Seriös vetenskap siktar mot att finna Sanningen. Ett oöverstigligt problem är att vi i lite mer komplicerade fall inte vet när vi nått fram. Den strategi vi med säkerhet kan använda är att gradvis eliminera felaktiga påståenden.

  • Under lång tid fungerade Isaac Newtons lagar utmärkt för att beskriva planeternas rörelser, men så upptäckte man att den innersta planeten, Merkurius, betedde sig märkligt. Först med Einsteins Relativitetsteori fick man de extra faktorer som korrigerar rörelselagarna vid höga hastigheter och i starka gravitationsfält. I grunden är alltså Newtons lagar inte korrekta men duger väl, åtminstone de dagar vi inte använder GPS. Är då relativitetstänket den slutgiltiga sanningen? I dagens läge finns inga etablerade teorier som är ”bättre”, men de kanske kommer framöver.

Grundregeln för seriös vetenskap är att påståenden som falsifieras (motsägs) är falska (osanna). Då jag en gång i tiden läste fysik på Umeå Universitet (men tyvärr glömt det mesta) är jag fortfarande starkt influerad av dess tänkesätt. Inte alla är det, det händer att man stöter på tankar som ”Fysiker, kan man lita på dom? De ändrar sig hela tiden.” Jag kallar det hellre ett förbättrat vetande, idag har vi eliminerat flera osanna påståenden som var försanthållna för bara några år sedan.

Den vetenskapliga metoden kan tillämpas i sammanhang där påståenden alls kan falsifieras. Teorier byggs av ännu ej falsifierade hypoteser och testas med väl definierade ingångsvärden och utfallen mäts med bästa möjliga precision. Så snart utfallen börjar ”svaja” måste både försök och teori kontrolleras och vid behov förbättras eller förkastas. Givet att en teori som är falsifierbar inte ger samma utfall (inom mätmetodernas felmarginaler) i väl kontrollerade försök är den felaktig. Det kan bero på att den i grunden är feltänkt, alternativt att en eller flera av dess hypoteser är felaktiga.

Inom nutrition är det vanligt att man använder en helt annan strategi, man strävar efter att ”bevisa sanningar”. Tyvärr är det alldeles omöjligt, för att veta när man nått sanningen måste man känna till vilken den är.

Det är här Cherry picking kommer in i bilden. Med tillräckligt luddiga hypoteser/teorier och med stor osäkerhet i ingående och/eller utgående mätvärden kan man i princip visa vad som helst. En pionjär inom vetenskap byggd på observationer var statistikern och epidemiologen Austin Bradford Hill (1897 – 1991). Med stor sannolikhet kände han till den ironiska komparationen av lögn: ”Lögn, förbannad lögn och statistik”. Han ställde upp ett antal kriterier för att påvisa samband mellan en antagen orsak och ett möjligt utfall.

Inom progressiva vetenskaper som t.ex. fysik kan debattens vågor gå höga men när förbättrade teorier visat sig bärkraftiga (ännu inte falsifierats) går majoriteten* vidare därifrån. Inom nutrition gäller inte det, när hörde du senast något likvärdigt med Higgs boson eller gravitationsvågor? Där gäller istället Cherry picking av sådant som stöds av många (”konsensus”, avgörande genom röstning, eventuellt i en i förväg utvald församling).

  • För att falsifiera en teori krävs ett enda väl genomfört experiment som motsäger teorin.
  • För att hålla liv i en skakig, felaktig eller luddig teori krävs en shitload av cherry picking, ”Min pappa är starkare än din mamma”

*) Några som gärna håller sig kvar vid felaktiga eller helt ovidkommande påståenden är konspirationsteoretiker. De mer uttalade av dem kännetecknas av att svälja hur många som helst utan problem.

Annonser

Få om ens några sanningar utanför logik och renodlad matematik kan bevisas. Och de förutsätter ändå obevisade axiom i grunden.

När du ser påståenden om bevis när det gäller t.ex. kost och hälsa kan du utgå från att man i bästa fall menar att en studie visat något, givet vissa förutsättningar. Om detta skall ha mer värde än så måste det, givet samma förutsättningar, kunna visas i upprepade försök vilket inte alltid är fallet. Men det är fortfarande inte i närheten av att vara bevisat! En hypotes måste visa bärkraft även med varierande förutsättningar, naturligt inom de gränser där hypotesen antas gälla. Ett enda exempel som inte stöder hypotesen visar att den är felaktig, falsk.

  • Det enda vi kan bevisa är när hypoteser är falska.

Genom att steg för steg eliminera falska påståenden (hypoteser och teorier) avgränsar vi områden där sanningar kan finnas, däremot betyder det inte att sanningen finns där.

Alla studier med nämnvärd komplexitet förutsätter ett antal in- och utgående parametrar, mätvärden. I praktiken är alla behäftade med fel** av olika slag. I bästa fall tar de rent slumpmässigt ut varandra, men det är inget en seriös forskare eller kritiker kan förutsätta, däremot något lekmän och likvärdiga högaktningsfullt sk*ter i om det gynnar upplaga och egna förförståelser. Felmarginaler måste ingå i alla beräkningar och läggs till varandra i de statistiska beräkningarna.***

  • Epidemiologi är en metod som ofta förekommer. Man väljer ut ett stort antal personer som fyller ett antal kriterier, mäter ett antal utgångsvärden och frågar om t.ex. mat- och andra vanor****. Sedan väntar man rätt länge och ser hur livet far fram med dem. Förr eller senare insjuknar ett antal och några dör. Så anstränger man sig rejält för att koppla dessa händelser till den utgångshypotes man hade. Givet att man har tillgång till skickliga statistiker lyckas det för det mesta. Vanligen förstorar man utfallen med enkla medel; om en speciell händelse sker för 1% i en avgränsad del av den studerade gruppen och hos 1,2% i en annan delgrupp så antas det finnas en skillnad som är 20% bättre eller 17,7% sämre beroende på vilken man väljer som referensgrupp. Att skillnaden i absoluta tal är ynka 0,2% är inte tillräckligt säljande. Vanligen låter sig många imponeras av en lång studietid och ett stort antal deltagare. Vad man inte inser är att ”riktiga” samband och mätningar med små fel inte kräver många deltagare. Behov av lång tid, däremot, kan man inte göra så mycket åt.

Ordet bevis andas dags- och populärmedia i samarbete med måttligt kunniga journalister. Tyvärr gäller det även forskare och förmenta experter med begränsade kunskaper eller snabbare tunga/tangentbord än tanke. Den farligaste kombinationen uppstår när småkalibriga ”forskare” och ”experter” tillåts exponera sig i breda media utan att behöva redovisa sina källor.


*) En hypotes är en avgränsad tanke som kan testas. Två men vanligen långt fler hypoteser kan fogas samman till en teori. Inga hypoteser som bygger en teori får visas vara falska (osanna). Om det sker måste den enskilda hypotesen ersättas med en giltig och om det inte sker är teorin som helhet skakig eller rent ut sagt falsk.

**) Så snart mätvärden finns på en kontinuerlig skala, t.ex. temperatur, vikt eller matens diverse egenskaper, finns en ofrånkomlig felmarginal att ta hänsyn till.

***) Uppgift: Säg att du har tre ingående parametrar där felen är +-10%, hur stor maximal variation i utfall kan det bli?

****) Antag att en epidemiologisk studie pågår i 10 år och innefattar 3 tillfällen där man frågar om matvanorna under t.ex. den gångna veckan. Hur stor sannolikhet är att det man svarar är representativt för de övriga 517 veckorna?

Vi kan alltid skaffa oss mer kunskap och närma oss sanningen men om vi mot förmodan skulle nå fram till sanningen skulle vi ändå inte veta att vi gjort det.

Källa: Xenofanes*

img_2163

Låt säga att vi hypotetiskt samlar alla tänkbara och otänkbara påståenden inom ett naturvetenskapligt område. Ingen skulle väl bli förvånad om några av dem med tiden visar sig vara falska.

  • Några sanningar är självklara, som att ”vatten är alltid vått”, åtminstone för de som aldrig träffat på is och snö.

Det finns diffusa och besvärliga områden där ”sanningen” är svårfångad. Som Xenofanes påpekar så kan vi då aldrig veta när vi funnit sanningen i vårt sökande. Det bästa vi kan göra är att eliminera falska påståenden och det utgör i praktiken nästan allt av ”alla tänkbara uttalanden”.

  • I sträng mening kan vi aldrig ”bevisa” att ett påstående är sant, däremot är det möjligt att falsifiera det, visa om det är osant. Om vi efter bästa förmåga eliminerar falska påståenden återstår de där sanningen möjligen kan finnas. Fortsätter vi systematiskt att angripa dessa kan vi gradvis eliminera det falska och avgränsa var sanningar finns även om vi inte vet dess exakta belägenhet.

Vi lever i det som optimister kallar ett informationssamhälle. Internet erbjuder närmast obegränsade möjligheter att sprida såväl kunskap, åsikter, hugskott, ironi, humor som avsiktlig desinformation. Har vi förmåga att skilja mellan vad som är i stort sett sant och det som är falskt?

Alldeles säkert inte om vi tänker på allt vi möter varje dag. Däremot kan vi med tiden lära oss skilja mellan källor som är hyfsat pålitliga och de som inte är det. Hur många väsentliga påståenden möter du som är uppenbart sanna i förhållande till de som är av tveksam natur (om än inte visat falska)?

  • Ett test: Välj media i tidningsställ eller på nätet och botanisera bland dess rubriker. Välj de som kittlar ditt intresse och se vad som döljer sig där bakom. Motsvarar de rubrikerna eller känner du dig lurad? Och då har du ännu inte kontrollerat om artikeln som sådan är korrekt.

Inom dagens nutritionsforskning är det populärt med epidemiologi** med enstaka kostenkäter, mängder av deltagare och som pågår under lång tid. Utgångsparametern, kostenkäten, är oftast synnerligen bristfällig då den sträcker sig över kort tid i förhållande till undersökningens varaktighet, man förutsätter att personen svarar sanningsenligt och fortsätter att äta på samma sätt i 1-10-30 år. Felmarginalen är redan där så stor att den inte kan kompenseras ens av oändligt noggranna mätningar i övrigt. Lite ironiskt kallas det SISU, Skit in, skit ut.

För att de ofta mycket små skillnaderna i utfall alls ska märkas redovisas de sällan i absoluta värden utan som relativa tal, grupper emellan. Det kan innebära att i en undersökning med 10000 deltagare under 20 år där en viss händelse i en grupp sker 5 gånger och i en annan 10 gånger då är den senare en fördubbling men i helheten som en pink i havet. Sant men förledande och ingen ärlig redovisning.

Sådana undersökningar kan ge anledning att formulera och testa hypoteser på ett vetenskapligt sätt genom att seriöst utmana dem för att se om de tål försök till falsifiering. De ”forskare” som gör dem är vanligen omotiverat stolta över sina resultat, journalister och halvbildade ser dem som väsentliga bidrag till ackumulerat vetande och lekmän i största allmänhet tror att de redovisar sanningar.


*) Xenofanes föddes i Kolofon omkring år 570 f.Kr. Det är svårt att med bestämdhet slå fast tidpunkten med noggrannhet eftersom mycket runt Xenofanes är höljt i dunkel. Man vet att han som ung flydde till Sicilien, där han livnärde sig själv genom att vid domstolen i Hiero (antik stad nära Syrakusa) recitera elegiska och jambiska verser som han skrivit för att kritisera teogonin (läran om gudarnas uppkomst) över Hesiodos och Homeros

**) Epidemiologi är läran om sjukdomsförlopps demografi. Bland annat studeras epidemier och andra sjukdomar som är tillräckligt vanliga för att det ska vara möjligt att få ett statistiskt underlag. Därför handlar epidemiologi inte bara om smittsamma sjukdomar, utan också om till exempel diabetes, hjärtsjukdomar och högt blodtryck. (Wikipedia) Ett avgörande bidrag lämnades av Bradford Hill när han satte upp ett antal kriterier.