Integriteit van wetenschappelijk onderzoek

Door de affaire Stapel/Vonk is er een discussie los gebarsten over wat de waarheid behelst. Ik mis in deze discussie echter de definitie van ‘de waarheid’.  Die definitie is nog helemaal niet zo eenvoudig

Deductief/inductief redeneren

Wat gaat er allemaal fout in dit soort discussies? Dat begint al met het feit dat wetenschappers zich vooral willen baseren op deductieve redeneringen (zie verderop). Maar er zijn in de wetenschap meerdere definities van waarheid. En nu is toch juist de feitelijke waarheid afhankelijk van hoe je vindt dat de wereld in elkaar zit en wat dus de context is. Dit heeft tot gevolg dat je alleen datgene serieus onderzoekt waarvan je het vermoeden hebt dat dit in jouw ogen juist is. Daarmee maak je al een keuze en dat betekent dat wat voor jou waar is, voor een ander niet waar hoeft te zijn.

Zo zal een farmaceut zeggen dat fytotherapie onzin is en medicijnen de oplossing zijn voor genezing. Een fytotherapeut zal echter fytotherapie als de eerste stap naar genezing zien. Beide uitgangspunten zijn feitelijk juist.

Even terug naar deductieve en inductieve redeneringen. Bij een deductieve redenering geldt dat als de basisuitspraken kloppen, de eindconclusie ook juist is. De conclusie bevat dan ook geen nieuwe informatie.

Het regent.
Mijn fiets staat buiten.
Dus: mijn fiets wordt nat.

Omdat een deductieve redenering dus nooit nieuwe informatie bevat, wordt er ook gebruik gemaakt van een andere redeneervorm: de inductieve redenering. De conclusie van de redenering zegt hier meer dan de basisuitspraken. Uitspraken worden met een grote mate van waarschijnlijkheid gedaan, maar het is resultaat is minder zeker dan bij een deductieve redenering.  In wetenschap wordt vaak gebruik gemaakt van de inductieve methode.

Bij alle onderzochte mazelenpatiënten werd het virus X gevonden.
Bij mensen die geen mazelen hebben komt X niet voor.
Dus: mazelen wordt veroorzaakt door X.

In onderzoek naar ziektes, maar ook in voedingsonderzoek zijn deductieve redeneringen niet te maken, omdat het in een lichaam altijd om oneindig veel interacties gaat.  Toch kun je met behulp van inductieve redeneringen wel conclusies trekken. Er is een groep wetenschappers, die echter inductieve conclusies als onzin afserveert. Dat je als wetenschapper liever zou zien dat er alleen zwart en wit bestaat, kan ik nog wel begrijpen. Maar dat je deze visie niet uitlegt en alleen maar zegt dat inductieve onderzoeken onjuist zijn, kan en wil ik niet begrijpen. Juiste inductieve conclusies verwerpen, schaadt wat mij betreft de ontwikkeling van gezondheids- en voedingsonderzoek (en wellicht meer gebieden, maar daar weet ik onvoldoende van).

Juiste uitvoering onderzoek

Naast dat redeneringen juist moeten zijn, moet uiteraard ook de uitvoering van het onderzoek en dus de statistische onderbouwing van het onderzoek juist zijn. Daar schort het vaker wel dan niet aan. Met name de verwerking van de ruwe data en onderzoeksresultaten, die uit cijfers wordt getrokken is nog al eens onjuist. Zo zei iemand mij dat je wel conclusies kunt trekken over ziektes (zoals bovenstaand voorbeeld over mazelen), maar eigenlijk niet over gezondheid. Ik weet niet of je dat wel zo stellig zou kunnen zeggen. Het heeft met de mate van zekerheid te maken en waarom is die bij ziekte groter dan bij gezondheid? In theorie kan ik me daar nog wel iets bij voorstellen, in de praktijk echter minder. Dit komt omdat daar als gedachte achter zit dat we best weten hoe ziekte wordt veroorzaakt. Het is wat mij nog maar de vraag of dat wel zo helder is. Ik ga daar nog eens over nadenken.

Fouten  in itzending EenVandaag

Vorige week was er een uitzending van EenVandaag, waarin Martijn Katan  aan het woord werd gelaten als dé deskundige. EenVandaag wilde graag aantonen dat wetenschappers onjuiste conclusies trokken om zo media-aandacht te krijgen. Maar wat ze vergaten was dat ze zelf  hierdoor ook verkeerde informatie aan de kijkers gaven. Daarbij werden een aantal fouten gemaakt. Ze reageerden op een bericht van Wakker Dier, die vonden dat het onderzoek bij Wageningen Universiteit niet juist zou zijn. EenVandaag is hoogst waarschijnlijk uit gegaan van de informatie van Wakker Dier, niet echt een neutrale bron. Het onderzoek blijkt wel juist te zijn! In het persbericht stond helaas wel een fout. Dat is onhandig, maar het is niet juist om daardoor de onderzoeker is diskrediet te brengen. Aangezien Martijn Katan graag deductief denkt, beweert hij dat het onderzoek onjuist is. Overigens vindt Martijn Katan, in zijn eigen wekelijkse stukje, melk een paar dagen later toch best wel passen in een gezond voedingspatroon. Verder maakte EenVandaag de fout dat als een bron verdacht is, daarmee de conclusie van de bron ook onjuist is. Dat is een ongeldige redenering. In de statistiek geldt dat de conclusie pas onjuist is, als bewezen is dat de conclusie onjuist is.

Melk past in een gezond Nederlands voedingspatroon

Ik vind het een slechte zaak dat een programma als EenVandaag op basis van foutieve redeneringen, suggereert dat melk niet past in een gezond voedingspatroon. Tot nu toe geldt dat 2 tot 3 melkconsumpties passen in een volwaardig Nederlands voedingspatroon. Wellicht veranderen deze inzichten in de toekomst ooit. Maar dan wel graag op basis van een gedegen onderbouwing door meerdere partijen. En ook met de vermelding wat dit voor ons hele voedingspatroon dan voor een gevolgen heeft.  Zomaar melkproducten weglaten (zonder vervanging binnen het voedingspatroon) is vanuit gezondheidsoogpunt op dit moment geen goede keuze.

Interpretatie onderzoek

Door wie komt het dat wetenschappelijk onderzoek verkeerd wordt geïnterpreteerd? Door wetenschappers? Door communicatieadviseurs? De media? Of door anderen? Ik ben bang dat dit past in deze tijd en dat iedere partij een rol hier in heeft. De wetenschapper moet beter uitleggen wat hij/zij bedoelt met ‘het is wetenschappelijk bewezen’. De communicatieadviseur moet snappen waar ie overschrijft en dus minimaal kennis hebben van statistiek. En ze moeten minder spectaculair willen schrijven. Maar dat doen ze omdat hun bazen graag willen dat ze in de media aanwezig zijn en ja dan helpt het enorm als koppen aanspreken. Misschien moet de media daarom ook maar eens meer naar de inhoud kijken in plaats van naar sprankelende koppen. Aanvulling van iemand die mijn blog heeft gelezen: ‘echte wetenschapsjournalisten lezen (gepubliceeerde) papers en geen persberichten’. Ik hoop dat dit zo is, maar betwijfel dat wel.

Voordat er wellicht een lezer denkt dat ik niet van feiten houd. Ik heb al eerder statistiek gehad en ben mijn kennis momenteel aan het opfrissen met een module ‘gegevens en gevolgtrekkingen’ aan de Open Universiteit. Dus ja: ik houd van feiten, van deductieve redeneringen maar ook inductieve redeneringen.