Je kent ze wel. De koppen op de nieuwssites die claimen dat je van een product afvalt, mooier, knapper, slanker, sterker en slimmer wordt. Het liefst nog allemaal tegelijk van hetzelfde product. Als je dagelijks blauwe bessen eet wordt je slimmer, mensen die regelmatig bier drinken zijn gezelliger en van chocolade val je af. Dat laatste is dan helaas helemaal niet waar. Het was een mooie stunt van een voedings- en wetenschapsjournalist.

Het chocolade fiasco

Journalist John Bohannon wilde aantonen hoe eenvoudig het is om mensen voor de gek te houden onder het mom dat iets wetenschappelijk onderzocht is. In samenwerking met een arts en onderzoekers werd een kleine studie opgezet over de effecten van chocolade op gewichtsverlies. In een groep van 15 mensen werden 3 subgroepen gecreëerd die voor 21 dagen op een bepaald dieet werden gezet. In één van de subgroepen was donkere chocolade onderdeel van het dieet. De uiteindelijke uitkomst was dat mensen die in de chocoladegroep zaten, 10% sneller gewicht verloren.

Hoe stelliger de kop, hoe groter…

De journalist zette een website op van een niet bestaand instituut, publiceerde zijn gegevens in een gerenommeerd tijdschrift en niemand die de publicatie of de resultaten ooit heeft gecontroleerd. Uiteindelijk heeft hij zelf naar buiten gebracht dat het een waardeloos onderzoek was. Hij wilde bewijzen dat populaire uitkomsten over het algemeen afkomstig zijn van slecht uitgevoerde onderzoeken en hoe snel media deze populaire onderzoeken oppikken en als waarheid aannemen. Binnen no time na de publicatie werden de uitkomsten gepubliceerd in onder meer de Duitse krant Bild, de Huffington Post en de Irish Examiner.

Daadwerkelijk wetenschappelijk onderzoek heeft vaak geen kant-en-klare oplossingen van een moeilijk probleem. De resultaten zijn vaak niet eenduidig genoeg om harde conclusies aan te verbinden. Maar dit soort data zijn niet interessant voor media. En al helemaal niet als het een product is wat je liever niet eet. Wie is geïnteresseerd in de krantenkop: “Spruitjes zijn mogelijk goed voor je geheugen maar mogelijk ook niet”? Toch is de stelligheid van de onderzoekresultaten misschien wel de snelste methode om onderzoek te beoordelen. Hoe stelliger de kop, hoe groter de kans is dat het afkomstig is van een matig tot slecht opgezet onderzoek.

chocolade

Hoe beoordeel je een wetenschappelijk onderzoek?

Hoe kun je wetenschappelijk onderzoek verder snel beoordelen? Ten eerste aan de grootte van de groep. Kun je een conclusie verbinden aan een groep van 10 mensen? Ten tweede aan de duur van het onderzoek in relatie tot het te onderzoeken effect. Een onderzoek van 5 weken naar het effect van appels op het ontstaan van kanker zegt namelijk helemaal niets. Kanker kent een multifactoriële oorzaak en is een lange termijn effect.

Ten derde het type onderzoek. Had het onderzoek een controle groep? Een onderzoek wordt betrouwbaarder als er een groep is die wel de behandeling heeft ontvangen en er een placebogroep is die die behandeling niet heeft ontvangen. Nog beter is als beide groepen aan het eind van het onderzoek zowel controlegroep als interventiegroep zijn geweest. En het allerbeste is wanneer de onderzoeker zelf en de onderzoeksgroepen ook niet weten welke groep op welk moment de behandeling of het placebo krijgt. Het dubbel blind placebo gecontroleerde onderzoek is de sterkste onderzoeksmethode die er is. Lees voor aanvullende info over het beoordelen van wetenschapsartikelen de blog van Malon.

Het chocolade-onderzoek van John Bohannon toont desalniettemin aan dat het kinderlijk eenvoudig is niet alleen de consument maar ook wetenschappers om de tuin te leiden. Wat is de belangrijkste conclusie? Kritisch blijven en vooral niet zonder meer leuke uitkomsten voor waarheid aannemen.

Bronnen

  1. Bohannon, J., Koch, D., Homm, P., Driehaus, A. Chocolate with high cocoa content as a weight loss accelerator. International Archives of Medicine, Vol. 8. March 2015.
  2. Tijssen, R.J.W. Is the commercialisation of scientific research affecting the production of public knowledge? Elsevier, Vol. 33 p709-7033. July 2004
  3. Eyre-Walker A., Stoletski N. The assessment of science: the relative merits of post-publication review, the impact factor, and the number of citations. Plos Biol. Volume 11, 2013.
  4. Duinen van J.J. Evidence based dietetiek. Bohn Stafleu van Loghum, januari 2011.