Wat doe je als iemand je dwingt om iets te doen dat je een heel dom idee vindt? Deze week las ik de glorieuze oplossing van onderzoeker Richard Peto: doe het samen met iets dat je een nóg dommer idee vindt. Dan voldoe je keurig aan de gegeven opdracht, maar laat je tegelijk je protest zien aan de goede verstaander.
In 1988 leidde Peto een groot onderzoek naar het gebruik van medicijnen tijdens een hartaanval. Er werd gekeken of overlevingskansen toenamen na het toedienen van aspirine of streptokinase – twee middelen die het samenklonteren van bloedplaatjes tegengaan. Het vermoeden was dat het toedienen van deze medicijnen de kans op complicaties door bloedpropjes verkleint.
De studie omvatte een indrukwekkende 17.187 patiënten. Sommige patiënten kregen alleen aspirine, anderen alleen streptokinase, sommigen allebei en weer anderen kregen een placebo. En dat allemaal keurig willekeurig verdeeld over al die patiënten om te testen wat nu het beste werkte.
Ruim vierduizend patiënten kregen zowel aspirine als streptokinase. In deze groep stierven 343 mensen binnen iets meer dan een maand na hun hartaanval. In de even grote groep patiënten die voor allebei de medicijnen een placebo kreeg, overleden in dezelfde periode 568 mensen. De statistische analyse en de conclusies waren glashelder: de behandeling kon levens redden.
Peto en zijn collega’s schreven al hun resultaten op en dienden ze in als wetenschappelijk artikel bij het prestigieuze tijdschrift The Lancet. En toen kwam het moment dat Peto gedwongen werd om iets doms te doen. Om zijn artikel te publiceren, moest hij namelijk zijn resultaten verder uitsplitsen naar allerlei verschillende groepen patiënten. Hoe zat het met verschillen tussen mannen en vrouwen? Maakte het uit of een patiënt diabetes heeft? En wat als de patiënt de week voor de hartaanval al aspirine had ingenomen?
Dat uitsplitsen vond Peto dus een heel dom idee. Hij had dit experiment juist opgezet met een groot aantal patiënten omdat je dan goed ziet wat er gebeurt. Als je vervolgens in kleine groepen gaat zoeken naar verschillen, dan vind je allerlei resultaten die meer ruis dan waarheid zijn. Stel bijvoorbeeld dat de kans 5% is dat je per ongeluk een verschil vindt tussen twee groepen patiënten waar in werkelijkheid niets aan de hand is. Als je twintig losse vergelijkingen tussen twee van zulke groepen maakt, dan is de kans 64% dat je minstens één keer een resultaat vindt dat eigenlijk niets betekent.
Maar als Peto zijn studie wilden publiceren, kon hij zulke vergelijkingen niet weigeren. Daarop voegde hij iets toe dat hij nóg dommer vond: een analyse met sterrenbeelden van patiënten. Voor tweelingen en weegschalen bleek aspirine averechts te werken. Voor alle andere sterrenbeelden was het goed. Peto zette deze analyse pal bovenaan zijn tabel met de gevraagde analyses van losse groepen en liet daarmee zien hoe serieus je al die cijfers moet nemen. En de Lancet drukte het keurig af.
Deze column verscheen eerder in de Volkskrant
