Metingen van he-le-maal niets

Voor onderhoudende experimenten heb je niet per se een groot laboratorium nodig. Met een kop koffie en een lineaal kun je de invloed van cafeïne op het reactievermogen testen. Tenminste... Als je het goed doet.

In het Bijbelverhaal Daniël selecteert de Babylonische koning Nebukadnezar een aantal Israëlieten mannen – “knapen zonder enig gebrek, schoon van uiterlijk, ervaren in allerlei wijsheid, in het bezit van kennis, met inzicht in wetenschap” – om te dienen aan zijn hof. Hij geeft het hoofd van zijn hofhouding opdracht om hen gedurende drie jaar te voeden met koninklijke spijze en wijn, maar Daniël, een van de Israëlieten vraagt of hij in plaats van vlees en wijn van de koninklijke tafel, groente en water kan krijgen.

De hofhouding heeft daar geen zin in. Want, zo vraagt de hoofdeunuch bezorgd, wat als Daniël en z’n makkers straks voor de koning komen en minder gezond blijken? Dan zijn de Babylonische rapen goed gaar.

Daarop suggereert Daniël een proef. “Neem toch met uw dienaren gedurende tien dagen de proef: men geve ons groenten te eten en water te drinken; laat dan ons uiterlijk met dat van de knapen die de Koninklijke spijze eten, door u vergeleken worden, en doe dan met uw dienaren naar uw bevinding.” Hij krijgt z’n zin en na tien dagen blijken de Israëlieten gezonder dan de proefpersonen die vlees en wijn kregen. (Daniël 1:11-16).

Daniëls proefopzet wordt nog dagelijks gebruikt door medische wetenschappers. Deel je proefpersonen op in twee groepen, behandel de ene groep volgens methode A (koninklijke spijze en wijn) en de andere groep volgens methode B (groente en water) en kijk na verloop van tijd wat de verschillen zijn.

Tegelijkertijd bevat Daniëls onderzoek een paar methodologische fouten. Ook die worden – soms bewust, soms onbewust – nog dagelijks gemaakt. Zo is de onderzoeksgroep aan de kleine kant: vier mensen met een groentedieet en een onbekend aantal mensen dat aanschuift bij de koninklijke dis. De onderzoeksgroep is bovendien niet willekeurig over de twee subgroepen verdeeld. Verder is tien dagen natuurlijk veel te kort voor het meten van het effect van een gezond dieet, al staat iets verderop dat Daniël en zijn vrienden na drie jaar groente en water nog altijd gezonder waren dan de controlegroep.

Hoe makkelijk het is om in één experiment een bonte verzameling methodologische fouten te maken, blijkt uit de BOEM-proef van deze week.

De proef zelf kan bijna niet simpeler: meet de invloed van koffie op het reactievermogen, door proefpersonen tien minuten nadat ze een kop koffie hebben gedronken een vallende liniaal te laten vangen. De centimeterstreep waar ze de liniaal vangen, is een maat van de reactietijd. Doe de proef na nul, één, twee, drie vier, vijf en zes koppen koffie en je krijgt, zo was de hypothese, een duidelijk afnemende reactietijd.

In de praktijk blijkt het allemaal niet zo eenvoudig. Zo raken deelnemers geoefend in het vangen van de liniaal waardoor de resultaten na verloop van tijd vanzelf beter worden, ongeacht de hoeveelheid koffie. Gelukkig had de BOEM-redactie daar rekening mee gehouden: één redactielid dronk de hele dag geen koffie.

In het BOEM-lab deden we de proef met vier personen, inclusief koffievrij proefkonijn. Dat is veel te weinig. Het betekent dat je het effect van zes koppen koffie plus de toenemende handigheid in het vangen van een liniaal moet aflezen uit 24 metingen. Daarbij geldt bovendien dat proefpersonen die weten dat ze meedoen aan een onderzoek per definitie beter presteren. Na zes koppen koffie doe je harder je best.

Het eind van het liedje is dat we een stapel metingen hebben waaruit je, zelfs met moeite, he-le-maal niets kunt aflezen. Dat betekent dat we tot de dooddoenerige conclusie komen die je veel te vaak tegenkomt in wetenschappelijke literatuur: voor het vaststellen van een definitief verband is aanvullend onderzoek nodig.

Maar liever niet meer met de BOEM-redactie als proefpersonen.

Auteur: Ernst Arbouw