Experimenten documenteren

Waarom dit telt

Zonder voorlichter, laboratorium of internet moet je zelf uitzoeken wat werkt op jouw grond en met jouw spullen. Een verkeerde overtuiging kost een oogst of een winter aan werk. "Bij mij werkte het" is geen bewijs, want je weet niet wat er zonder jouw ingreep was gebeurd. In 1747 vergeleek de scheepsarts James Lind zes behandelingen tegen scheurbuik naast elkaar, in plaats van er één te proberen. Die manier van werken kost weinig: een schrift, een eerlijke vergelijking en de moed om op te schrijven dat iets niet werkte.

Eerst doen

1. Schrijf je vraag in één zin, met daarin wat je verandert en wat je meet.
2. Kies één ding om te veranderen. Houd al het andere gelijk.
3. Houd een deel zoals je het altijd doet. Dat is je controlegroep.
4. Schrijf vooraf op wat je meet en wat voor jou als "beter" telt.
5. Herhaal de vergelijking op minstens vier plekken en bepaal met een munt welke behandeling waar komt.
6. Schrijf de uitkomst op, ook als die tegenvalt of als de proef mislukt.

Wat je nodig hebt

• Het veldboek (16.02 Waarnemen en meten), met een apart deel voor proeven.
• Een meetlint, touw en stokken om bedden af te zetten.
• Etiketten die weer en wind overleven: hout, metaal of steen met merkteken wordt getoetst.
• Een weegschaal of balans en een maatbeker (16.04 Eenheden en standaarden).
• Een munt, of genummerde briefjes in een pot, om te loten.
• Een tweede persoon die meet of meekijkt.

Werkwijze

Een vraag die je kunt toetsen

Een goede vraag noemt één verandering en één meting.

Eén ding tegelijk

Verander je twee dingen tegelijk, dan weet je niet welke het deed. Geef je compost en meer water, en groeit het beter, dan kun je niets concluderen. Maak voor je begint een lijstje van wat gelijk blijft: ras, zaaidatum, afstand, water, grond, zon, wie het werk doet. Kun je iets niet gelijk houden, schrijf het dan op.

De controlegroep

De controlegroep krijgt de gewone behandeling. Hij laat zien wat er zonder jouw verandering gebeurt. Vergelijken met vorig jaar is geen controle, want het weer was anders. Beide groepen moeten in hetzelfde seizoen, op dezelfde plek en op dezelfde manier lopen. Vergelijk niet te veel tegelijk. De Amerikaanse landbouwgids van SARE werkt meestal met twee of drie behandelingen, waarvan één de gewone werkwijze is.

Vooraf opschrijven

Achteraf zie je wat je wilt zien. Daarom schrijf je het plan op voordat je begint, en dat plan verander je niet stilletjes.

Moet je het plan wijzigen tijdens de proef? Doe dat met datum en reden. Schrijf ook de dingen op die je niet had verwacht.

Herhalen en loten

Eén bed met en één bed zonder bewijst weinig. Misschien ligt het ene bed net beter. Daarom verdeel je het land in blokken: stukken met dezelfde helling en dezelfde bodem. In elk blok komt elke behandeling één keer voor. Volgens SARE geven vier tot zes blokken al een redelijke zekerheid. Binnen elk blok bepaal je de plaats door loting. Gooi een munt of trek een briefje. Leg niet in elk blok dezelfde volgorde neer, want dan loopt een verschil in het land mee met je proef. Een plan met vier blokken ziet er zo uit:

Meet zo veel mogelijk zonder te weten wat waar staat, of laat iemand wegen die het plan niet kent wordt getoetst. Zo voorkom je dat je hoop de weegschaal meeleest. Planten aan de rand krijgen meer licht en water: meet alleen de middelste rijen wordt getoetst.

Kleine proef in de moestuin

Neem een proef die je kunt verliezen. Gebruik voor een proef niet meer dan een klein deel van je land, zodat een mislukking je geen winter kost wordt getoetst. Neem bijvoorbeeld acht bedjes van 1 bij 2 meter wordt getoetst. Een voorbeeld: aardappelen met en zonder compost, op zandgrond of klei (13.02 Bodemleven en compost). Een ander voorbeeld: tomaten met en zonder stro op de grond, waarbij je noteert hoeveel liter elk bed per week krijgt. Geef beide dezelfde hoeveelheid water en kijk naar de oogst, of geef water tot dezelfde vochtigheid en kijk naar de liters. Doe niet beide tegelijk. Hieronder een verzonnen rekenvoorbeeld, in kilo per bed:

Het gemiddelde verschil is ruim 0,3 kilo per bed, ongeveer 7 procent. Drie van de vier blokken wijzen dezelfde kant op. Dat klinkt overtuigend, maar reken het na met een munt. Gooi je vier keer, dan komt drie of vier keer kop voor in vijf van de zestien gevallen. Dat is bijna één op drie. Zelfs als compost niets doet, kan dit dus makkelijk gebeuren. Hier is de eerlijke conclusie: het lijkt iets te helpen, en het is de moeite waard om het volgend jaar te herhalen. Zes blokken die alle zes in het voordeel van compost uitvallen, zijn sterker: bij toeval één op de 64. De muntrekening is alleen eerlijk als je geloot hebt en de blokken vooraf hebt vastgelegd. Je leest er geen grootte van het effect uit af.

Kleine proef in de werkplaats

In de werkplaats is herhalen makkelijker. Maak een serie gelijke proefstukken. Voorbeeld: lijm. Vergelijk VK.H09 Harslijm maken met VK.H10 Huidlijm koken.

1. Zaag tien gelijke latjes uit hetzelfde hout, en maak vijf verbindingen per lijm.
2. Laat ze even lang drogen, op dezelfde plek.
3. Lot de volgorde van testen.
4. Hang aan elke verbinding een emmer en vul bij met water. Eén liter is één kilo. Schrijf het gewicht op waarbij hij breekt.
5. Schrijf ook op hoe hij brak: in de lijm of in het hout.

Hetzelfde kun je doen met een kalkmortel (11.08 Mortel en kalkpleister) of een partij zeep (11.04 Zeep maken). Schrijf per partij op wat erin ging en wat er uitkwam. Een proefstuk zegt iets over proefstukken. Het is geen berekening voor een draagbalk of een trap (12.01 Bouwprincipes). Voorbeeld: kiemproef. Tel bij elke partij zaad 50 zaden af, leg ze tussen vochtig papier op een warme plek en tel na een week of twee hoeveel er kiemen wordt getoetst. Vergelijk partijen altijd op dezelfde manier (13.07 Zaden verzamelen en bewaren).

Wat je concludeert en wat niet

Eén proef is een aanwijzing. Herhaal hem een ander jaar, op een ander stuk, of laat een buurgroep hem doen. Pas als de uitkomst dan nog staat, verander je de gewone werkwijze. Bewaar altijd nog een deel volgens de oude manier, totdat je zeker bent. Wat je niet moet doen: zoeken in je cijfers tot je iets vindt. Kijk je naar twintig dingen, dan valt er vaak één op door toeval wordt getoetst. Wat je achteraf vindt, is een idee voor de volgende proef, geen resultaat.

Proeven die je niet doet

Sommige vragen beantwoord je niet met een proef, omdat de prijs een mensenleven kan zijn. Zie het Gevaar-blok hieronder. Bij een medische vraag: volg 07.13 Medicinale planten met bewijs en het geschreven plan dat de groep met een arts heeft gemaakt.

Bewaren en doorgeven

Sluit elke proef af met een korte bladzijde: nummer, vraag, wat je deed, wat je zag, wat je concludeert, wat je volgend jaar anders doet. Bewaar mislukkingen net zo goed. Anders probeert de volgende hetzelfde nog een keer. Leg een lijst van proeven voor in het boek en neem de uitkomsten op in het archief (16.01 Een kennisarchief). Wat bewezen is, geef je door (16.07 Technieken overdragen).

Zo weet je dat het werkt

• Het plan staat in het boek, met een datum van voor het begin van de proef.
• Iemand anders kan de proef herhalen met alleen jouw aantekeningen.
• Er is een controlegroep, en elke behandeling komt in elk blok voor.
• De plaats is geloot, en je kunt laten zien hoe.
• Je conclusie zegt ook wat je niet weet.
• Er staan mislukte en tegenvallende proeven in je boek.

Zo weet je dat het misgaat

• Je geeft de nieuwe behandeling meer aandacht dan de controle: spreek af dat dezelfde persoon beide gelijk verzorgt.
• Na afloop verander je wat "beter" betekent: houd je aan het plan en zet de nieuwe vraag in een volgende proef.
• Je ziet alleen de successen in je boek: dan schrijf je niet alles op. Spreek af dat elke proef een afsluiting krijgt.
• De blokken verschillen meer van elkaar dan de behandelingen: leg blokken volgend jaar anders, of neem er meer.
• Mensen stoppen met de oude werkwijze na één mooi jaar: wacht op een herhaling.
• De proef kost zo veel werk dat het voedsel eronder lijdt: maak hem kleiner of stel hem uit.

Als je iets mist

Achtergrond

Een controlegroep neemt alles mee wat je niet kunt regelen: weer, plagen, de tijd zelf. Loting zorgt ervoor dat verschillen in de grond niet stelselmatig één behandeling bevoordelen. Herhaling laat zien hoe groot het toeval is. Deze drie horen bij elkaar. Zonder een van de drie kun je een mooie uitkomst niet vertrouwen. Bij mensen werken nog twee valkuilen. Wie ziek is, knapt vaak vanzelf op: de meeste mensen zoeken hulp op het slechtste moment, en daarna gaat het vanzelf beter wordt getoetst. En wat je hoopt te zien, zie je sneller. Vooraf schrijven en blind meten beschermen je daartegen. Lind gaf twaalf zieke zeelieden hetzelfde basisvoedsel en verdeelde ze over zes paren, met elk een eigen toevoeging: cider, vitriool, azijn, zeewater, sinaasappels en citroen, of een kruidenpasta wordt getoetst. De fruitgroep knapte het snelst op wordt getoetst. Een proef van twaalf mensen is klein, maar het was een echte vergelijking. Het duurde nog tientallen jaren voordat de marine er echt naar handelde wordt getoetst (04.12 Tekorten herkennen: scheurbuik en meer). Dat is ook een les: een goed resultaat dat niemand leest, helpt niemand. Bewijs: controlegroep, loting en herhaling A (de basis van proefopzet in landbouw en geneeskunde). Vier tot zes blokken B (landbouwgids, geen harde grens). Muntrekening als grove toets C (eigen rekenwerk, vervangt geen statistiek). Maten van bedjes en grenzen voor "beter" D (voorbeelden, geen norm).

Volgende niveau

Combineer proeven over meerdere jaren en leg ze naast je weercijfers (16.02 Waarnemen en meten). Spreek met een buurgroep dezelfde proef af op een andere bodem. Leer rekenen met gemiddelden en spreiding (16.13 Rekenen en boekhouden zonder computer). Maak een jaarlijst met de drie vragen waar de groep het meeste aan heeft (13.05 Teeltplanning, 16.09 Langetermijnplanning). Leer leerlingen zelf een proef opzetten: dat is ook onderwijs (15.08 Onderwijs organiseren).

Controlelijst

• Ik stel een vraag met één verandering en één meting.
• Ik schrijf het plan op voordat ik begin, met de datum erbij.
• Ik houd een controlegroep aan die in alles gelijk is, behalve in dat ene.
• Ik herhaal in minstens vier blokken en lot de plaats.
• Ik schrijf alle uitkomsten op, ook de slechte.
• Ik zeg niet meer dan de proef laat zien.
• Ik doe geen proeven op mensen en geen proeven met gif, onbekend eten of inmaakrecepten.
• Ik verander de gewone werkwijze pas na herhaling.

Verantwoording

• SARE: How to Conduct Research on Your Farm or Ranch, Basics of Experimental Design: controlegroep als gewone werkwijze, meestal twee of drie behandelingen, herhaling, loting met munt of briefjes en per blok apart, blokken met gelijke helling en bodem, vier tot zes blokken.
• SARE: How to Conduct Research on Your Farm or Ranch (overzichtspagina): inhoud van de gids; statistische hoofdstukken niet ingezien.
• SARE: 10 Steps for Conducting Research on Your Farm or Ranch: volgorde van vraag, plan, gegevens, analyse, conclusie en delen (alleen de lijst van stappen ingezien).
• James Lind Library: Lind J (1753): proef van 1747, zes behandelingen vergeleken, publicatie in 1753; aantallen en uitkomst staan alleen in afbeeldingen die ik niet kon lezen.
• Wikipedia: James Lind: twaalf zeelieden, zes paren, de zes toevoegingen, uitkomst, late invoering (algemene naslag; de pagina is op één punt inconsistent over de cidergroep).

De muntrekening (5 van 16, 1 van 64) en het rekenvoorbeeld zijn eigen rekenwerk; de cijfers van de oogst zijn verzonnen om te oefenen. Niet met een primaire bron onderbouwd en daarom gemarkeerd: de etiketten, de compostlaag, de grens van 10 procent, blind meten, de randrijen, de maximale omvang van een proef, de maat van bedjes, de kiemproef, het zoeken in cijfers, de neiging om vanzelf op te knappen en de details van Linds proef. Getoetst door: nog niet.