Het woord ‘onderzoek’ oefent een magische aantrekkingskracht uit op politici. Terwijl onderzoek soms heel onnauwkeurig is. Dit is ten nadele van de zwakkeren in de samenleving.
Even terug naar vijftig jaar geleden. Een man klimt op een trapje met drie treden en opent het deurtje van een thermometerhut, zo’n klein wit hutje met jaloezieachtige wanden, meestal geplaatst op een tamelijk open vlakte. Er is een klein ventilatortje in de hut, zodat de lucht erin niet stil komt te staan en daardoor opwarmt, maar juist steeds van buitenaf wordt ververst. Want om de echte luchttemperatuur te meten is er grote zorgvuldigheid nodig. Zo mag er geen zonnestraling op de thermometer vallen, vandaar dat hutje, en vandaar ook de witte wanden, anders wordt niet de temperatuur van de lucht maar die van het glas gemeten. De man leest de temperatuur af. Niet tot op een graad nauwkeurig maar tot op één tiende van een graad. Vervolgens schrijft hij het op in zijn boek, evenals de waarnemingen van wind, wolken enzovoorts. Deze man had een specifiek beroep, dat van waarnemer. Een uur later komt hij terug en herhaalt alles. Dat gebeurde dag en nacht door. Hij vergelijkt de waarneming met de vorige om te zien of er geen vreemde sprong in voorkomt. Later checkt een meteoroloog dit nog eens op een weerkaart. Bij een afwijking stelt hij zich de vraag: Vriest het nu echt zo hard in Zuid Limburg of is de thermometer defect. Zo‘n station werd bemand door minstens vier mensen. Er waren (en zijn nog) duizenden van dergelijke waarnemingstations over de gehele wereld tot dichtbij de Noordpool toe. Zij werden bemand door minstens vier mensen. Via snelle verbindingen (toen nog de telex) werden de gegevens verzameld en verspreid om een totaalbeeld van het weer te maken. Er waren in dit vak toen nog grote lacunes, want op de oceanen waren weinig waarnemingen. Daardoor kon het voorkomen dat een tornado of stormdepressie te laat werd waargenomen.
Dit zijn herinneringen van een halve eeuw geleden, uit de tijd toen ik als meteoroloog bij het KNMI werkte. Sindsdien zijn er in de manier van meten grote veranderingen opgetreden. Zo loopt er in vele gevallen geen man meer naar de hut, maar wordt de temperatuur ‘op afstand’ afgelezen en er is de nodige informatie via satellieten. In grote lijnen is het beeld echter hetzelfde. Want het gaat om een indrukwekkend proces van waarnemen en nog eens waarnemen van wind, wolken etc. en het verzamelen van deze gegevens over een groot gebied met een zo groot mogelijke dekkingsgraad. Dat desondanks weer voorspellen moeilijk blijft, is natuurlijk geen geheim. Zelfs voor één dag vooruit is het niet eenvoudig, en voor meer dan vijf dagen is het maar heel beperkt mogelijk.
Het zijn twee aspecten waarop we hier de aandacht willen vestigen. In de eerste plaats op een indrukwekkend proces van waarnemen met grote zorgvuldigheid en in de tweede plaats op de grote inspanning om op zo veel mogelijk plaatsen waarnemingen te verkrijgen, zodat een juist totaalbeeld kan ontstaan (de dekkingsgraad).
Als we dit vergelijken met wetenschappen die zich met menselijk leven en samenleven bezig houden, zien we een schril contrast. Het betreft onder andere economie, politicologie, sociologie en beleidswetenschappen. De nauwkeurigheid is in de genoemde vakken vaak heel ver te zoeken. Een voorbeeld waar die onnauwkeurigheid toe leidt zien we in de verkiezingspeilingen. Zelfs op de avond van de verkiezingen is de definitieve zetelverdeling soms duidelijk anders dan de peiling op diezelfde dag.
Dat komt in de eerste plaats door slecht waarnemen. Reeds tientallen jaren geleden is er onder andere door de psycholoog De Groot op gewezen dat de mens een gebrekkig waarnemer is. 1 Dat was uit talloze onderzoekingen gebleken. Die gebrekkigheid komt onder ander voort uit onbetrouwbaarheden in het geheugen (‘recall errors’), 2 fouten die inmiddels overbekend zijn. Het waarnemen in de huidige sociale en maatschappijwetenschappen bestaat meestal uit het stellen van een grote hoeveelheid tamelijk vluchtig gestelde vragen die even zovele vluchtige antwoorden opleveren. Dat gebeurt dan soms alléén per telefoon of via het internet en hoogstens met een vragenlijst per post. Bij veel onderzoek is dat het geval, zoals bij het vaststellen van woonwensen, tijdsbesteding, financiële problemen, gezondheid. De kwaliteit van waarnemen staat in geen verhouding tot het meten met de bovengenoemde thermometer. Bovendien is de praktijk verslechterd. Een halve eeuw geleden werd sociologen geleerd om er goed op te letten welk type vraag de grootste betrouwbaarheid opleverde, of er controlevragen ingebouwd konden worden en of er controles mogelijk waren met gegevens uit andere bronnen. Er is grote twijfel mogelijk of dat nog voldoende gebeurt.
De tweede zorg betreft het totaalbeeld, de dekkingsgraad. Dit is de laatste twintig jaar een steeds groter probleem geworden, omdat de non-respons sterk is toegenomen Een deel van de noodzakelijke waarnemingen vindt dus eenvoudig helemaal niet plaats, bijvoorbeeld omdat de telefoon niet wordt opgenomen, de betreffende man of vrouw ziek is, weigert te antwoorden of geen internet heeft. In Nederland werd dit indringend naar voren gebracht door Visscher, die er op wees dat het verkiezingsonderzoek tot verkeerde conclusies leidde. 3 In eerste instantie werd hem dat niet in dank afgenomen, hoewel hij werd bijgevallen door Kobben en Tromp. 4 Er kwam veel meer onderzoek over dit probleem. Van Goor en Rispens kwamen bij een telefoonenquête tot dramatische conclusies. 5 37% van de mensen was niet bij de KPN geregistreerd. Van de rest nam 49% de telefoon niet op of weigerde medewerking. Al met al omvatte de steekproef slechts 32 % van de populatie. Ook hier geldt weer: Een halve eeuw geleden werd een respons van minder dan 80% als zorgelijk gezien. Bij iemand die weigerde, werd opnieuw aan de deur gebeld, soms meerdere malen. Tegenwoordig is een respons van 40% of minder geen uitzondering. Het ligt voor de hand dat er dan vertekeningen optreden. Lang heeft men gedacht dat men daarmee kon leven en het probleem kon oplossen door te “wegen” op basisvariabelen als leeftijd en geslacht. Dit blijkt verregaand ontoereikend. Op grond van common sense zou men dit ook al denken, want wat niet is waargenomen, is nu eenmaal niet waargenomen. Nader onderzoek heeft dit bevestigd. 6 Bovendien betreft de vertekening niet alleen de frequentieverdelingen, zoals die ook in epidemiologisch onderzoek voorkomen, maar ook de verbanden tussen variabelen lijden er onder. 7
Buitengewoon belangrijk is de aard van de uitval. Het blijkt dat deze vooral plaats vindt bij mensen met hogere en nog sterker bij mensen met lagere opleiding.. Ouderen en chronisch zieken zijn eveneens vaak ondervertegenwoordigd, waarbij ook de sterfte een rol speelt. De onderzoeksproblemen zijn dus voor de gerontologie en geriatrie wellicht relatief groot. Dat betekent ook dat juist de zwakkere mensen wat betreft hun zorgbehoefte, gezondheid, inkomenspositie en vervoersbehoefte onderbelicht kunnen zijn. Een illustratie is een onderzoek naar de deelnemers aan de voedselbank. 8 De minister wilde weten wat de kenmerken van de bezoekers waren, zoals leeftijd, geslacht, wel of niet één-oudergezin. Belangrijk is natuurlijk of daarmee de behoeften in beeld kwamen van de gehele bevolking van een plaats, ofwel of er sprake was van een juiste afspiegeling van het totaalbeeld. Daar werd nauwelijks op gelet. Zo bleek dat er relatief weinig ouderen kwamen. Niemand vroeg zich af, ook de minister niet, of die ouderen die voedselbank wel konden bereiken, want velen zijn hulpbehoevend. Ook kunnen er mensen zijn die eenvoudig de mogelijkheid niet kennen of uit schroom niet durven aankloppen. Hun behoeften kunnen daardoor buiten beeld gebleven zijn. Het komt vaker voor dat men selecteert op de afhankelijk variabele en niet op de populatie van mensen met (mogelijke) problemen.
Samenvattend is het waarnemen van menselijke problemen soms hopeloos onnauwkeurig vergeleken bij het waarnemen van de luchttemperatuur. Ook maakt men zich veel te weinig zorgen over de vraag of er met de huidige grote steekproefuitval een juist totaalbeeld wordt verkregen – een goede afspiegeling van de bevolking waar het om gaat. Ondertussen wordt door onze nationale planbureaus, onderzoeksinstituten en -raden het ene rapport na het andere gepubliceerd. Veel van de inhoud daarvan wordt door politici en bestuurders voor waar aangenomen. Men zoekt immers enig houvast en het berust toch op dat magische woord ‘onderzoek’? Wat is de les hieruit? Wellicht de volgende: Hoewel het is te begrijpen dat men niet dezelfde perfectie kan bereiken als in de natuurwetenschappen, kan men ondanks alle gebreken uit het huidige sociaal wetenschappelijk onderzoek toch nog veel waardevolle gegevens putten. Ook de meteorologen met hun natuurwetenschappelijke achtergrond gaan ondanks hun beperkingen door met hun werk Doorgaan dus. Maar als politici en vooral ook de onderzoekers niet voldoende stilstaan bij de tekortkomingen van het onderzoek en hun resultaten zonder enige restrictie met grote koppen publiceren, dan is de zuiverheid van wetenschap in het geding. Dat is een ernstige zaak. Wat meer bescheidenheid zou ons allen sieren, niet in de laatste plaats omdat door het gebrekkige onderzoek waarschijnlijk de problemen van de zwakkeren en ouderen onderbelicht blijven
Prof. Dr. G. P. A. Braam is emeritus hoogleraar sociologie aan de Universiteit Twente. Van 1949 tot 1964 was hij meteoroloog bij het KNMI.