Indicatoren voor kwaliteit in de zorg zijn natuurlijk van zeer groot belang. Het blijkt echter geen eenvoudig onderwerp te zijn. Een discussie onlangs in dit tijdschrift over de vraag of de patiënt wel centraal genoeg staat, getuigt daarvan. 1 , 2 Er zijn echter veel meer van die geluiden. Een organisatie als Actiz pleit voor de overgang naar een nieuw meetsysteem. 3
Ook vanuit Vilans worden zorgen geuit. Sommige krantenberichten stellen dat het hele meetsysteem faalt. In dit korte bestek kunnen we slechts een enkel punt aan de orde stellen. En dat betreft de zeer fundamentele vraag: Hoe en door wie wordt er gemeten ofwel waargenomen om de waarde van een indicator te bepalen. Soortgelijke vragen werden reeds een halve eeuw geleden opgeworpen onder andere door de bekende socioloog Blau:”Three years of participant observation by Cohen complement the earlier data by revealing the full extent to which maintaining a good record had come to displace service to clients as the dominant goal toward which the interviewers were oriented and the scope of the illicit practices to which they resorted in order to manipulate their records”. 4
Het gaat dus vooral om de betrouwbaarheid van de waarnemingen.Hoe is het daarmee gesteld?
Dit is een zeer belangrijke methodologische vraag.Waarnemingen vormen de belangrijkste bron van onze kennis en wetenschap. Maar voor de betrouwbaarheid van waarnemingen zijn harde voorwaarden nodig ofwel: waarnemen vereist grote zorgvuldigheid.Want al heel lang wordt in de methodologische handboeken betoogd dat de mens een slechte waarnemer is, en dat is mede gebaseerd op psychologisch onderzoek. 5
Laten we het waarnemingsprobleem toelichten aan de hand van een voorbeeld, namelijk de meting van de temperatuur in de buitenlucht. Dat lijkt eenvoudig: gebruik een thermometer en lees die af. Maar zo eenvoudig is het niet: er zijn veel voorzorgen nodig. Zo mag de thermometer niet in de zon hangen, anders meet men niet de temperatuur van de lucht maar die van het glas van het instrument. Er moet voorts voldoende ventilatie zijn onder andere omdat er waterdamp op kan condenseren. En dat die thermometer geijkt moet zijn spreekt vanzelf. Dergelijke voorzorgen hebben geleid tot het maken van thermometerhutten. Als we vervolgens de temperaturen van verschillende meetstations willen vergelijken moeten die hutten op eenzelfde hoogte staan, de temperatuur kan namelijk binnen een hoogteverschil van twee meter sterk uiteenlopen. Voor meteorologische doeleinden werden en worden die metingen van uur tot uur herhaald. En dat ook nog dag en nacht. Veel van die metingen zijn inmiddels geautomatiseerd, maar dat heeft aan de principes van nauwkeurigheid niets veranderd.De noodzaak van dit soort voorzorgen geldt niet alleen voor waarnemingen in de natuurwetenschappen, maar zeker ook voor die in de menswetenschappen. Een van de manieren is het herhalen van de waarneming (testhertest). Helaas worden deze voorzorgen op dit gebied vaak ernstig genegeerd, zoals bij opinieonderzoeken.
Hoe staat het nu met de waarnemingen ten behoeve van de kwaliteitsindicatoren op het gebied van de zorg? Voor verpleging en verzorging lezen we iets over waarnemen in de handleidingen ‘Kwaliteitskader’ en ‘Het meten van vooruitgang’. 6 , 7
Er worden twee manieren van meten genoemd. Bij de eerste manier wordt gewerkt met vragenlijsten, waarmee men probeert vast te stellen hoe de cliënten de kwaliteit van de zorg ervaren. Bij de tweede manier verzamelt men gegevens over zogenaamde zorginhoudelijke kwaliteit, bijvoorbeeld het aantal valincidenten of het aantal mensen met huidletsel. Dit gebeurt door functionarissen uit de organisatie.Dat is dus een zogenaamde zelfevaluatie.Natuurlijk zijn deze methoden wel een stimulans om beter op de kwaliteit te letten en verbeterprogramma’s in te voeren. Dat neemt niet weg dat aan beide waarnemingsmanieren zeer grote bezwaren kleven.
Allereerst de interviews met patiënten. Het is toch altijd al lastig om via interviews betrouwbare waarnemingen te verkrijgen, onder andere door het gevaar van sociaal wenselijke antwoorden. Maar met de nodige zorgvuldigheid en goed getrainde interviewers kan men vaak nog wel iets bereiken.Het is echter hoogst twijfelachtig of dit ook geldt voor interviews bij mensen die in een buitengewoon kwetsbare positie verkeren. Wie klaagt er over de verzorging als men daar dag in dag uit van afhankelijk is? Bij patiënten bij wie de verstandelijke vermogens sterk achteruit zijn gegaan, zijn antwoorden zelfs helemaal onmogelijk. De eerste de beste burger snapt deze problemen. Voorts is ook de kwaliteit van de interviewers nog een punt. Hoe zijn die gerekruteerd en opgeleid?
Bij de tweede manier, de zelfevaluatie door de organisatie is de betrouwbaarheid mogelijk nog ernstiger in gevaar. Er schijnt daarbij gewerkt te worden met afvinklijstjes over wat men wel of niet heeft gedaan of heeft waargenomen.Die worden door de zorgverleners zelf ingevuld.Dit kan leiden tot grote onnauwkeurigheden, want wie beoordeelt zichzelf heel kritisch? Bijvoorbeeld: welke functionaris registreert mishandelingen? Het gaat om vrij grote aantallen. Er werden bij de Inspectie in een tijdsbestek van enkele maanden een vijftigtal gemeld. Maar dat gebeurde dan wel door familieleden.
Er zijn natuurlijk grote belangen van de zorgverleners zelf en die van de organisatie mee gemoeid. Wie gaat daar onbevooroordeeld mee om?Want degene die heel eerlijk is, is zonder meer in het nadeel in vergelijking met degene die zichzelf bewust probeert in een goed daglicht te stellen.
Beide methoden schieten dus in ernstige mate tekort. Dat geldt al voor het waarnemen van één indicator, maar hoe moet men de zorgvuldigheid waarborgen als men vele waarnemingen moet uitvoeren, dus niet voor enkele, maar voor tientallen indicatoren? De handleidingen vermelden er een kleine honderd.
De vraag dringt zich op of men zich met kwaliteitsindicatoren niet op een heilloze weg bevindt. Ofwel, is het niet beter om een radicaal nieuw begin te maken? Allereerst in een proeffase. Men kan denken aan kleinschalige projecten met slechts een paar indicatoren die men zeer zorgvuldig onderzoekt en evalueert. Daarbij blijft het uitgangspunt dat er meer betrouwbare waarnemingen komen. Dat kan als men geen vragenlijsten op de patiënt loslaat, maar in plaats daarvan zijn of haar gedrag observeert. Noodzakelijk is ook dat dit gebeurt door onopvallende waarnemers, bijvoorbeeld door undercoverwaarnemers; ook al zal dat vele, overigens misplaatste, bezwaren oproepen.De andere manier, de zelfevaluatie, zou men moeten vervangen door waarnemingen van onbevooroordeelde personen, afkomstig uit instituten waarvan de onafhankelijkheid zo goed mogelijk vaststaat. Dit zou moeten resulteren in waarnemingsmethoden die in hoge mate betrouwbaar zijn. Met welke indicatoren moet men dan beginnen? In ieder geval lijkt het noodzakelijk dat deze zeer direct betrekking hebben op de patiënt zelf en niet direct op managementinformatie.
Dergelijke ondernemingen zijn natuurlijk niet eenvoudig. Maar het gaat wel betrouwbare beelden van kwetsbare mensen. Deze dienen bij uitstek aan wetenschappelijke normen te voldoen. Het meetniveau in de natuurwetenschappen is natuurlijk niet eenvoudig te bereiken. Maar als men met dat niveau vergelijkt, vertoont het terrein van kwaliteitsindicatoren in de zorg een hopeloze achterstand.
Notes
Met dank aan dr.H. van Goor (Sociologisch Instituut Rijksuniversiteit Groningen)