Kennistoetsen dementie voor verpleegkundigen en verzorgenden: een psychometrische beschrijving van meetinstrumenten als handreiking voor de Nederlandse praktijk
Dementia knowledge assessment for nurses and care workers: a psychometric description of measuring instruments as a guideline for Dutch practice
30/08/2022
Anouk Spijker, Debby L. Gerritsen, Anke Persoon
DOI: 10.36613/tgg.1875-6832/2022.03.02
Wetenschappelijke artikelen
TGG Cover editie 3
Tijdschrift voor Gerontologie en Geriatrie Volume 53, Issue 3

Voorwaarde voor kwalitatief goede zorg voor mensen met dementie is dat verpleegkundigen en verzorgenden voldoende kennis van dementie hebben. Om deze kennis te toetsen, effecten te meten van psychosociale interventies en om educatieve programma’s te ontwikkelen, zijn kennistoetsen dementie ontwikkeld. In dit overzichtsartikel is onderzocht welke kennistoetsen er zijn voor verpleegkundigen en verzorgenden. Deze zijn beoordeeld op hun methode van ontwikkelen en hun psychometrische kwaliteiten. Er zijn acht meetinstrumenten getraceerd: KIDE, DKAT1, DKAT2, DKAS, ADKS, UJA Alzheimer’s Care Scale, KASA en KDC-SAT. De DKAS heeft de beste psychometrische kwaliteiten: conform de verwachting discrimineert het instrument tussen groepen met meer versus minder kennis, opleiding en ervaring met dementie, is het gevoelig voor verandering na educatie, heeft het een solide interne consistentie en een goede betrouwbaarheid. Het toetst zowel domeinen van het biomedische model als ook domeinen van het biopsychosociale model. De cross-culturele validiteit van de DKAS laat nog te wensen over. Voor de Nederlandse praktijk dient de cross-culturele validiteit van de DKAS onderzocht te worden in een toegepaste studie.

A condition for good quality care for people with dementia is that nurses and carers have sufficient knowledge of dementia. To test this knowledge, to measure the effects of psychosocial interventions and to develop educational programs, knowledge tests for dementia have been developed. This review examined which knowledge tests are available for nurses and care workers. These are assessed by their method of development and their psychometric qualities. Eight measuring instruments were traced: KIDE, DKAT1, DKAT2, DKAS, ADKS, UJA Alzheimer’s Care Scale, KASA and KDC-SAT. The DKAS had the best psychometric qualities: the instrument discriminates expectedly between groups with more versus less knowledge, education and experience with dementia, it is sensitive to change after education, it has a solid internal consistency and good reliability. It includes domains of the biomedical model as well as domains of the biopsychosocial model. The cross-cultural validity of the DKAS needs attention. For Dutch practice, the cross-cultural validity of the DKAS should be investigated in an applied study.

Kernwoorden:

Keywords:

2318 Weergaven
314 Downloads
  • Samenvatting
  • Inleiding
  • Methoden
    • Zoekstrategie
    • Kenmerken psychometrische kwaliteiten
    • Dataverzameling en data-analyse
  • Resultaten
    • Geïncludeerde studies
    • Omschrijving instrumenten
    • Psychometrische kwaliteiten
  • Conclusie en discussie
  • Literatuurlijst
  • Over de auteur
Lees verder

Inleiding

Met het toenemend aantal mensen met dementie is de continue zorg voor hen een enorme uitdaging. Verpleegkundigen en verzorgenden in de thuiszorg, de dagopvang en in de geïnstitutionaliseerde zorg zijn een onmisbare sleutel tot de kwaliteit van deze zorg. Een voorwaarde voor kwalitatief goede zorg is dat verpleegkundigen en verzorgenden voldoende kennis van dementie hebben. Een gebrekkige kennis van dementie kan leiden tot een vertraging in het stellen van de diagnose dementie, of een verkeerde voorstelling van symptomen geven wat tot een verkeerde behandeling kan leiden.1 Daarnaast kan een gebrekkige kennis van dementie van verpleegkundigen een negatieve invloed hebben op de zorg, de veiligheid van de persoon met dementie en symptoom management.2

Interventiestudies laten zien dat kennis van dementie en vertrouwen in de zorg voor mensen met dementie toeneemt na de implementatie van trainingsprogramma’s.2 3 Kennistoetsen dementie kunnen dan ook gebruikt worden voor het ontwikkelen van educatieve programma’s, psychosociale interventies en als uitkomstmaat gebruikt worden voor deze interventies.1 4 Bovendien voorkomt het gebruik van een gestandaardiseerde kennistoets met gedegen psychometrische kwaliteiten in wetenschappelijke studies vertekende resultaten en draagt ertoe bij dat de methodologische kracht ervan toeneemt.1

De stappen ondernomen in het ontwikkelingsproces van de instrumenten, waarvoor grofweg twee fasen worden geadviseerd, bepalen de betrouwbaarheid en validiteit van het instrument.1 In de eerste fase, de conceptuele ontwikkelingsfase, wordt het construct ontwikkeld, experts geconsulteerd en focusgroepen gehouden, een item-pool gemaakt, een pilot uitgevoerd onder een representatieve groep en worden definitieve items geselecteerd op basis van statistische itemanalyse procedures. In de tweede fase, de empirische evaluatie, wordt een large-scale sampling van de doelgroep uitgevoerd en wordt een validatie studie in de doelgroep uitgevoerd voor wie het instrument ontwikkeld is. Deze stappen worden verwacht gezet te zijn voordat het instrument in de praktijk ingezet kan worden.1

In de literatuur zijn twee overzichtsartikelen gevonden over instrumenten die kennis van dementie van zorgprofessionals meten, beoordelen en vergelijken op het ontwikkelingsproces en de psychometrische kwaliteiten. Spector et al. (2012)1 geven een beschrijving van vijf instrumenten, welke inmiddels, op de Alzheimer’s Disease Knowledge Scale (ADKS)5 na, verouderd zijn. Hun voornaamste aanbeveling is dat een hedendaags instrument zich niet langer moet richten op een smalle opvatting van dementie zoals vertegenwoordigd in het biomedisch model met een accent op de cognitieve problemen, maar op een instrument dat het biopsychosociale model en de persoonsgerichte zorg belichaamt. Sullivan en Mullan (2017)4 vergelijken vier instrumenten die kennis van dementie toetsen. Hun bevindingen laten zien dat de Alzheimer’s Disease Knowledge Test (ADKT)6 de voorkeur heeft boven de Dementia Knowledge Twenty (DK-20)7, de Dementia Knowledge Assessment Tool Version Two (DKAT2)8 en de ADKS5, daar de ADKT6 het enige instrument is met acceptabele psychometrische eigenschappen. Het gebruik van de DK-20)7 en DKAT28 wordt vervolgens aanbevolen boven de ADKS5. Het overzichtsartikel laat niet zien hoe de kennistoetsen zijn ontwikkeld en vergelijkt instrumenten niet op hun inhoudelijke merites zoals Spector et al. (2012)1; de nadruk ligt op het evalueren en vergelijken van de psychometrische kwaliteiten van de geïncludeerde instrumenten.

In onze huidige studie wordt de insteek van Spector et al. (2012)1 en Sullivan en Mullan (2017)4 gecombineerd. Het voorziet in een update van de literatuur van instrumenten die kennis van dementie voor verpleegkundigen en verzorgenden toetsen. We analyseren hoe de geïncludeerde instrumenten ontwikkeld zijn en welke domeinen van dementie zij bevatten. Daarnaast beschrijven we de psychometrische kwaliteiten. Het doel van deze inventarisatie is een handreiking om te beoordelen welke instrumenten aan te bevelen zijn voor verpleegkundigen en verzorgenden voor gebruik in de Nederlandse praktijk.

Methoden

Zoekstrategie

De database PubMed werd gebruikt met een combinatie van de zoektermen “dementia” (dementie) en “knowledge” (kennis) en “assessment” (afname) om te zoeken naar originele studies die instrumenten identificeren die kennis van dementie van verpleegkundigen en verzorgenden toetsen. Vervolgens werden enkel studies geselecteerd en geïncludeerd die de geïdentificeerde instrumenten evalueren op hun de psychometrische kwaliteiten. De selectie van studies werd uitgevoerd door één auteur. Studies tussen 2010 en 9 november 2020 werden geïncludeerd en alleen Engelstalige en Nederlandstalige publicaties werden meegenomen. Artikelen werden geïncludeerd op basis van titel en samenvatting. Bij twijfel werd consensus bereikt op basis van het lezen van het gehele artikel en discussie van de auteurs. Daarna werd met de sneeuwbalmethode gezocht naar aanvullende studies. Bij de sneeuwbalmethode wordt gezocht naar referenties van mogelijke te includeren publicaties middels de literatuurlijst van de geïncludeerde studies; er wordt teruggegaan in de tijd op zoek naar oudere publicaties. Als een instrument geëvalueerd was binnen de inclusieperiode en een andere evaluatiestudie van hetzelfde instrument al eerder gepubliceerd was, dan is die eerdere studie ook meegenomen.

Kenmerken psychometrische kwaliteiten

Van elk geïncludeerd meetinstrument werden de auteurs van de studie, het aantal items, de beoogde doelgroep, de domeinen die het instrument beslaan en de inhoudsvaliditeit (de manier waarop het instrument ontwikkeld is) geïnventariseerd. Vervolgens werden de beschreven psychometrische kwaliteiten van het instrument geïnventariseerd. Uit een eerste inventarisatie bleek dat de auteurs van de verschillende studies verschillende termen voor vormen van validiteit en betrouwbaarheid gebruikten die hetzelfde betekenen, of dat zij juist niet specifiek genoeg zijn in hun terminologie. Daarom werd ten gunste van een beter begrip en eenduidigheid in de analyse van de psychometrische kwaliteiten gebruikt gemaakt van het op consensus gebaseerde raamwerk van Mokkink et al. (2010)9 om de verschillende vormen van validiteit en betrouwbaarheid te classificeren. Het raamwerk is onderdeel van het COSMIN (COnsensus-based Standards for the selection of health Measurement Instruments) project10 waarin op consensus gebaseerde standaarden beschreven zijn voor de psychometrische beoordeling van zorggerelateerde meetinstrumenten en hun uitkomstmaten. Waar de definities uit het raamwerk van Mokkink et al. 20109 niet toereikend bleken, werd gezocht naar een korte definitie die beter aansloot bij de betreffende vorm van validiteit en betrouwbaarheid zoals toegepast door de auteurs van de instrumenten. Aanvullingen werden gemaakt betreffende itemanalyse en aspecten van de betrouwbaarheid. Het raamwerk zoals toegepast in deze studie ziet er als volgt uit:

Validiteit: de mate waarin een instrument het construct meet dat zij beweert te meten.

  • Inhoudsvaliditeit: de mate waarin een instrument een adequate reflectie is van het te meten construct. Het verwoordt hier de theoretische ontwikkeling van het instrument en de methoden en technieken die de auteurs van de geïncludeerde studies gebruikt hebben om relevantie, volledigheid en begrijpelijkheid van het instrument te bereiken.11 12 We onderscheiden drie aspecten: 1) de theoretische basis; 2) inzet van experts; en 3) uitvoering van een pilot. Indruksvaliditeit geeft de mate aan waarin de inhoud van een instrument daadwerkelijk een adequate reflectie lijkt van het te meten construct.9
  • Itemanalyse: methoden en technieken uit de Klassieke Test Theorie en Item Response Theorie beogen de kwaliteit van de items te analyseren en vast te stellen. Op basis hiervan worden items herzien of verwijderd. De meest voorkomende methoden en technieken van itemanalyse die worden toegepast door toetsontwikkelaars en waarover in deze studie gerapporteerd wordt, zijn:
    • Moeilijkheidsindex: percentage correcte antwoorden op de kennistoets. Door gebruik van een afkappunt wordt gewogen of items te moeilijk (vloereffect) of te makkelijk (plafondeffect) zijn en derhalve herzien of verwijderd dienen te worden.
    • Discriminatie index: mate waarin een item onderscheid kan maken tussen personen die hoog scoren op de gehele kennistoets en personen die laag scoren. Hoe groter het verschil, des te zwaarder wordt het item meegewogen; het item differentieert dan goed.
    • “Weet niet” index: percentage antwoorden op de antwoordmogelijkheid “weet niet”.
    • Rasch model: probabilistisch model dat te maken heeft met de overeenstemming tussen de proporties correcte antwoorden op een item als functie van de testscore (vaardigheidsniveau) met wat door het eendimensionale Rasch model wordt verwacht. Een goede fit ligt rond de waarde 1 en dat is een reden om een item te behouden.
    • Differential item functioning (DIF): een methode om item bias te herkennen: het streven dat een item hetzelfde scoort in bepaalde verschillende groepen binnen de beoogde populatie (bijvoorbeeld in groepen van leeftijd, geslacht). Een item ‘dat DIF heeft’, meet niet hetzelfde voor alle personen in de populatie, dit kan betekenen dat het item vertekend is.13 Items met een hoge DIF worden verwijderd of herzien.
  • Begripsvaliditeit: ook wel bekend als constructvaliditeit: mate waarin scores van het instrument consistent zijn met de vooraf opgestelde hypothesen (bijvoorbeeld ten aanzien van relaties tussen subschalen, relatie tussen scores met andere instrumenten of tussen bepaalde groepen) gebaseerd op de veronderstelling dat het instrument het construct meet dat het beoogt te meten. Dit kan verder uitgewerkt zijn in:
    • Factoriële validiteit: bepaalt of bevestigt de verschillende subschalen.
    • Verwachte verschillen: verwachte verschillen op uitkomsten tussen groepen op basis van hypothesen, bijvoorbeeld op basis van opleiding.
    • Cross-culturele validiteit: mate waarin de prestatie van de items van een vertaald of cultureel aangepast instrument een adequate reflectie zijn van de prestatie van de items in de originele versie van het instrument.
  • Criterium validiteit: mate waarin de scores van een instrument een adequate reflectie zijn van de scores op een “gouden standaard”.
  • Responsiviteit: mogelijkheid van het instrument om verandering over tijd vast te stellen. Hier is dit de mate waarin een instrument gevoelig is voor verandering na educatie.

Betrouwbaarheid: de mate waarin het instrument vrij is van meetfouten; de mate waarin scores voor personen die niet veranderen hetzelfde zijn voor herhaalde metingen onder verschillende condities.

  • Interne consistentie: mate waarin de items onderling samenhangen.
  • Inter-item correlatie: correlatie tussen de items van de kennistoets onderling. Correlaties tussen items mogen niet negatief zijn, maar ook niet te hoog, want dan meten zij hetzelfde. Op basis van een vooraf opgestelde gewenste hoogte van de correlatie, wordt bepaald of items meegenomen worden of niet.
  • Test-hertest: consistentie van de meting door de tijd heen bij dezelfde persoon.
  • Split-half betrouwbaarheid: correlatie tussen parallelle testhelften als schatting van de betrouwbaarheid.
  • Item-totaal correlatie: correlatie tussen de score van elk item afzonderlijk met de totaalscore op de test. Items die laag correleren met de totaalscore en dus niet in de lijn der verwachting liggen, worden inhoudelijk beoordeeld op relevantie, en zo nodig herzien of verwijderd.

Dataverzameling en data-analyse

In dit overzichtsartikel zijn de kwalificaties van de psychometrische kwaliteiten van de instrumenten beschreven in termen die letterlijk overgenomen werden uit de publicaties. Voor de beschrijving van de validiteit betekende dit dat de beoordelingen beschreven zijn in termen van de auteurs en zo min mogelijk in cijfers. De reden hiervoor was dat het onderbouwen van de bevindingen van de validiteit met cijfers te omvangrijk zou zijn: er zouden in sommige gevallen hele tabellen uit de oorspronkelijke studies overgenomen moeten worden. Dit zou ten koste gaan van de overzichtelijkheid. Voor de beschrijving van de betrouwbaarheid werden aanvullend echter wel cijfers gepresenteerd: dit was haalbaar, omdat hier de overzichtelijkheid van de bevindingen behouden bleef.

Resultaten

Geïncludeerde studies

Er werden zeventien studies (in vijftien publicaties) gevonden die acht instrumenten beschrijven. Door de sneeuwbalmethode werd nog één bepaalde studie gevonden die niet binnen de selectie van de zoekstrategie verscheen. Daarnaast werd er nog één studie van een bepaald instrument gevonden welke buiten de inclusieperiode verschenen was, maar waarvan een andere evaluatiestudie binnen de inclusieperiode verschenen was. De instrumenten werden ontwikkeld in de Verenigde Staten, het Verenigd Koninkrijk, Spanje en Australië. Alle instrumenten waren Engelstalig, op een Spaanse na; drie instrumenten waren vertaald naar het Chinees, Japans en Spaans.

Omschrijving instrumenten

De instrumenten varieerden van 16 items tot 82 items, hadden een gesloten antwoordformat van dichotoom (wel of niet goed beantwoord) tot meerkeuzevragen en een 4-punts antwoordschaal (zie Tabel 1). Twee instrumenten waren expliciet zelf-assessment schalen, de Knowledge and Skills Assessment (KASA)14 en de Knowledge of Dementia Competencies Self-Assessment Tool (KDC-SAT)15. Deze instrumenten toetsen niet de kennis, maar bevragen of je zelf vindt of je die kennis hebt.

Verpleegkundigen en of verzorgenden werden in vijf instrumenten expliciet als doelgroep van het instrument omschreven: Dementia Knowledge Assessment Scale (DKAS)16 17 18, ADKS19, UJA Alzheimer’s Care Scale20, KASA14, KDC-SAT15. Voor de overige instrumenten werd de doelgroep aangemerkt onder de brede noemer van zorgprofessionals of zorgmedewerkers.

Alle instrumenten bevatten vragen vanuit de domeinen van het biomedische model van dementie en in meer of mindere mate vanuit het biopsychosociale model. Voorbeelden hiervan zijn items over de impact op het leven (zoals in de ADKS5 19 21 22), en items over communicatie, gedrag en een enkel item over zorgoverwegingen (zoals in de DKAS16 17 18 21 23). De auteurs van de KDC-SAT15 noemden expliciet persoonsgerichte zorg als domein van dementie dat bevraagd werd. Het volledige uitgewerkte instrument van de KASA14 was niet voorhanden: derhalve was niet te beoordelen of  het instrument naast domeinen vanuit het biomedische model ook domeinen vanuit het biopsychosociale model bevat.

Psychometrische kwaliteiten

Hieronder worden de meest opvallende en belangwekkende resultaten beschreven; zie voor details per instrument Tabel 1 en Tabel 2. 

Validiteit

Inhoudsvaliditeit: met uitzondering van de Dementia Knowledge Assessment Tool Version One (DKAT1)8 hadden de instrumenten een stevige theoretische basis: items en subschalen werden ontwikkeld op basis van literatuur, richtlijnen dementie, evaluaties van bestaande instrumenten of een update van bestaande instrumenten. Zo is de ADKS een update van de ADKT5 6 en de DKAS een update en uitbreiding van de DKAT28 18. Items en subschalen werden vastgesteld, gereviseerd, gereduceerd en beoordeeld door experts, met uitzondering van de Japanse vertaling van de DKAS (DKAS-J)23 en de Japanse vertaling van de ADKS (JADKS)22. Het raadplegen van experts is geschied onder andere door consultatie, een panel of een Delphi ronde. Met uitzondering van de DKAS-J23, de JADKS22 en de Chinese vertaling van de ADKS19 waren voor alle instrumenten pilots uitgevoerd voor toetsing in een kleine groep deelnemers, veelal bedoeld voor feedback en een mogelijke reductie van het aantal items van het instrument.

Itemanalyse: op de Knowledge in Dementia Scale (KIDE)24 25 en KASA14 na, werden op alle instrumenten itemanalyses uitgevoerd om het aantal items te herzien of te verwijderen (zie Tabel 2). De moeilijkheidsindexen van de DKAS16 en DKAS-J23 bleken gemiddeld respectievelijk 77,7 % en 73% (<95%) te zijn. Bij de ADKS5 scoorde overall minder dan 95% van de respondenten een correct antwoord op de totale schaal. Uit de moeilijkheidsindex van de DKAT2 bleken 7 van de 21 items door meer dan 90% van de stafleden correct beantwoord: deze items werden niet verwijderd.8 In een andere studie bleek dat op de DKAS en de ADKS respectievelijk 36,8% en 65,5% van de respondenten meer dan 80% correcte antwoorden gaf.21Bij de DKAT18, de UJA Alzheimer’s Care Scale20 en de KDC-SAT15 werden de resultaten van de moeilijkheidsindex niet vermeld: enkel dat uit de KDC-SAT15 twee items verwijderd waren na 100% correct beantwoord te zijn. Bij de Spaanse vertaling van de DKAT2 (DKAT2-Sp)26 en de UJA Alzheimer’s Care Scale20 werden aanvullend Rasch modellen gebruikt en DIF-analyses uitgevoerd. Items van beide instrumenten hadden in het Rasch model ‘een goede fit’, wat een sterk punt is. Uit de DIF-analyses bleek verder dat de meeste items van de instrumenten toepasbaar zijn bij diverse subgroepen van de beoogde populatie.

Begripsvaliditeit – factoriële validiteit: dit werd uitgevoerd bij drie instrumenten om te beoordelen of er subschalen te onderscheiden waren of dat de schaal juist eendimensionaal was. De analyse van de DKAS ondersteunde de indeling van vier subschalen16 17, al gold dit niet voor de Japanse en Chinese vertaling (DKAS-J23 en DKAS-C18). In de DKAS17 werden na factoranalyse twee items verwijderd van de oorspronkelijke schaal wegens slecht presteren, en werd een item verschoven naar een andere subschaal om interpretatie van de schaal te bevorderen. Conform hun intentie bleek dat de ADKS5 19 en de UJA Alzheimer’s Care Scale20 eendimensionale schalen zijn.

Begripsvaliditeit – verwachte verschillen: op de KIDE24 25 na, werd van alle instrumenten onderzocht of het conform de verwachting discrimineerde tussen groepen met meer versus minder kennis, opleiding en of ervaring met dementie. Dit bleek bij alle instrumenten het geval, met uitzondering van de KDC-SAT15 en de ADKS uit de studie van Annear MJ, Eccleston CE, McInerney FJ et al. (2016)21, waar er geen verschil in scores was tussen verzorgenden en de algemene populatie en tussen mantelzorgers en de algemene populatie. De ADKS in de studie van Carpenter et al. 20095 discrimineerde, maar niet tussen mantelzorgers en niet-mantelzorgers. Ook de JADKS22 discrimineerde niet overal significant tussen groepen. Bij de KDC-SAT15 waren geen verschillen op basis van reeds ontvangen dementietraining, en scoorden tegen de verwachting in verzorgenden (welke hoger opgeleid zijn) lager dan directe zorgmedewerkers.

Begripsvaliditeit – correlatie met andere instrumenten: van de DKAS16 18 21, de ADKS5 19 21 en de UJA Alzheimer’s Care Scale20, was nagegaan of ze positief correleerden met andere meetinstrumenten die kennis van dementie toetsen. Dit bleek het geval, met uitzondering van de correlatie tussen de ADKS en de ADKT, welke matig was.5

Begripsvaliditeit – cross-culturele validiteit: alle vertalingen van instrumenten hadden een proces van validering doorlopen: de meeste via een vertaling en terugvertaling procedure. De resultaten van de validering van de instrumenten zelf, zoals de begripsvaliditeit van deze instrumenten, zijn in deze sectie (en Tabel 2) integraal geëvalueerd.

Responsiviteit: voor vier instrumenten, de KIDE24 25, DKAT18, DKAS16 18, en ADKS5 21 22, werd de responsiviteit geëvalueerd. Uit de bevindingen bleek dat deze vier instrumenten gevoelig voor verandering waren, en conform de verwachtingen na educatie hogere scores laten zien.

Betrouwbaarheid

Interne consistentie: op de KASA14 na was de interne consistentie voor alle instrumenten geëvalueerd en in termen van de auteurs van de studies goed, adequaat, veelbelovend, bevredigend en of acceptabel te noemen. Uitzondering hierop was de ADKS in een studie van Annear et al. (2016)21, en de JADKS22, waarvan de interne consistentie van de gehele schaal (onacceptabel) laag was.

Test-hertest betrouwbaarheid: deze werd geëvalueerd bij de DKAS16 18, de ADKS5 19 22, de UJA Alzheimer’s Care Scale20 en de KDC-SAT15, en laat volgens de auteurs geen significante verandering in de tijd zien, wat positief is.

Split-half betrouwbaarheid: deze werd geëvalueerd bij de DKAS21 en ADKS 5 21 en bleek voor de DKAS21 goed te zijn. De ADKS bleek een matig homogene schaal 5: de split-half betrouwbaarheid was onacceptabel laag21.

Item-totaal correlatie: deze werd geëvalueerd bij de ADKS5, de DKAS-J23 en de KDC-SAT15. Bij de DKAS-J23waren 9 items verwijderd van de oorspronkelijke DKAS schaal16 21; 7 items wegens een lage item-totaal correlatie. Bij de KDC-SAT15 waren van de oorspronkelijke 100 items 16 items negatief gecorreleerd of minder dan 2 standaard fouten verwijderd van 0, en derhalve verwijderd van de schaal. De ADKS5 behield 7 van de 30 items in de schaal ondanks dat ze lage correlaties hadden.

Tabel 1. Instrumenten, beschrijving, doelgroep, domeinen en ontwikkeling / inhoudsvaliditeit van het meetinstrument

Eindrevisie Tabel 1 WFC_1 27-8

Tabel 2. Instrumenten, onderzoekspopulatie, validiteit en betrouwbaarheid

Eindrevisie Tabel 2 WFC_1 27-8

NB: de volledige tabellen zijn als PDF-bestand te downloaden

Conclusie en discussie

In dit overzichtsartikel werden meetinstrumenten beoordeeld die kennis van dementie meten bij verpleegkundigen en verzorgenden. Het bleek dat de DKAS16 17 18 21 23, waarbij de versie met 25 items en een 4-punts antwoordschaal plus de optie ”ik weet het niet” de voorkeur heeft17, in meerdere studies omvangrijk is onderzocht en op dit moment de beste psychometrische kwaliteiten heeft. Het instrument heeft het ontwikkelingsproces van Spector et al. 20121, zoals beschreven in de inleiding, goed doorlopen. Conform de verwachting discrimineert het instrument tussen groepen, waaronder tussen verpleegkundigen en verzorgenden, groepen met meer versus minder kennis, opleiding en of ervaring met dementie en blijkt het gevoelig voor verandering na educatie. Er werden ook geen plafondeffecten gevonden. Verder had de DKAS een solide interne consistentie en een goede test-hertest en split-half betrouwbaarheid. Het instrument toetst zowel domeinen van het biomedische model als domeinen van het biopsychosociale model. In lijn met het biomedische en biopsychosociaal model toetst het theoretische kennis over oorzaken en kenmerken van dementie, risico’s en gezondheidspromotie, aspecten van communicatie en gedrag en zorgoverwegingen. Dat maakt de DKAS interessant voor verpleegkundigen en verzorgenden, hoewel het aspect van dagelijkse zorgverlening en benaderingswijze weinig uitgevraagd wordt.  

De DKAS bleek een waardige opvolger van de DKAT28 welke plafondeffecten heeft. De voorloper van de DKAT28, de DKAT18, is daarmee wel verouderd. De DKAT-Sp26 en de UJA Alzheimer Scale20 bleken veelbelovend, maar dienen nader onderzocht te worden. Hetzelfde gold voor de KIDE24 25, de KASA14 en KDC-SAT15; instrumenten die in beperkte mate door de auteurs van de studies op hun psychometrische kwaliteiten beoordeeld werden. De op Alzheimer gerichte ADKS5 19 21 22 is wel omvangrijk onderzocht in meerdere studies en had een redelijke validiteit. De ADKS discrimineerde tussen groepen5 19, met uitzondering tussen mantelzorgers en niet mantelzorgers5. En in de studie van Annear et al. (2016)21 bleek eveneens dat er geen verschil in scores was tussen verzorgenden en de algemene populatie en mantelzorgers en de algemene populatie. De JADKS22 had eveneens een beperkte begripsvaliditeit als het gaat om verwachte verschillen tussen groepen: het differentieerde niet altijd en niet significant tussen groepen. De betrouwbaarheid van de ADKS was bovendien niet stabiel, soms met een lage interne consistentie (Sullivan en Mullan, 2017)4, en soms met een adequate interne consistentie (Carpenter et al. (2009)5 en Scerri en Scerri, (2013))28. Daarnaast bleek uit de studie van Annear et al. (2016)21 dat de ADKS een matig homogene schaal is: de split-half betrouwbaarheid was onacceptabel laag.

Opvallend was dat, met uitzondering van de Chinese ADKS19 en de DKAT-Sp26, de cross-culturele validiteit van zowel de ADKS (JADKS22) als de DKAS (DKAS-J23 en DKAS-C18) minder was dan de psychometrische kwaliteiten van deze instrumenten in de oorspronkelijke taal. De Japanse DKAS-J23 is met een reductie van 9 van de 27 items niet meer vergelijkbaar met de oorspronkelijke schaal. Al presteerde de DKAS-J23 als eendimensionale schaal goed, de oorspronkelijke structuur van het instrument met 4 subschalen was niet terug te vinden. Datzelfde gold voor de Chinese DKAS-C18. Annear et al. (2017)23 geven als verklaring voor de verschillen in validiteit tussen de oorspronkelijke taal en de vertaling van de ADKS dat kennis van dementie gelimiteerd is in Japan en verschillen in emotionele of connotatieve uitdrukkingen van zinnen van invloed kunnen zijn op reacties.

In mei 2021, buiten de inclusieperiode van dit overzichtsartikel, is een artikel gepubliceerd waarin de 25-item DKAS is vertaald in het Spaans (DKAS-S) door Carnes et al. (2021)29 en beoordeeld op haar psychometrische kwaliteiten, ook onder professionele zorgmedewerkers. Uit deze studie bleek dat de DKAS-S29 discrimineerde tussen groepen, gevoelig is voor verandering na educatie en een goede test-hertest betrouwbaarheid heeft. De interne consistentie van de gehele schaal was goed, maar die van de subschalen wat minder. De oorspronkelijke structuur van de vier subschalen was bij de DKAS-S29 discutabel. Eveneens verscheen in mei 2021 een publicatie over kennis van risicoreductie van dementie onder de algemene populatie door Vrijsen et al. (2021)30. Hiervoor was eveneens het 25-item DKAS instrument gebruikt, en vertaald in het Nederlands. Het is derhalve geen studie waarbij de ontwikkeling van het instrument en de psychometrische kwaliteiten van het instrument geëvalueerd zijn: het is een zogenaamde toegepaste studie. Uit deze studie bleek dat de Nederlandse versie van de DKAS30 niet valide is om kennis van dementie in de algemene populatie, ook een doelgroep van het instrument, te meten. De vier onderscheiden subschalen van de oorspronkelijke 25-item DKAS waren evenmin terug te vinden. Deze cross-culturele vertalingen van de DKAS laten zien dat het bereiken van culturele sensitiviteit van het instrument een uitdaging is.

Over de methodiek van deze studie zijn twee opmerkingen op zijn plaats. Ten eerste blijkt dat het voor deze studie aangepaste raamwerk van Mokkink et al. (2010)9 goed bruikbaar was voor het rubriceren en classificeren van de verschillende vormen van validiteit en betrouwbaarheid zoals die door de auteurs van de instrumenten uitgevoerd waren. Aanvullingen op het raamwerk lagen met name in het beschrijven van de verschillende aspecten van itemanalyse en de vormen van betrouwbaarheid van de studies: deze konden goed ingepast worden. Hiermee hebben we de kern van de bevindingen van de studies weten te vatten. Ten tweede, en dat is een beperking van dit overzichtsartikel, zijn de beoordeling en interpretatie van de bevindingen van de validiteit in termen van de auteurs beschreven omwille van de overzichtelijkheid. De betrouwbaarheid is overigens wel met cijfers onderbouwd. Het betekent dat een onderlinge vergelijking van instrumenten op hun validiteit en betrouwbaarheid beperkingen heeft daar de nuance ontbreekt. Dit gold met name voor de bevindingen in hoeverre instrumenten discrimineren naar kennisniveau, opleiding en of ervaring met dementie, maar ook voor de responsiviteit van de instrumenten. Zo bleek uit de studie van Annear et al. (2016)21 waarin de DKAS met de ADKS vergeleken wordt, dat de DKAS beter discrimineerde tussen (opleiding van) doelgroepen dan de ADKS en een betere responsiviteit had. In onze beschrijving was dat ook vast te stellen, maar de informatie over de mate waarin ontbreekt, wat een onderlinge vergelijking beperkt. Daarnaast kan het beschrijven van de beoordeling en interpretatie van de bevindingen in termen van de auteurs tot een vertekening in de resultaten geleid hebben daar auteurs eigen normeringen hanteren. De ene auteur beoordeelde bijvoorbeeld een alfa van 0,60 voor de interne consistentie van het instrument als “acceptabel” terwijl een andere auteur het beoordeelde en verwoordde als “goed”. De interpretaties dienen dan ook met voorzichtigheid gebruikt te worden. In de literatuur bestaan algemeen geaccepteerde afkapwaarden voor de alfa-waarden van de interne consistentie. Algemeen wordt voor groepsvergelijkingen een ondergrens van 0,70 gehanteerd. In dat licht bezien presteert de DKAS ten opzichte van de meeste andere instrumenten bijzonder goed.

Een aanbeveling voor onderzoek is het verder onderzoeken van de cross culturele validiteit van de 25-item DKAS om het instrument te kunnen gebruiken in de Nederlandse praktijk. Zoals hierboven bediscussieerd laat met name de factoriële validiteit van de DKAS te wensen over. Onderzocht moet worden of de oorspronkelijke factorstructuur wel terug te vinden is in een populatie bestaande uit zorgprofessionals, en dan met name verpleegkundigen en verzorgenden. Een streven is dan ook dat een Nederlandse variant van de DKAS toegepast kan worden als kennisinstrument om bijvoorbeeld het effect van psychosociale interventies voor verpleegkundigen en verzorgenden vast te stellen en of educatieve programma’s te ontwikkelen. Er zijn daarbij verschillende toepassingen van het instrument mogelijk. Het zou bijvoorbeeld kunnen dat de gestandaardiseerde Nederlandse DKAS wel goed uit de bus komt voor educatieve doeleinden, maar minder voor het evalueren van psychosociale interventies.

Tot slot, uit de hierboven beschreven bevindingen van de DKAS blijkt dat educatie leidt tot verbetering van scores van kennis van dementie van verpleegkundigen en verzorgenden. Uit vervolgonderzoek moet blijken in hoeverre deze verbetering van kennis zich vervolgens in de praktijk vertaalt in verbeterde herkenning van dementie en verbeterde kwaliteit van zorg voor mensen met dementie. Annear (2020)31 poneert de hypothese dat verbeterde kennis van dementie een vector kan zijn waardoor betere dementiezorg op een kosteneffectieve en tijdige manier bereikt kan worden.

Literatuurlijst

  1. Spector A, Orrell M, Schepers A, Shanahan N. A systematic review of ‘knowledge of dementia’ outcome measures. Ageing research reviews. 2012;11(1):67-77.
  2. Evripidou M, Charalambous A, Middleton N, Papastavrou E. Nurses’ knowledge and attitudes about dementia care: Systematic literature review. Perspect Psychiatr Care. 2019;55(1):48-60.
  3. Spector A, Revolta C, Orrell M. The impact of staff training on staff outcomes in dementia care: a systematic review. International journal of geriatric psychiatry. 2016;31(11):1172-87.
  4. Sullivan KA, Mullan MA. Comparison of the psychometric properties of four dementia knowledge measures: Which test should be used with dementia care staff? Australasian journal on ageing. 2017;36(1):38-45.
  5. Carpenter BD, Balsis S, Otilingam PG, Hanson PK, Gatz M. The Alzheimer’s Disease Knowledge Scale: development and psychometric properties. The Gerontologist. 2009;49(2):236-47.
  6. Dieckmann L, Zarit SH, Zarit JM, Gatz M. The Alzheimer’s disease knowledge test. The Gerontologist. 1988;28(3):402-7.
  7. Shanahan N, Orrell M, Schepers AK, Spector A. The development and evaluation of the DK-20: a knowledge of dementia measure. International psychogeriatrics. 2013;25(11):1899-907.
  8. Toye C, Lester L, Popescu A, McInerney F, Andrews S, Robinson AL. Dementia Knowledge Assessment Tool Version Two: development of a tool to inform preparation for care planning and delivery in families and care staff. Dementia (London, England). 2014;13(2):248-56.
  9. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. J Clin Epidemiol. 2010;63(7):737-45.
  10. Cosmin. COnsensus-based Standards for the selection of health Measurement INstruments [Geraadpleegd op: 2021 27-09]. Beschikbaar op: www.cosmin.nl.
  11. Mokkink LB, Terwee CB, Knol DL, Stratford PW, Alonso J, Patrick DL, et al. The COSMIN checklist for evaluating the methodological quality of studies on measurement properties: a clarification of its content. BMC medical research methodology. 2010;10:22.
  12. Terwee CB, Prinsen CAC, Chiarotto A, Westerman MJ, Patrick DL, Alonso J, et al. COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Quality of life research : an international journal of quality of life aspects of treatment, care and rehabilitation. 2018;27(5):1159-70.
  13. Zumbo BD. Three Generations of DIF Analyses: Considering Where It Has Been, Where It Is Now, and Where It Is Going. Language Assessment Quarterly. 2007;4(2):223-33.
  14. Arnautovska U, Robleda S, Jackson J, Pachana NA. The Knowledge and Skills Assessment (KASA) tool in the Australian Dementia Behaviour Management Advisory Service: development and initial testing. International psychogeriatrics. 2016;28(5):833-44.
  15. Curyto KJ, Vriesman DK. Development of the Knowledge of Dementia Competencies Self-Assessment Tool. American journal of Alzheimer’s disease and other dementias. 2016;31(1):18-26.
  16. Annear MJ, Toye CM, Eccleston CE, McInerney FJ, Elliott KE, Tranter BK, et al. Dementia Knowledge Assessment Scale: Development and Preliminary Psychometric Properties. Journal of the American Geriatrics Society. 2015;63(11):2375-81.
  17. Annear MJ, Toye C, Elliott KJ, McInerney F, Eccleston C, Robinson A. Dementia knowledge assessment scale (DKAS): confirmatory factor analysis and comparative subscale scores among an international cohort. BMC geriatrics. 2017;17(1):168.
  18. Zhao Y, Eccleston CE, Ding Y, Shan Y, Liu L, Chan HYL. Validation of a Chinese version of the dementia knowledge assessment scale in healthcare providers in China. Journal of clinical nursing. 2020.
  19. Wang Y, Xiao LD, He GP. A comprehensive approach to psychometric assessment of instruments used in dementia educational interventions for health professionals: a cross-sectional study. International journal of nursing studies. 2015;52(2):568-77.
  20. Parra-Anguita L, Sanchez-Garcia I, Del Pino-Casado R, Pancorbo-Hidalgo PL. Measuring knowledge of Alzheimer’s: development and psychometric testing of the UJA Alzheimer’s Care Scale. BMC geriatrics. 2019;19(1):63.
  21. Annear MJ, Eccleston CE, McInerney FJ, Elliott KE, Toye CM, Tranter BK, et al. A New Standard in Dementia Knowledge Measurement: Comparative Validation of the Dementia Knowledge Assessment Scale and the Alzheimer’s Disease Knowledge Scale. Journal of the American Geriatrics Society. 2016;64(6):1329-34.
  22. Amano T, Yamanaka K, Carpenter BD. Reliability and validity of the Japanese version of the Alzheimer’s Disease Knowledge Scale. Dementia (London, England). 2019;18(2):599-612.
  23. Annear MJ, Otani J, Li J. Japanese-language Dementia Knowledge Assessment Scale: Psychometric performance, and health student and professional understanding. Geriatrics & gerontology international. 2017;17(10):1746-51.
  24. Elvish R, Burrow S, Cawley R, Harney K, Graham P, Pilling M, et al. ‘Getting to Know Me’: the development and evaluation of a training programme for enhancing skills in the care of people with dementia in general hospital settings. Aging & mental health. 2014;18(4):481-8.
  25. Elvish R, Burrow S, Cawley R, Harney K, Pilling M, Gregory J, et al. ‘Getting to Know Me’: The second phase roll-out of a staff training programme for supporting people with dementia in general hospitals. Dementia (London, England). 2018;17(1):96-109.
  26. Parra-Anguita L, Moreno-Camara S, Lopez-Franco MD, Pancorbo-Hidalgo PL. Validation of the Spanish Version of the Dementia Knowledge Assessment Tool 2. Journal of Alzheimer’s disease : JAD. 2018;65(4):1175-83.
  27. Annear MJ, Toye C, McInerney F, Eccleston C, Tranter B, Elliott KE, et al. What should we know about dementia in the 21st century? A Delphi consensus study. BMC geriatrics. 2015;15:5.
  28. Scerri A, Scerri C. Nursing students’ knowledge and attitudes towards dementia – a questionnaire survey. Nurse education today. 2013;33(9):962-8.
  29. Carnes A, Barallat-Gimeno E, Galvan A, Lara B, Lladó A, Contador-Muñana J, et al. Spanish-dementia knowledge assessment scale (DKAS-S): psychometric properties and validation. BMC geriatrics. 2021;21(1):302.
  30. Vrijsen J, Matulessij TF, Joxhorst T, de Rooij SE, Smidt N. Knowledge, health beliefs and attitudes towards dementia and dementia risk reduction among the Dutch general population: a cross-sectional study. BMC public health. 2021;21(1):857.
  31. Annear MJ. Knowledge of Dementia Among the Australian Health Workforce: A National Online Survey. J Appl Gerontol. 2020;39(1):62-73.