Milla Pihlajamäki is doctoraatstudente aan het Centrum voor Contextuele Psychiatrie aan de KU Leuven. In haar onderzoek richt ze zich specifiek op ESM-methode, en hoe we sterkere en meer betrouwbare ESM-studies kunnen opzetten in de toekomst.

In deze blog legt ze uit of beloningen helpen om mensen vaker nauwkeuriger ESM-vragenlijsten te laten invullen.

Kleine beloningen, meer data

Als je je ooit hebt afgevraagd hoe psychologen ‘real life‘-momentopnames van gedachten en gevoelens verzamelen, dan heb je het over de Experience Sampling Method (ESM). Bij ESM-onderzoeken krijgen deelnemers meerdere korte vragenlijsten per dag (of ‘beepjes‘) op hun telefoon met vragen over wat ze op dat moment voelen, doen of denken. Het is een krachtige methode omdat het iemands leven vastlegt terwijl het gebeurt. Alleen is het is ook veeleisend. Wij onderzoekers maken ons soms zorgen dat mensen beeps hierdoor zouden overslaan, snel door antwoorden heen racen of antwoorden ingeven die niet echt nauwkeurig zijn. Daarom hebben we in een recente studie getest of verschillende beloningsstrategieën het gedrag van deelnemers tijdens ESM veranderen. Wat we vonden is zowel simpel als nuttig. Ik leg het even uit.

Wat deden we?

We voerden een experiment uit met 192 studenten die twee weken (14 dagen) ESM deden. Ze kregen negen beepjes per dag. Deelnemers werden willekeurig toegewezen aan één van drie beloningscondities:

1. een vaste betaling voor het afronden van de studie, waarbij ze dus hetzelfde bedrag kregen ongeacht hoeveel vragenlijsten ze invulden
2. een vaste betaling plus een gepersonaliseerd feedbackrapport. Dit is een samenvattingen van stemmingsschommelingen en activiteiten gedurende de twee weken, in de vorm van grafieken en figuren
3. een incrementele betaling die hen een klein bedrag gaf voor iedere ingevulde vragenlijst. Met andere woorden: betaling per ‘beep’

We registreerden niet alleen hoeveel beepjes mensen beantwoordden (dus de hoeveelheid van data), maar keken ook naar de kwaliteit van de antwoorden (bijvoorbeeld of mensen bedachtzaam antwoordden) en naar hoe deelnemers de studie ervoeren (bijvoorbeeld hoe belastend ze het vonden).

Het belangrijkste resultaat: betaling per beep verhoogt het engagement

Het duidelijkste resultaat was rechttoe-rechtaan: deelnemers die per beep betaald werden vulden iets meer vragenlijsten in. Gemiddeld was de volledige naleving in de betaling-per-beepgroep ongeveer 90,8%. Dit wil zeggen dat mensen gemiddeld 90,8% van alle ontvangen vragenlijsten invulden. In de twee andere groepen was dit 86,5–86,6%. Als we dit vergelijken met elkaar, zien we dat het gaat over een toename van iets meer dan 4 procent. Dus in begrijpbare taal: het koppelen van kleine, directe beloningen aan elk ingevuld vragenlijstje spoorde studenten aan om vaker op de ESM vraagjes te reageren.

Goed nieuws: kwaliteit en ervaring bleven onaangetast

Een grote zorg bij prestatiegerichte betaling is de ‘kwantiteit boven kwaliteit’-vrees, dat mensen door vragen heen zullen racen alleen om betaald te worden. Daarom keken we zorgvuldig naar meerdere indicatoren van slordig antwoorden, zoals uitzonderlijk snelle antwoorden of inconsistente patronen. Gelukkig vonden we geen bewijs dat betaling per beep de datakwaliteit verminderde of dat deelnemen zwaarder of minder motiverend werd ervaren. Kortom: meer antwoorden, ogenschijnlijk dezelfde kwaliteit.

En gepersonaliseerde feedback?

Het aanbieden van een gepersonaliseerd feedbackrapport (visuele samenvattingen van iemands eigen data, zoals stemming) is iets wat veel onderzoekers graag doen omdat deelnemers het vaak interessant vinden. In deze studie zorgde het beloven van feedback naast een vaste betaling er echter niet voor dat mensen meer meewerkten of zorgvuldiger antwoordden. Dat betekent niet dat feedback waardeloos is. Veel deelnemers wilden het rapport en vonden het waarschijnlijk inzicht gevend, maar in deze studentengroep was het geen wondermiddel om de hoeveelheid of kwaliteit van de data op te krikken.

Waarom dit belangrijk is (en enkele kanttekeningen)

Hoewel het klein klinkt, kan een verbetering van ongeveer 4% voor onderzoekers veel uitmaken. Meer ingevulde vragenlijsten betekenen minder gaten in de dataset en meer statistische power. Dit is het vermogen van een studie om een effect te detecteren dat er écht is. Betaling per beep bleek ook gemiddeld iets goedkoper uit te pakken dan één grote vaste betaling, dus het is een aantrekkelijke optie voor teams die budget en databehoefte willen afwegen. Dat gezegd hebbende: onze steekproef bestond uit gemotiveerde universiteitsstudenten met al een hoge naleving; de resultaten kunnen anders zijn in klinische of minder gemotiveerde populaties. Ook kan gepersonaliseerde feedback belangrijker zijn in groepen die veel geven om het getrackte onderwerp, bijvoorbeeld mensen die met bepaalde klachten of symptomen kampen.

Praktische conclusie

Als je een ESM-studie ontwerpt en je wilt meer data zonder dat de datakwaliteit in gevaar komt (vooral in gemotiveerde steekproeven) overweeg dan betaling per ‘beep’. Kort gezegd: kleine, directe beloningen werken én ze hoeven niet ten koste te gaan van zorgvuldige antwoorden!

---

Het team van het Centrum voor Contextuele Psychiatrie (CCP) onder leiding van Professor Inez Germeys (voorzitter van PsychoseNet) verzorgt regelmatig een blog over nieuwe ontwikkelingen in de wetenschap op het gebied van psychiatrie in het algemeen en psychose in het bijzonder. (X: @ccp-leuven; @inezgermeys)

Meer blogs van CCP kan je ontdekken via deze link.