CaseAI·Data-analyse
Een onderzoeksbureau codeerde open antwoorden uit grote enquêtes met de hand. Een AI-ondersteunde codeeromgeving stelt nu codes voor, terwijl onderzoekers het codeboek en de eindbeslissing houden.
Een bureau dat beleidsonderzoek doet voor overheden en maatschappelijke organisaties.
Deze case is op verzoek van de klant geanonimiseerd. De situatie, de aanpak en de resultaten zijn echt.
Bij grote enquêtes leverden open vragen tienduizenden antwoorden op. Twee onderzoekers codeerden die handmatig aan de hand van een codeboek, in spreadsheets, en vergeleken steekproefsgewijs hun codering.
Voor een landelijk onderzoek met twaalfduizend respondenten stond daar acht weken voor gepland, wat de opleverdatum van het hele rapport bepaalde.
Het coderen was de flessenhals van elk groot onderzoek. Het was bovendien vermoeiend werk waarbij de consistentie na een paar duizend antwoorden merkbaar afnam.
Wat concreet niet goed werkte:Het doel was een codeeromgeving waarin een taalmodel per antwoord codes uit het codeboek voorstelt, met een betrouwbaarheidsindicatie, en waarin onderzoekers de codes bevestigen, corrigeren of het codeboek uitbreiden.
De methode moest uitlegbaar zijn aan opdrachtgevers en de betrouwbaarheid meetbaar, zodat het bureau erachter kon staan.
Kwalitatieve codering is interpretatie, en interpretatie hoort bij de onderzoeker. We hebben het model ingezet als een snelle eerste lezer, niet als codeur.
We werkten met het bestaande codeboek van het bureau en legden vast dat het model alleen codes uit dat boek mag voorstellen, met een korte motivering per voorstel.
Op een eerder, volledig handmatig gecodeerd onderzoek vergeleken we de voorstellen van het model met die van de onderzoekers. Daaruit volgde een drempel waarboven voorstellen betrouwbaar genoeg waren om snel te bevestigen.
Een omgeving waarin onderzoekers antwoorden in bulk beoordelen, twijfelgevallen apart zien en nieuwe codes toevoegen die direct op alle antwoorden worden toegepast.
Een instelbaar percentage van de antwoorden wordt door twee onderzoekers beoordeeld, zodat de overeenstemming per onderzoek gerapporteerd kan worden.
We schreven samen met het bureau een standaardparagraaf voor rapporten waarin de werkwijze en de gemeten betrouwbaarheid worden uitgelegd.
We ontwikkelden een webapplicatie waarin open antwoorden worden ingeladen, het model per antwoord codes voorstelt met motivering en betrouwbaarheid, en onderzoekers de voorstellen beoordelen. Twijfelgevallen en antwoorden die nergens in passen komen apart te staan.
Het codeboek is in de applicatie te beheren; wijzigingen worden op alle antwoorden toegepast. Exports bevatten per antwoord de code, de beoordelaar en de overeenstemming bij dubbele codering.
Het bureau levert grote onderzoeken weken eerder op en kan open vragen weer ruimhartig opnemen in enquêtes. De gemeten overeenstemming is hoger dan voorheen, omdat onderzoekers hun aandacht nu richten op de twijfelgevallen.
We coderen niet minder zorgvuldig. We coderen zorgvuldiger op de plekken waar het ertoe doet.
CodeSprinter bouwt AI-ondersteunde analyseomgevingen waarin de onderzoeker beslist en de betrouwbaarheid meetbaar is. We beginnen graag met een vergelijking op een afgerond onderzoek.
CodeSprinter bouwt software voor onderzoek en maatschappelijke impact. Van eerste idee tot dagelijks gebruik.
