Steeds meer organisaties begrijpen dat hun gescripte chatbot de deur uit moet. De omslag naar een AI-bot vergt andere technologie, specialisten met andere competenties en een andere benadering van content. Wie die omschakeling succesvol wil doorlopen, moet niet meteen denken aan ‘laaghangend fruit’, quick wins en gegarandeerd succes. Het is een van de lessen van de laatste editie van Conversational Conference 2026.

 

De openingsspreker van Conversational Conference 2026, Kane Simms van adviesbureau VUX World, wond er geen doekjes om en ook bij andere sprekers viel het te beluisteren: chatbot 1.0 is in de meeste gevallen hoogstens een veredelde zoekmachine. Gelukkig staan er betere oplossingen klaar, maar ook die hebben hun beperkingen. En ze vergen een andere ontwikkelaanpak.

Vervelend dat de technologie die klanten van echte antwoorden kan voorzien, zo veelbelovend is voor customer service nu AI het voortbestaan van de mensheid bedreigt. Wie had dat verwacht? Simms refereerde daarmee aan autonome AI-agents die onder meer development-omgeving Hugging Face hadden gehackt. Maar Simms slaagde er wonderwel in om de aandacht te verleggen naar de economische kansen die AI óók biedt. Alleen al voor de Amerikaanse economie gaat het om biljoenen aan dollars tot 2030, betoogt Simms.

Gemiddelde of slechte resultaten

Tegelijkertijd staan we nog steeds maar aan het begin van de toepassing van AI. De meerderheid van de implementaties leidt tot gemiddelde of zelfs nog lagere resultaten. De helft van de bedrijven rapporteert geen of een beperkte ROI. De implementaties zijn vaak opportunistisch, zonder visie en zonder de vraag ‘welk probleem lossen we op’. Toch blijven bedrijven massaal investeren, aldus cijfers van McKinsey die Simms aanhaalde. “Wat is de toegevoegde waarde van een chatbot als je er hetzelfde mee kunt als selfservice of FAQ’s op je website?”

Voor wie het anders wil aanpakken bood Simms het publiek een model voor het selectieproces, het ontwerp, de bouw en het testproces. Daarbij moeten managers ervan doordrongen zijn dat die route zeer sterk verschilt van wat we gewend waren bij scripted bot-toepassingen. Rule-based betekent alles vanaf de grond opbouwen: elke dialoog, elk woord, elke vraag en elk antwoord. GenAI-gebaseerd vraagt om een omgekeerde route: een LLM aan het werk zetten en vanaf daar alleen maar terugsnoeien en beperken. De enige en niet onbelangrijke overeenkomst: LLM’s zijn niet geschikt om op zoek te gaan naar de vraag achter de vraag. Dat vergt extra inspanning, maar hierbij kan GenAI wel helpen.

Volledige betrouwbaarheid: niet haalbaar

GenAI helpt ook bij het vergroten van de betrouwbaarheid – bijvoorbeeld door middel van geautomatiseerd testen. Maar volledige betrouwbaarheid (dezelfde vraag leidt steeds tot hetzelfde antwoord) is niet haalbaar. Daarom moet je vooraf bepalen: hoe ziet een AI-agent eruit die de test haalt? Wanneer is het goed en veilig genoeg?

Dat vraagstuk: ontwikkelen, testen en verbeteren aan de hand van goede ‘evals’, wordt de komende jaren een belangrijk deel van het werk dat op een contactcenter wordt verzet, voorspelde Simms.

De overheid wil wél graag betrouwbare AI-chatbots

Daniel Verloop van adviesbureau CivAI liet tijdens zijn presentatie een paar gesprekken met voicebots horen. Onderwerp was het bij een gemeente aanvragen van een uittreksel. Daarna vroeg hij het publiek van Conversational Conference 2026: wat vind je ervan? Er zaten genoeg experts in de zaal om een oordeel te vellen: houterig en vooral niet compliant.

Verloop is onder meer AI-specialist bij gemeente Montferland, waar ook chatbot Mai vandaan komt waarover Ziptone regelmatig heeft geschreven. Die gemeente (met 36.000 inwoners en 350 medewerkers) heeft te maken met loonkostenstijgingen en personeelstekorten. De inzet van AI zou verlichting moeten kunnen bieden. Sinds 2025 wordt er bij Montferland geëxperimenteerd met een voicebot. Wanneer die bot méér zou moeten kunnen dan alleen algemene informatie verstrekken, krijg je te maken met deeltaken als het vaststellen van de identiteit van de beller, het controleren van eventuele machtigingen, het indienen van aanvragen en het kunnen doen van toezeggingen. Dan wordt het ingewikkeld.

Een tevreden klant is geen bewijs van kwaliteit

Een tevreden klant is geen bewijs van kwaliteit, aldus Verloop. Aan de ene kant is het inrichten van natuurlijke, prettig verlopende gesprekken een uitdaging; aan de andere kant is betrouwbaarheid essentieel. Een overheidsbot mag geen uitglijers maken. Verloop benadrukte: gevoelige processen waarbij zekerheden een rol spelen, moet je regelen met deterministische oplossingen. Kijk daarbij niet naar het volledige proces, maar naar de verschillende handelingen binnen een proces.

Wat is de werkelijke waarde van human in the loop?

Human in the loop wordt vaak gezien als dé controlestap die voor goedkeuring moet zorgen, maar Verloop noemt dat rubber stamping ofwel een wassen neus: gebeurt dat altijd letterlijk en grondig? Transacties moeten reconstrueerbaar zijn, ook na een jaar of wat. Daarnaast, aldus Verloop, verliezen we met steeds meer AI in onze processen geleidelijk de grip. Wie weet nog precies waartoe Copilot allemaal toegang heeft?

Terug naar de praktijk van de gemeentelijke organisatie. Het optuigen van Mai gebeurde zonder duidelijke nulmeting, dus wat het precies heeft opgeleverd is niet hard te maken, maar toch zegt Verloop dat Mai zorgde voor een reductie van 10 tot 15 procent in het aantal calls over de gehele linie. Dat bespaart misschien niet direct geld, maar er komt wel tijd vrij die goed van pas komt: toenemende werkdruk hoeft dan niet meteen te leiden tot het aannemen van extra mensen.

Uit het publiek werd gereageerd op het idee dat GenAI niet 100 procent betrouwbaar is. Ook medewerkers kunnen fouten maken, we hebben eigenlijk geen idee omdat we maar drie gesprekken per maand per medewerker beluisteren. Meten we dan niet met twee maten als we hoge eisen stellen aan AI? Wat gemist werd: drie gesprekken per maand per medewerker beluisteren is inderdaad een magere vorm van kwaliteitscontrole, maar dat kan je verbeteren met de inzet van AI.

Overigens is gemeente Montferland druk bezig met het heruitvinden van chatbot Mai, waarover later meer.

Van chatbot 1.0 naar chatbot 2.0 bij de NS

Hoe je van gescripte chatbot naar AI-assistent gaat, dat werd op zeer verhelderende wijze gepresenteerd door Jouke Bakker en Siem Uittenhout van NS. In hun verhaal – wat Ziptone betreft de beste bijdrage aan Conversational Conference 2026 – kwam ook terug wat Simms in zijn openingskeynote vertelde: die verandering is geen aanpassing, maar vergt totale nieuwbouw. Bakker en Uittenhout lieten bovendien zien wat de impact op de organisatie is: verschillende rollen veranderen ingrijpend.

Het duo vertelde over Jens (‘je NS’), die al sinds 2019 als rule-based chatbot in de customerservice-omgeving draait. In 2025 wikkelde Jens bijna een miljoen conversaties af. Die conversaties gaan vaak over de letterlijke customer journey: vragen over reizen, over geld terugkrijgen en abonnementen.

De scripted versie van Jens was beperkt tot vooraf gedefinieerde antwoorden op vooraf gedefinieerde vragen. Reizigers moesten vooral binnen de happy flow blijven, aldus Uittenhout, anders kwam er geen goed antwoord. Het verbeteren van de intentherkenning was een van de laatste ontwikkelslagen, maar daarna was Jens toch echt toe aan een complete make-over.

Nieuwbouwproject

Voor de nieuwbouw van Jens koos NS drie jaar geleden voor een migratie naar het platform van Cognigy. Op dat moment was agentic AI nog niet in zicht; de use cases gingen vooral over het slimmer maken van Jens, het verbreden van de toepassingen (zoals sentimentanalyse, samenvatten et cetera).

Een van de eerste stappen die moest worden gezet, had te maken met de ontsluiting van informatie via het optuigen van RAG. Dat werd in eerste instantie gedaan voor een specifieke use case: verloren en gevonden voorwerpen. Dat is een afgebakend onderwerp, maar wel met een hoge (emotionele) impact. Toch werd hiervoor gekozen omdat het bijbehorende proces recent volledig was vernieuwd en daarmee goed was gedocumenteerd. De rest van Jens bleef vooralsnog scripted.

Om je content en processen geschikt te maken voor een AI-aangedreven chatbot moet het LLM kunnen werken met een afgebakende set aan informatiebronnen die bovendien geschikt worden gemaakt voor gebruik door het LLM. Een van de stappen wordt aangeduid met chunking: het opdelen van informatie in hapklare brokken en het selecteren van de juiste chunks bij de juiste prompts.

Containment omhoog, maar containment is niet ‘wat er werkelijk gebeurt’

Het implementeren van RAG als onderliggende methodiek verhoogde de containmentprestaties van Jens van 59 naar 79 procent. Onder containment verstaat NS: de klant hoeft niet door naar een medewerker. Obstakels die NS tegenkwam: Jens moet sneller eerlijk zijn als hij geen antwoord kan geven, en het grootschalig analyseren van de kwaliteit blijft een uitdaging, aldus Uittenhout.

Die containmentcijfers zeggen niet alles, aldus Bakker later tijdens de presentatie; monitoring is nodig om zicht te krijgen op wat er in werkelijkheid gebeurt.

RAG is een mooie oplossing om je beschikbare informatie geschikt te maken voor verwerking door een LLM. Maar voor het beantwoorden van meer specifieke vragen zou Jens ook moeten kunnen kijken in andere systemen dan de kennisbank en daarvoor zijn extra API’s noodzakelijk.

Van assistent naar orkestrator

Nadat Jens goed overweg kon met ‘lost & found’ werd besloten om de volgende stap te zetten. Jens zou in plaats van een slimme assistent vooral een orkestrator moeten worden, die gespecialiseerde AI-agents kan aansturen.

Bij NS worden die gespecialiseerde agents ‘domein agents’ genoemd, aldus Bakker, en daarvan staan er inmiddels zes live. Voor iedere domein agent is bepaald wat de scope is, net als de tone of voice, het werkgebied, de guardrails en de samenwerking met de orkestrator. Die samenwerking kwam het best naar voren met het voorbeeld van de OV-fiets. De OV-fiets-agent moet samenwerken met de abonnementen-agent. Soms bedenkt orkestrator-agent Jens dat een agent een handeling moet verrichten voordat een andere agent kan worden ingezet. De domein-agents draaien op GPT 5.5.  NS heeft een intern GenAI-team en koopt zelf LLM-capaciteit in.

Onverwacht gedrag van klanten

Ook Bakker en Uittenhout lieten duidelijk zien: het ontwikkelen van domein-agents vergt een volledig andere aanpak dan het optuigen van een gescripte chatbot. Klantgesprekken blijven de basis, maar er is veel meer aandacht nodig voor de afbakening en de risico-inventarisatie. Testen en valideren zijn extreem belangrijk: niet om te bepalen of de agent werkt, maar om zicht te krijgen op de betrouwbaarheid van de werking. Omdat het gebruik van natuurlijke taal het vertrekpunt is voor zowel klant als bot, moet aan beide kanten bekeken worden of die taal ook gebruikt wordt zoals je verwacht.

Sommige klanten blijven bijvoorbeeld vasthouden aan het invoeren van drie steekwoorden in plaats van een volledige zin. Andere klanten komen met een uitgebreid verhaal en hebben hoge verwachtingen.

NS koos voor een A/B-test door een klein deel van de vragen (bijvoorbeeld 5 procent) te routeren naar de AI-versie van Jens en daarna de uitkomsten zelf te analyseren. Bij succes wordt dat monitoren verplaatst naar AI, maar NS houdt vast aan steekproefsgewijze controle door medewerkers. Daarnaast, aldus Bakker, komen klanten ook met duidelijke feedback in hun conversaties met Jens: ‘eindelijk een bot die wél werkt’.

Andere rollen voor het conversational team

Over de veranderende rollen binnen het conversational team van NS waren Bakker en Uittenhout ook duidelijk. “Wij zijn als conversational AI-specialisten niet meer verantwoordelijk voor de content. Daar zijn domeinspecialisten voor. We herschrijven de content wel voor RAG.” Daarbij moet NS toewerken aan de single source of truth die de basis biedt voor drie verschillende soorten content: content voor de website, voor de app en voor Jens. “De contenteigenaren moeten hierop getraind worden.”

Jens: van rule-based chatbot tot digitale reisbuddy

De gesprekken en de onderwerpen die Jens aankan, worden steeds complexer. De vervolgstappen zijn dat Jens straks ook acties kan uitvoeren – “onze capaciteit is beperkt”, aldus Bakker en Uittenhout – en dat Jens straks ook de telefoon gaat opnemen. Tegen die tijd verhuist ook de werkplek van Jens, die nu nog in de service- en contactpagina’s woont. Straks moet Jens prominent aanwezig zijn aan de voorkant van de NS-app, en kan hij je als digitale reisbuddy helpen met het regelen van je reizen of je dagje uit.

Conversational Conference, georganiseerd door Frankwatching, vond plaats op 17 september in Utrecht. Dagvoorzitter was Tom Jessen.
Volgende week volgt deel 2 van de impressie van Conversational Conference 2026.

(Ziptone/Erik Bouwer)

Event, Featured, Technologie Frankwatching