Een van de hindernissen die voiceagents in de weg zitten is latency – de vertraging bij de beurtwisselingen. Latency is weg te werken met trucjes. Dat laatste kan je natuurlijk altijd proberen, maar de vraag is wat werkt en wat mag.

 

Soms merk je dat iemand echt even moet nadenken over wat je hebt gezegd, maar meestal reageren we behoorlijk snel op elkaars uitspraken. Namelijk met 200 milliseconden gemiddeld, zo blijkt uit onderzoek. Op elkaar wachten moet niet veel langer duren, ook niet als technologie onze gesprekspartner is.

Een latency die blijft hangen in de buurt van 1 seconde of meer, vormt een obstakel voor een doorbraak van deze technologie. Sommige bedrijven kiezen ervoor om de omzettingstijd op te vullen met achtergrond- en toetsenbordgeluiden. Voor wie dat niet goed genoeg is, zijn er drie knoppen om aan te draaien: snellere spraakherkenning, snellere vertaling en snellere omzetting naar spraak.

Hoe ga je om met latency?

In een recente LinkedIn-post vroeg Kevin Boyer, Vice President Product Marketing van Parloa – leverancier van onder meer AI-agents – aandacht voor nuancering van het concept latency. Hij verwees daarbij naar een uitgebreid artikel met de ‘latency paradox’ als thema.

Latency hangt, ook in normale conversaties tussen mensen, af van allerlei variabelen, zegt hij. Als voorbeelden noemt hij wat er net in het gesprek is gezegd, het type vraag dat is gesteld, het ritme van de gesproken taal en zelfs achtergrondgeluid. Dat blijkt uit verschillende onderzoeken en Boyer grijpt dat aan om te pleiten voor het loslaten van één bepaalde grens voor een aanvaardbare latency. In plaats daarvan stelt hij voor om latency te behandelen als een budget, niet als een doel.

Perspectieven op latency

Sommige voiceagents beginnen al met het formuleren van een respons terwijl het luisterwerk nog in volle gang is. De responstijd bij ja/nee-antwoorden is 100 tot 500ms sneller dan een inhoudelijk antwoord. En antwoorden op feitelijke vragen komen sneller dan ‘dat weet ik niet’-reacties. Bij een verzoek wordt een responstijd van meer dan 600 tot 800ms als ‘onwil’ ervaren, maar bij waar/welk-vragen draagt een langere pauze juist bij aan de geloofwaardigheid. En in sommige talen zou een zeer snelle reactie gewenst zijn (Japan: 7 ms), terwijl bijvoorbeeld Scandinavische talen pauzes tolereren van rond de 400ms. Zelfs de manier waarop iets wordt uitgesproken, heeft invloed op de toelaatbare responstijd: een stijgende intonatie rekt die op, een dalende zorgt voor een verlaging, aldus Boyer, die daarvoor verschillende wetenschappelijke bronnen opvoert.

Technologische aspecten van latency

Boyer ontleedt ook de verschillende omzettingsslagen. Voordat de AI ook maar iets ‘hoort’, moet de ruwe audio van analoog naar digitaal worden omgezet. Ook het opdelen van de audiostroom in datapakketten en het jitterbuffermanagement kost tijd. In totaal zo’n 10 tot 50ms. Het helpt als bij het ontvangen van de audio voice activity detection (VAD) wordt ingezet om het einde van een beurt te bepalen en daarbij de stilteduur zo veel mogelijk te minimaliseren. Ondertussen kan het LLM al aan het werk, zegt Boyer.

De latency-meter gaat flink harder lopen als een voiceagent een API-call moet doen om informatie op te halen die nodig is voor het formuleren van een antwoord. Die kan worden opgevuld met tussenwerpsels zoals ‘ik ga even voor u kijken’. Ondertussen moet de beoogde output ook gecontroleerd worden – denk aan de guardrails die in acht moeten worden genomen. Of je gaat daar flexibel mee om, zoals Boyer voorstelt.

Daarna moet het antwoord nog worden omgezet in spraak. Voordat het antwoord daadwerkelijk door de voiceagent wordt uitgesproken, kunnen tussenwerpsels zoals hummen (back-channeling), toetsenbordgeluiden (auditory anchoring) of zelfs hoorbare ademhaling worden ingevoegd. Volgens Boyer zorgen dat soort ingrepen ervoor dat bij de ontvangende partij de latencyteller weer op nul komt te staan.

Een samengestelde KPI, helpt dat?

Het meten van latency zou wat Boyer betreft dus niet gebaseerd moeten zijn op één specifieke grootheid (klassiek is Time to First Token, TTFT), maar met een samengestelde KPI, die rekening houdt met de gepastheid van vertraging en context. Daar is zeker wat voor te zeggen. Ook zouden bedrijven kunnen overwegen om te monitoren hoe vaak klanten uitspraken doen als ‘hallo?!’ of ‘bent u daar nog?’ of ongevraagde herhalingen.

Ook dat laatste is een interessante tip. Toch is er het nodige aan te merken op de logisch klinkende strategie om latency te camoufleren – wat impliceert dat de nadelen van latency niet meer relevant zijn. Niet alleen draagt Boyer trucs aan die uit de stal van parloa komen. Ook shopt hij selectief in het onderzoek in een poging om aanvaardbare ondergrenzen van latency op te voeren. Het eindresultaat van Boyers pleidooi is dat een latency van 600 tot 1.200ms als “Goldilocks”-zone wordt aangeduid: het optimale middengebied tussen twee ongewenste uitersten. Maar dat is nog altijd drie- tot zesmaal trager dan de menselijke basislijn van circa 200 ms.

Marchanderen met latency

De grote verschillen in responstijden (tussen landen, bijvoorbeeld 7 ms voor Japans en 400 ms voor Deens) legt Boyer uit als grote verschillen in voorkeuren of verwachtingen. Uit het wetenschappelijke artikel dat hij aanhaalt, blijkt echter dat sprekers bij beurtwisselingen gemiddeld 208 ms aanhouden als uitgangspunt voor een soepele beurtwisseling. Boyer gebruikt de uitersten om ruime culturele speelruimte te suggereren, terwijl het onderzoek juist laat zien dat er sprake is van een universele duur.

Ook een ander element geeft te denken. Boyer stelt letterlijk dat sterke aanbieders guardrails parallel aan de responsgeneratie draaien, “accepting that occasionally a brief fragment of ungated audio may reach the customer”, in ruil voor een oplossing die klanten niet bij elke beurt op veiligheidschecks laat wachten. Dat is geen goed nieuws voor contactcenters in gereguleerde sectoren.

Gevoelde wachttijd beïnvloeden

Dat door de inzet van technieken de latency-teller kan worden gereset naar ‘nul’, is niet wetenschappelijk onderbouwd. Wel is er veel onderzoek dat laat zien dat dit soort ingrepen de gevoelde wachttijd verkort. Mensen horen bij voicebots zelfs liever fillers dan helemaal niets en hebben een voorkeur voor contextgebaseerde fillers (‘ik zoek dat even op’) ten opzichte van een generieke filler (‘uhm’). De studie Please Let Me Think laat zien welke fillers passen bij welke vertraging en of ze menselijk of juist machine-achtig moeten klinken.

Tegelijkertijd blijkt uit een (beperkt) onderzoek dat tussenwerpsels zoals ‘uhm’ taakgerichte conversational agents dommer laten overkomen en dat verkeerd getimede ‘hm-hm’-signalen de menselijkheidsindruk juist ondermijnen. Een synthetische ademhaling wordt, zodra luisteraars er gericht op letten, gezien als minder natuurlijk.

Vertrouwen opwekken, maar niet té echt lijken

En hoe menselijker en gladder de stem, hoe meer geloofwaardigheid mensen eraan toekennen, óók als ze weten dat het een machine is, met overmatig vertrouwen als risico. Sterker nog: de haperingen, pauzes en ademhaling die Boyer als klantvriendelijke UX verkoopt, zijn dezelfde signalen die synthetische stemmen in vishing-fraude geloofwaardig maken.

De echte paradox bij latency zit vooral in de relatie tussen vertrouwen en transparantie. Bedrijven willen vanuit een commercieel motief een voicebot vertrouwenwekkend laten klinken, maar dat ontmoedigt juist de transparantie. Vanuit de EU AI Act geldt een transparantieverplichting: mensen moeten weten dat ze met een AI-systeem praten. Menselijk klinkende latency-trucs toepassen en een wettelijke plicht om je als machine kenbaar te maken, die twee zaken staan op gespannen voet.

(Ziptone/Erik Bouwer)

Featured, Technologie