Voice-agents of voicebots zijn er in verschillende smaken. De klassieke variant komt met flink wat latency, maar de technologieontwikkeling staat niet stil. Speech-to-speech gaat sneller en opent nieuwe mogelijkheden. Steam-connect is direct begonnen met het verkennen en aanbieden van deze nieuwe spraakoplossing. 

 

Robin van Leyden is een van de twee CTO’s binnen Steam-connect – hij houdt zich bezig met R&D, de spraakoplossingen en het UCaaS-platform. “Ik werk al sinds mijn zeventiende in de telecomsector. In de beginjaren ging dat om aparte telefonienetwerken in kantooromgevingen: kabels trekken voor interne netwerken.” Meer dan 25 jaar later is de wereld van telefonie totaal veranderd. Het allernieuwste: speech-to-speech voicebots.

Steam-connect is leverancier van zowel een UCaaS– als een CCaaS-platform. Het bedrijf heeft aan het UCaaS-platform een voice-agent gekoppeld, die werkzaam is voordat calls op het CCaaS-platform terechtkomen. “Daarmee heeft de voice-agent een rol in de ‘nulde lijn’, zoals wij die noemen,” zegt Van Leyden.

Cascade en speech-to-speech – wat is het verschil?

Momenteel zijn er twee soorten voicebots beschikbaar. De eerste variant werkt volgens het cascade-model, met omzettingen van spraak naar tekst, de inzet van een LLM, en de omzetting van tekst naar spraak. De tweede variant werkt rechtstreeks – van spraak naar spraak – en maakt geen gebruik van tekstvoorspelling, zoals bij een LLM, maar van spraaktokens. Die technologie is relatief nieuw. Relatief, lacht Van Leyden, want: “Ook het traditionele cascade-model bestaat nog niet zo lang.”

Bekend bezwaar van het cascade-model is dat de verschillende omzettingen voor een relatief lange verwerkingstijd zorgen. De latency kan oplopen tot een seconde of meer en in bepaalde situaties is dat een reële belemmering voor een goede interactie.

Van Leyden: “Bij dat eerste model staan oren, brein en mond – de verschillende stappen – los van elkaar. Er zijn daarbovenop allerlei technieken nodig zoals VAD, voice activity detection, om te bepalen of er spraak is en wanneer de spreker is gestopt. Ook dat soort tussenstappen hebben verwerkingstijd nodig. Bedrijven steken er veel tijd en geld in om de latency zo veel mogelijk terug te dringen.”

Spraak-tokens

“Speech-to-speech bestaat sinds 2024. Bij deze rechtstreekse variant zijn de oren, het brein en de mond samengevoegd in één technologieplatform. Belangrijkste voordeel is dat spraak het basismateriaal is en blijft, inclusief alles wat er in die spraak zit. Dus ook intonatie en emotie, spraakeigenschappen die verloren gaan zodra je een omzetting naar platte tekst hebt gedaan. Bij speech-to-speech blijft die informatie beschikbaar.”

Bij speech-to-speech geldt dat spraak rechtstreeks wordt omgezet in tokens. Het model redeneert aan de hand van die spraakinformatie, gebruikt het spraakmodel om een antwoord te formuleren en genereert direct een gesproken respons, legt Van Leyden uit.

“In plaats van een groot tekstgebaseerd taalmodel ofwel LLM wordt er bij speech-to-speech gewerkt met een groot spraakmodel. Hiervoor zijn grote hoeveelheden spraak gebruikt als trainingsmateriaal. Daarin zitten ook zaken als snelheid, volume en emotie. De grootste partijen die deze technologie ontwikkelen, zijn Google (met Gemini), OpenAI (met GPT-realtime) en xAI (met Grok). Er is ook een open source model, Moshi, alleen ondersteunt dit geen Nederlands.”

Full duplex: praten en luisteren tegelijk

Het aanbod aan speech-to-speech-oplossingen is nu nog beperkt en dat maakt meteen duidelijk dat we nog aan het begin staan van een op zich veelbelovende oplossing. Onder andere omdat natuurlijke dialogen naar een hoger niveau worden getild omdat de modellen full duplex zijn: luisteren en praten, maar zelfs onderbreken, is hierbij mogelijk. Vertalen behoort ook tot de opties. Meest opvallend is de veel lagere latency, tot een paar honderd milliseconden, aldus Van Leyden.

(Tekst gaat verder na onderstaande banner)

Voor een demo van wat full duplex inhoudt: hier sprak de redactie van Ziptone met ChatGPT Live.

OpenAI lanceert GPT-Live

 

Tegelijkertijd zijn er ook wat beperkingen. De observability – de vastlegging van wat er gebeurt tijdens de verwerking – is beperkt. De beurtwisseling wordt gelogd, de tooling kan ook een samenvatting genereren. Maar hierbij mis je de tekstoptimalisatie zoals een LLM die doet, zegt Van Leyden. “Daarom wordt aangeraden om, naast een speech-to-speech oplossing, ook een speech-to-text (STT)-oplossing en LLM-model te laten meedraaien voor transcripties die de basis vormen voor vastlegging, samenvattingen, quality monitoring en analyses. De cascade-modellen behouden dus zeker hun bestaansrecht.”

Menselijker

Barge-in is een andere verbetering in de dialoog met voicebots, aldus Van Leyden.
“Als een voicebot begint te spreken, hebben we als mens al heel snel een reactie klaar. Zodra je als klant gaat praten, stopt de speech-to-speech bot met spreken en gaat deze luisteren, om daarna met de nieuwe informatie verder te gaan. Dit maakt het ook mogelijk om tussenwerpsels te genereren die het luisteren bevestigen (‘ja’, ‘OK’, ‘ga door’) of waarmee begrip kan worden getoond. Of dat echt begrip is of meer een standaardreactie, dat hebben we nog niet kunnen uitpluizen. De technologie is nog gloednieuw. Maar de voicebot die met het cascade-model werkt, kan niet omgaan met onderbrekingen, laat staan tussentijds begrip tonen. Daarmee wordt de nieuwe voicebot een stuk menselijker.”

Leren omgaan met een voicebot

Er is nog iets waar we rekening mee moeten houden: als mensen moeten we leren omgaan met deze tweede generatie voicebots. “We weten uit eigen ervaring dat consumenten gewend zijn om in dicteerstijl of op staccatowijze – denk aan steekwoorden – tegen geautomatiseerde spraaksystemen te spreken. Met een input als ‘problemen met mijn telefoon’ mist een voicebot een hoop informatie die je met volzinnen, dus met meer verdieping, prima zou kunnen geven. Dan kan de bot bijvoorbeeld veel beter zoeken in de knowledgebase.”

Overigens is er een verschil tussen openvraag spraakherkenning, waar het systeem vooral op zoek gaat naar herkenbare keywords, en spraakoplossingen die op basis van LLM’s aan de slag gaan met volledige zinnen, aldus Van Leyden.

 

Moeten klantenservicemanagers de klant gaan opvoeden in het gebruik van nieuwe technologie?

“Mensen zullen inderdaad moeten leren om op een meer natuurlijke manier met deze voicebots te communiceren. Aan de andere kant moet je er vanuit de AI Act op wijzen dat de klant met een AI-systeem spreekt. Bij veel mensen gaat er dan een mentale schakelaar om: laat ik maar simpel houden wat ik zeg. Maar AI ontwikkelt zich heel snel, dus consumenten lopen al snel een beetje achter qua adoptie en acceptatie.”

 

Is speech-to-speech data-intensiever en daarmee ook duurder dan het cascade-model?

“Vooropgesteld: de voicebot doet – als het nodig is – een warme overdracht met gespreksinformatie aan de agent zoals dat is geïmplementeerd in het Steam-connect CCaaS-platform, wat een tijdbesparing oplevert. Het afrekenmodel dat Steam-connect hanteert is een prijs per minuut. Daar zit ook het LLM-gebruik in voor de transcriptie, die gebruikt kan worden voor kwaliteitstoepassingen binnen het CCaaS-platform. De kosten per minuut zijn altijd lager dan de kosten per minuut van een menselijke medewerker. De kosten van een menselijke agent – inclusief werkgeverslasten en alle overhead – komen al snel in de buurt van 2 euro per minuut. De inzetbaarheid hangt natuurlijk af van de use cases en je kennisbank. We moeten niet vergeten dat een menselijke agent regelmatig tijd nodig heeft om informatie te zoeken over complexe kwesties.”

Ook bij de speech-to-speech voicebot zal je aandacht moeten besteden aan het inrichten van guardrails en escalatiecriteria. “Dat soort zaken wordt steeds meer een standaardonderdeel van onze werkprocessen in klantcontact – iets waar we aan zullen moeten wennen. De technologie komt als aparte, slimme toepassing naast ons te staan.”

 

Waar zitten de grootste kansen voor speech-to-speech in klantcontact?

“Zonder meer in ondersteuning. De jonge generatie communiceert via verschillende platformen steeds vaker via spraakberichtjes, dus berichtjes tikken zou de komende jaren wel eens aan populariteit kunnen inboeten. Bij langere mededelingen kies ik zelf ook voor spraak. Ik verwacht dat de spraakoplossingen ons vaker gaan helpen, onder meer door te verifiëren of ze ons goed begrepen hebben – bijvoorbeeld voordat een spraakbericht wordt verzonden. In het contactcenter kan je spraakoplossingen prima combineren met API’s die met achterliggende systemen samenwerken. Denk aan het opvragen van de verzendstatus van een pakketje. Mogelijk komen we erachter dat bepaalde zaken, door hoe we processen nu hebben ingericht, niet goed met spraak zijn te regelen. Gelukkig kan je altijd kiezen voor een escalatie of voor een combinatie met tekstinvoer.”

“We hebben als Steam-connect speech-to-speech naar binnen gehaald, het is nu onderdeel van onze platformen. Voor klanten die ermee aan de slag willen, bieden we een dagdeel waarin we samen een eerste toepassing bouwen. Als het gaat om standaardinteracties kom je daar een heel eind mee.”

“Speech-to-speech staat nog in de kinderschoenen, maar het gaat de komende tijd een steeds grotere rol spelen in ons leven,” is de overtuiging van Van Leyden. “De wereld wordt, ook met de mogelijkheid van directe vertalingen, weer een stukje kleiner. En de afwezigheid van hinderlijke latency is echt een voordeel. Moshi, momenteel het leidende speech-to-speech model qua latency, werkt end-to-end in 200 milliseconden. Daarmee komen we steeds dichter in de buurt van het voeren van een gewoon gesprek met een AI-agent.”

(Ziptone/Erik Bouwer)

Correcties en aanvulling: in een eerdere versie van dit artikel is een indicatie van het tarief per minuut voor de voicebot gegeven. Dat is in deze versie verwijderd; Steam-connect wil nog geen tariefsinformatie delen. 

Featured, Technologie Steam-connect