Gartner waarschuwt voor fikse kostenstijgingen bij agentic-AI-toepassingen. Het zou tot 2028 kunnen gaan om een vervijfvoudiging.

 

De analisten van Gartner wijzen daarbij op de typische meerstaps-uitvoering van agentic-oplossingen. Vooral het beheersen van de inferentiekosten – de kosten per interactie als een model in productie is – wordt een uitdaging. Volgens Will Sommer, Sr. Director Analyst, gaat de innovatie zo hard, dat iedere volgende generatie AI-capaciteit om meer, en vaak duurdere, tokens vraagt. De totale kosten van AI-gebruik gaan omhoog, zonder dat er helderheid is over toekomstige, evenredige en voorspelbare waarde. Gartner noemt dat de Inference Paradox.

Sommer legt de Inference Paradox uit aan de hand van het verschil tussen een simpele chatbot en een AI-agent. Een simpele chatbot moet een vraag lezen en interpreteren en snel reageren met een probabilistisch redelijk antwoord. Een AI-agent moet voortdurend redeneren, onderhandelen en zichzelf in twijfel trekken. Die taken, samen te beschouwen als agentic reasoning, verhogen de kosten met minstens een factor vijf, en vaak veel meer naarmate de taakcomplexiteit toeneemt. Het betekent dat bedrijven die ROI willen behalen met geavanceerde AI-toepassingen, veel hogere opbrengsten of besparingen moeten realiseren dan bij eenvoudige AI-toepassingen.

Een aspect dat Gartner overigens niet noemt, maar wel bijdraagt aan nog minder kostenbeheersing, is het loslaten van vaste abonnementen naar afrekenen per verbruik bij een aantal AI-aanbieders. Andere kosten, zoals die voor security – essentieel voor agentic AI – worden ook niet meegerekend.

(Gartner)

Technologie