De kosten van tokens die worden ingezet voor softwareontwikkeling, zullen over twee jaar de kosten van het gemiddelde salaris van een ontwikkelaar overstijgen. Dat voorspelt Gartner.

 

Gartner schrijft die stijging toe door het toenemende verbruik van tokens bij large language models (LLM’s) en de verschuiving naar verbruiksgebaseerde licentiemodellen. Nu nog worden tokens vaak in bundel verkocht. Senior analist Nitish Tyagi van Gartner waarschuwt bedrijven die AI-codeeragents op grote schaal inzetten, de de financiële impact van het groeiende tokenverbruik onderschatten.

Veel LLM-leveranciers bieden weinig transparantie over hoe tokenverbruik wordt berekend en gefactureerd, wat het voor organisaties moeilijk maakt om kosten nauwkeurig te voorspellen en te beheersen. Zonder helder zicht op tokengebruik per ontwikkeltaak lopen organisaties het risico dat budgetten worden overschreden en dat ze niet goed kunnen bijhouden wat de kosten opleveren aan waarde, aldus Gartner.

Naast prijsstelling en gebrek aan inzicht speelt ook de manier waarop AI-codeeragents binnen organisaties worden ingezet een grote rol in de kostendruk. Overmatig tokenverbruik hangt vaak samen met hoe softwareleiders het gebruik aansturen. Veelvoorkomende knelpunten zijn ongecontroleerde autonomie in agent-gestuurde workflows, opgeblazen contextvensters en het ontbreken van gestructureerde feedbackmechanismen om het gebruik te optimaliseren.

Daarnaast bieden leveranciers van AI-codeertools nog geen volwassen, ingebouwde functies voor kostenoptimalisatie in hun agents, wat de kostenstijging verder in de hand werkt. Ook zak het aantal organisaties dat AI inzet voor softwareontwikkeling stijgen, wat het tokenverbruik en de totale uitgaven verder opstuwt.

Gartner adviseert softwareleiders om een gedisciplineerd operating model voor AI-gebruik in te richten. Daarbij wordt onder meer vooraf bepaalde wat bepalend is voor de vraag wie het ontwikkelwerk gaat doen, in welke situatie welke modellen worden ingezet en hoe kostenbeheersing wordt aangestuurd, zoals de inzet van tokendrempels, escalatiebeleid en geautomatiseerde monitoring. Ook raadt Gartner aan om zogenaamde tokenreviews in de ontwikkelcyclus op te nemen.

(Gartner, Ziptone)

Lees ook:

Opbrengsten van AI? Check. Maar wat zijn de kosten van AI in klantcontact?

Technologie