Inference costs verwijzen naar de kosten die gepaard gaan met het operationele gebruik van een groot taalmodel (LLM). Daarbij gaat het onder meer om rekenkracht (hoeveel GPU/CPU-cycli zijn nodig om een input te verwerken en een output te genereren), energieverbruik, latency en omvang van het model en omvang van het gebruik van het model. De inference costs zijn in hoge mate bepalend voor de kosten van een AI-toepassing (bijvoorbeeld per interactie).

Voorafgaand aan inference costs heb je te maken met trainingskosten – de rekenkracht, energie en tijd die nodig zijn om een model te trainen (eenmalig of periodiek).

Zie ook LLM

Terug naar startpagina woordenboek