Het begrip token heeft meerdere betekenissen.
Een token is een code – meestal bestaand uit een klein aantal gegevens of karakters – die als een digitaal bewijsstuk kan worden gebruikt voor authenticatiedoeleinden, bijvoorbeeld bij het genereren van eenmalige wachtwoorden of bij het gebruik van 2FA.
In de context van generatieve AI (GenAI) verwijst het begrip token naar een stukje tekst dat het model gebruikt als bouwsteen bij het verwerken of genereren van taal. Een token kan een woord, deel van een woord, of zelfs een leesteken zijn — afhankelijk van hoe het model is getraind en welke tokenizer het gebruikt. ‘Token’ is voor de meest AI-modellen de eenheid waarmee de kosten van het gebruik worden bepaald, zowel voor de input (denk aan een prompt) als de output.
Zie 2FA, Two factor authentication, generatieve AI, tokenizer, Time to First Token (TTFT)