Een tokenizer is een algoritme dat tekst opdeelt in kleinere eenheden – genaamd tokens – die een taalmodel zoals GPT kan begrijpen en verwerken. Het kan gaan om hele woorden, woorddelen of zelfs individuele karakters. Het opdelen in tokens van input (en output) is ook nodig voor het afrekenmodel bij betaalde AI-diensten.

Terug naar startpagina woordenboek