Een chunk is een tekstfragment dat ontstaat door een langer document op te splitsen in kleinere, afzonderlijk doorzoekbare eenheden. Bij AI-systemen die gebruikmaken van RAG (Retrieval-Augmented Generation) worden documenten in chunks verdeeld zodat alleen de meest relevante passages worden opgehaald bij het beantwoorden van een vraag, in plaats van het volledige document. De omvang van een chunk is een afweging: te groot en de chunk bevat te veel ruis, te klein en de context ontbreekt. Een gangbare chunkgrootte is 200 tot 400 woorden, vaak met een kleine overlap tussen opeenvolgende chunks zodat informatie op de grens van twee chunks niet verloren gaat.

Zie ook: RAG, vectordatabase

Terug naar startpagina woordenboek