Dernière mise à jour : 2026-06-22

Le découpage en RAG

La génération augmentée par récupération (RAG, pour retrieval-augmented generation) répond à une question en cherchant d'abord, dans une collection de documents, les passages pertinents, puis en transmettant ces passages à un modèle de langage. Comme un document entier est généralement trop long pour être embarqué et récupéré comme une seule unité, chaque document est d'abord divisé en morceaux plus petits appelés segments. Le découpage est l'étape qui décide de la façon dont ces morceaux sont taillés, et il conditionne à la fois la qualité de récupération et le coût d'embedding. Ce calculateur indique combien de segments produit un document d'une longueur donnée et combien de jetons cela transmet au modèle d'embeddings.

Comment fonctionne le découpage

Un découpeur fait glisser une fenêtre de taille fixe sur le document. La fenêtre est large de chunk_size jetons, et après avoir émis chaque segment elle avance d'un pas plutôt que de sa largeur entière, de sorte que deux segments consécutifs partagent une bande de chunk_overlap jetons. Le chevauchement existe pour qu'un fait à cheval sur une frontière de segment reste entier dans au moins un segment — sans lui, une phrase coupée en deux pourrait n'être récupérable depuis aucune des deux moitiés.

Le pas est la taille de segment moins le chevauchement :

Un document de $T$ jetons est couvert une fois que le premier segment a consommé $o$ jetons d'avance et que les $T - o$ jetons restants ont été parcourus par pas de $s$, ce qui demande

segments. Le plafond tient compte de la dernière fenêtre, éventuellement courte. Chacun des $n$ segments est embarqué à sa pleine taille, si bien que le total des jetons transmis au modèle d'embeddings vaut

Parce que chaque segment après le premier répète $o$ jetons, $T_{emb}$ est plus grand que le $T$ d'origine dès que le chevauchement est non nul.

Exemple chiffré

Prenons un document de 8 000 jetons, découpé avec une taille de segment de 512 et un chevauchement de 64. La fenêtre avance de

et le nombre de segments est

Embarquer les 18 segments à pleine taille transmet

au modèle d'embeddings. Le chevauchement a gonflé le volume embarqué de 8 000 à 9 216 jetons — environ 15 % de plus — ce qui est le prix à payer pour garder intacts les passages à cheval sur une frontière. Ce rapport est proche de la taille de segment divisée par le pas, $512 / 448 \approx 1.14$.

Notes et variantes

Les découpeurs réels coupent rarement sur des frontières de jetons exactes. La plupart respectent les ruptures de phrases ou de paragraphes, de sorte que les segments varient en longueur et que le compte diffère légèrement de l'estimation à fenêtre uniforme donnée ici. Les découpeurs récursifs et sémantiques ajustent les frontières à la structure naturelle, échangeant l'uniformité contre la cohérence. La fraction de chevauchement est le principal levier sur le volume embarqué : un chevauchement de 50 % double à peu près les jetons embarqués, tandis qu'un chevauchement nul embarque exactement la longueur du document mais risque de scinder des faits.

Application

Le nombre de segments détermine le dimensionnement en aval. Chaque segment devient un vecteur, ce qui alimente directement l'empreinte de l'index calculée par Calculateur de taille de base de données vectorielle, et le total de jetons embarqués fixe la dépense d'embedding ponctuelle estimée par Calculateur de coût d'embeddings. Régler la taille de segment et le chevauchement revient donc à arbitrer la précision de récupération contre le stockage et le coût d'embedding à la fois.