RAG-Chunking-Rechner
Eingaben
| Dokument-Token | 8.000 |
|---|---|
| Chunk-Größe | 512 |
| Chunk-Überlappung | 64 |
RAG-Chunking-Rechner
Berechnen Sie, in wie viele überlappende Chunks ein Dokument für Retrieval-Augmented Generation zerlegt wird und wie viele Token dabei an das Embedding-Modell gesendet werden.
Eingaben
Dokument
Chunking
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
RAG-Chunking
Retrieval-Augmented Generation (RAG) beantwortet eine Frage, indem sie zunächst eine Sammlung von Dokumenten nach relevanten Passagen durchsucht und diese Passagen dann einem Sprachmodell übergibt. Da ein ganzes Dokument in der Regel zu lang ist, um als einzelne Einheit eingebettet und abgerufen zu werden, wird jedes Dokument zuerst in kleinere Stücke, sogenannte Chunks, zerlegt. Das Chunking ist der Schritt, der bestimmt, wie diese Stücke geschnitten werden, und prägt sowohl die Retrieval-Qualität als auch die Embedding-Kosten. Dieser Rechner gibt an, wie viele Chunks ein Dokument einer bestimmten Länge erzeugt und wie viele Token dabei an das Embedding-Modell gesendet werden.
Funktionsweise des Chunkings
Ein Splitter schiebt ein Fenster fester Größe über das Dokument. Das Fenster ist
chunk_size Token breit, und nach jedem ausgegebenen Chunk rückt es um eine
Schrittweite statt um die volle Breite vor, sodass aufeinanderfolgende Chunks
ein Band von chunk_overlap Token teilen. Die Überlappung sorgt dafür, dass ein
Sachverhalt, der über eine Chunk-Grenze reicht, in mindestens einem Chunk
vollständig erscheint — ohne sie könnte ein in zwei Teile geschnittener Satz aus
keiner der beiden Hälften abgerufen werden.
Die Schrittweite ist die Chunk-Größe minus der Überlappung:
s=c−oEin Dokument mit Token ist abgedeckt, sobald der erste Chunk Token Vorlauf verbraucht hat und die verbleibenden Token in Schritten von durchlaufen wurden, was
n=⌈sT−o⌉Chunks ergibt. Die Aufrundung berücksichtigt das letzte, möglicherweise kurze Fenster. Jeder der Chunks wird in voller Größe eingebettet, sodass die Gesamtzahl der an das Embedding-Modell gesendeten Token
Temb=n⋅cbeträgt. Da jeder Chunk nach dem ersten Token wiederholt, ist größer als das ursprüngliche , sobald die Überlappung von null verschieden ist.
Rechenbeispiel
Betrachten wir ein Dokument mit 8.000 Token, zerlegt mit einer Chunk-Größe von 512 und einer Überlappung von 64. Das Fenster rückt um
s=512−64=448 Tokenvor, und die Anzahl der Chunks beträgt
n=⌈4488000−64⌉=⌈4487936⌉=⌈17,71⌉=18Das Einbetten aller 18 Chunks in voller Größe sendet
Temb=18×512=9216 Tokenan das Embedding-Modell. Die Überlappung hat das eingebettete Volumen von 8.000 auf 9.216 Token erhöht — etwa 15 Prozent mehr —, was der Preis dafür ist, grenzüberschreitende Passagen intakt zu halten. Dieses Verhältnis liegt nahe an der Chunk-Größe geteilt durch die Schrittweite, .
Anmerkungen und Varianten
Reale Splitter schneiden selten an exakten Token-Grenzen. Die meisten respektieren Satz- oder Absatzgrenzen, sodass Chunks in der Länge variieren und die Anzahl leicht von der hier gemachten Schätzung mit einheitlichem Fenster abweicht. Rekursive und semantische Splitter passen die Grenzen an die natürliche Struktur an und tauschen Einheitlichkeit gegen Kohärenz. Der Überlappungsanteil ist der wichtigste Hebel für das eingebettete Volumen: eine Überlappung von 50 Prozent verdoppelt die eingebetteten Token ungefähr, während eine Überlappung von null genau die Dokumentlänge einbettet, aber riskiert, Sachverhalte zu zerschneiden.
Anwendung
Die Anzahl der Chunks bestimmt die nachgelagerte Dimensionierung. Jeder Chunk wird zu einem Vektor und fließt damit direkt in den vom Vektordatenbank-Größe-Rechner berechneten Indexumfang ein, und die Gesamtzahl der eingebetteten Token legt die einmaligen Embedding-Ausgaben fest, die der Embedding-Kosten-Rechner schätzt. Das Anpassen von Chunk-Größe und Überlappung tauscht somit Retrieval-Präzision zugleich gegen Speicher- und Embedding-Kosten.
Häufig gestellte Fragen (FAQ)
Warum eine Überlappung zwischen den Chunks einfügen?
Eine harte Trennung kann einen Satz, eine Tabellenzeile oder einen Sachverhalt in zwei Hälften schneiden, sodass keiner der Chunks die vollständige Information enthält. Die Überlappung wiederholt den letzten Teil eines Chunks am Anfang des nächsten, sodass eine über eine Grenze reichende Passage in mindestens einem Chunk vollständig erscheint.
Der Nachteil: Die wiederholten Token werden mehr als einmal eingebettet, was die Embedding-Kosten erhöht und nahezu doppelte Einträge in den Index aufnimmt.
Welche Chunk-Größe sollte ich wählen?
Es gibt keinen universell besten Wert; er hängt vom Inhalt und der Retrieval-Aufgabe ab. Kleinere Chunks von etwa 256 bis 512 Token isolieren eine einzelne Idee pro Chunk und rufen präzise ab, was sich für das Nachschlagen von Fakten eignet. Größere Chunks ab 1.000 Token bewahren mehr umgebenden Kontext, was bei Zusammenfassungen und Schlussfolgerungsfragen hilft.
Ein üblicher Ausgangspunkt sind 512 Token mit 10 bis 20 Prozent Überlappung, anschließend wird anhand der Retrieval-Qualität angepasst.
Warum werden mehr Token eingebettet, als das Dokument enthält?
Jeder Chunk nach dem ersten wiederholt den Überlappungsbereich des vorherigen Chunks, sodass diese Token zweimal eingebettet werden. Die Gesamtzahl der eingebetteten Token ist die Anzahl der Chunks mal die Chunk-Größe, was die reine Dokumentlänge übersteigt, sobald eine Überlappung vorhanden ist.
Das Verhältnis von eingebetteten Token zu Dokument-Token entspricht etwa der Chunk-Größe geteilt durch die Schrittweite, sodass eine starke Überlappung das Embedding-Volumen deutlich über die ursprüngliche Dokumentgröße hinaus aufblähen kann.
Haftungsausschluss
Token-Zahlen hängen vom Tokenizer des Modells ab sowie davon, wie der Splitter Satz- und Absatzgrenzen behandelt; reale Pipelines erzeugen selten perfekt einheitliche Chunks. Behandeln Sie diese Werte als Planungsschätzungen und überprüfen Sie exakte Zahlen und Embedding-Ausgaben mit Ihren eigenen Werkzeugen.