ホーム AI・LLM RAGチャンク分割の設計 作成日: 2026年7月20日 21:33 RAGチャンク分割の設計 入力 文書トークン数8,000チャンクサイズ512チャンク重複64 AI・LLM RAGチャンク分割の設計 検索拡張生成（RAG）で文書を重複ありチャンクに分割したときのチャンク数と、埋め込みモデルへ送られる総トークン数を見積もります。 入力 文書 文書トークン数 ≥ 1 分割前の元文書の長さをトークン数で表したものです。英語では1トークンがおよそ4文字に相当するため、6,000語の文書はおよそ8,000トークンになります。 チャンク分割 チャンクサイズ ≥ 1 1チャンクあたりの最大トークン数です。チャンクが小さいほど検索の精度は上がりますが周辺の文脈は減ります。256〜1,024トークンが一般的です。 チャンク重複 隣り合うチャンク間で繰り返すトークン数です。境界をまたぐ事実が少なくとも一方のチャンクに丸ごと残るようにします。チャンクサイズの10〜20%程度に設定することが多いです。 結果 値を入力すると計算結果が表示されます。 チャンク数 文書を分割したチャンクの個数で、ここでは ... です。それぞれがインデックス内の1ベクトルになります。チャンクが多いほど検索は細かくなりますが、検索対象の件数も増えます。 詳細 埋め込みトークン数 全 ... チャンクで埋め込みモデルへ送られる総トークン数（...）です。重複部分が再度埋め込まれるため、元の 8,000 を上回ります。 ストライド チャンクごとに窓を進める幅です。512 − 64 = ... トークンとなります。重複が大きいほどストライドは短くなり、チャンク数が増えます。 共有 レポートを印刷 リセット 埋め込み この計算機を埋め込む プレビュー このコードをページに貼り付けると計算機を表示できます。 コードをコピー この計算を共有 このリンクを開くと、入力した値がそのまま表示されます。 リンクをコピー 共有する XFacebookLINE メール 最終更新: 2026-06-22 RAGチャンク分割 検索拡張生成（RAG）は、まず文書群から関連する箇所を検索し、その箇所を 言語モデルに渡して質問に答える仕組みである。文書全体は1つの単位として 埋め込み・検索するには通常長すぎるため、各文書はあらかじめチャンクと 呼ばれる小さな断片に分割される。チャンク分割は、その断片をどこで切るかを 決める工程であり、検索品質と埋め込みコストの両方を左右する。この計算では、 ある長さの文書から生成されるチャンク数と、それによって埋め込みモデルへ 送られるトークン数を求める。 チャンク分割の仕組み 分割器は、固定サイズの窓を文書上で滑らせていく。窓の幅は chunk_size トークンであり、各チャンクを出力したあとは幅全体ではなくストライド分だけ 進むため、連続するチャンクは chunk_overlap トークンの帯を共有する。 この重複は、チャンク境界をまたぐ事実が少なくとも一方のチャンクに丸ごと 現れるようにするためにある。重複がなければ、2つに切られた文はどちらの 断片からも検索できなくなりうる。 ストライドはチャンクサイズから重複を引いた値である。 s=c−os = c - os=c−o TT トークンの文書は、最初のチャンクが oo トークン分の助走を消費し、 残りの T−oT - o トークンを ss ずつ歩いた時点で覆われ、その回数は n=⌈T−os⌉n = \left\lceil \frac{T - o}{s} \right\rceiln=⌈sT−o⌉ チャンクとなる。天井関数は、最後の短くなりうる窓を勘定に入れている。 nn 個のチャンクはそれぞれ全サイズで埋め込まれるため、埋め込みモデルへ 送られる総トークン数は Temb=n⋅cT_{emb} = n \cdot cTemb=n⋅c となる。最初を除く各チャンクが oo トークンを繰り返すので、重複が0で ない限り TembT_{emb} は元の TT を上回る。 計算例 8,000 トークンの文書を、チャンクサイズ 512・重複 64 で分割するとする。 窓が進む幅は s=512−64=448 tokens\begin{aligned} s &= 512 - 64 = 448 \text{ tokens} \end{aligned}s=512−64=448 tokens であり、チャンク数は n=⌈8000−64448⌉=⌈7936448⌉=⌈17.71⌉=18\begin{aligned} n &= \left\lceil \frac{8000 - 64}{448} \right\rceil = \left\lceil \frac{7936}{448} \right\rceil = \lceil 17.71 \rceil = 18 \end{aligned}n=⌈4488000−64⌉=⌈4487936⌉=⌈17.71⌉=18 となる。18 個のチャンクをすべて全サイズで埋め込むと、埋め込みモデルへは Temb=18×512=9216 tokens\begin{aligned} T_{emb} &= 18 \times 512 = 9216 \text{ tokens} \end{aligned}Temb=18×512=9216 tokens が送られる。重複により埋め込み量は 8,000 から 9,216 トークンへ、およそ 15% 増えている。これが境界をまたぐ箇所を保つための代償である。この比は チャンクサイズをストライドで割った値 512/448≈1.14512 / 448 \approx 1.14 にほぼ 等しい。 補足と変種 実際の分割器がトークンの境界ちょうどで切ることはまれである。多くは文や 段落の区切りを尊重するため、チャンクの長さはばらつき、ここでの均一な窓に よる見積もりとは数がわずかに異なる。再帰的分割器や意味的分割器は、境界を 自然な構造に合わせて調整し、均一さと引き換えに一貫性を得る。重複の割合は 埋め込み量を左右する主要なレバーであり、重複 50% でおよそ埋め込み トークンが倍になる一方、重複 0 では文書長ちょうどを埋め込むが事実を切る 危険を伴う。 応用 チャンク数は後段のサイズ設計を決める。各チャンクは1つのベクトルになるため、 ベクトルDBサイズの計算 が算出するインデックスの容量に直接つながり、 埋め込みトークンの総数は 埋め込みコストの計算 が見積もる一度きりの 埋め込みコストを定める。したがってチャンクサイズと重複の調整は、検索精度を、 ストレージと埋め込みコストの双方に対して同時に天秤にかけることになる。 よくある質問 (FAQ)チャンク間に重複を持たせる理由は何ですか。単純に区切ると、文・表の行・事実が途中で切れ、どちらのチャンクにも完全な情報が残らないことがあります。重複を持たせると、前のチャンクの末尾を次のチャンクの先頭で繰り返すため、境界をまたぐ箇所が少なくとも一方のチャンクに丸ごと現れます。その代わり、繰り返されたトークンは複数回埋め込まれるので、埋め込みコストが増え、ほぼ重複したエントリがインデックスに加わります。 チャンクサイズはどのくらいが良いですか。万能な最適値はなく、内容と検索タスクに依存します。256〜512トークン程度の小さいチャンクは1チャンクに1つの考えを収めて精度よく検索でき、事実の参照に向きます。1,000トークン以上の大きいチャンクは周辺の文脈を多く保ち、要約や推論を伴う質問に役立ちます。まずは512トークン・重複10〜20%から始め、検索品質を見て調整するのが一般的です。 なぜ文書のトークン数より多くのトークンが埋め込まれるのですか。最初を除く各チャンクは前のチャンクの重複領域を繰り返すため、その部分は2回埋め込まれます。総埋め込みトークン数はチャンク数とチャンクサイズの積であり、重複がある限り元の文書長を上回ります。埋め込みトークンと文書トークンの比はおおよそチャンクサイズをストライドで割った値になるので、重複が大きいと埋め込み量は元の文書を大きく超えて膨らみます。 免責事項 トークン数はモデルのトークナイザーや、分割器が文・段落の境界をどう扱うかに依存し、実際のパイプラインで完全に均一なチャンクが得られることはまれです。ここでの数値は参考情報であり、計画段階の目安としてお使いください。正確な数値や埋め込みコストはご自身のツールで確認してください。 次のおすすめ 埋め込みコストの計算 文書数、1文書あたりのトークン数、埋め込みモデルの100万トークン単価から、検索用に文書群をベクトル化する初回コストを概算します。RAGや埋め込み、ベクトル検索の予算見積もりに利用できます。 詳しく解説ベクトルDBサイズの計算 ベクトル件数、ベクトルの次元数、1値あたりのバイト数、そして近似最近傍構造が加えるインデックスのオーバーヘッドから、埋め込みインデックスの保管容量を概算します。RAGやベクトル検索の容量設計に利用できます。 詳しく解説 200+ ツール · 10 言語対応 · 完全無料 RAG・埋め込みの他の計算 RAGチャンク分割の設計 AI・LLMの他のカテゴリ コスト・料金 1ドルあたりトークン数の計算GPU クラウド費用を計算GPU利用率コストの計算LLMファインチューニング費用の計算LLMレート制限の計画LLM学習のカーボンフットプリントの計算LLM学習時間とコストの計算LLM月額コストの計算エージェントコストの計算コンテキストコストの増加の計算コンテキスト長の判定システムプロンプトの償却コストトークンから単語数への変換トークンコスト計算バッチAPIの節約額の計算プロンプトキャッシュの節約額の計算ベクトルDBコストの計算ベクトルDBサイズの計算音声合成コストの計算音声文字起こしコストの計算画像生成コストの計算関数呼び出しのトークンオーバーヘッド構造化出力のトークンオーバーヘッド自己ホストとAPIの損益分岐の計算推論エネルギーコストの計算埋め込みコストの計算推論・サービング トークンあたりFLOPsの計算バッチ推論スループットの計算モデルFLOPs利用率の計算画像入力トークン数の計算実効トークン毎秒の計算推論スループットの計算推論レイテンシの計算投機的デコーディングの高速化の計算学習・スケーリング Chinchilla最適トークン数LLMトレーニングVRAMの計算LoRA の学習パラメータ数を計算データセットのトークン数の計算データ並列スケーリングの計算パイプライン並列のバブルの計算学習FLOPsの計算学習率ウォームアップの計算計算最適なモデルサイズ計算予算から求めるエポック数勾配累積のメモリ計算実効バッチサイズの計算ハードウェア・メモリ KVキャッシュサイズの計算LLM推論のVRAM計算MoE のアクティブパラメータ数を計算Transformerのパラメータ数の計算アテンションメモリの計算モデルに必要なGPU台数の計算モデルのダウンロード時間の計算量子化によるモデルサイズの計算評価 A/Bテスト有意性の計算LLM評価のサンプルサイズの計算pass@k の計算パープレキシティの計算すべてのツール コサイン類似度の計算 この計算機は役に立ちましたか？ 役に立った 改善が必要 改善が必要 どのような点が改善されると良いですか？ フィードバックを送信 Powered by OneCalc ↗
最終更新: 2026-06-22 RAGチャンク分割 検索拡張生成（RAG）は、まず文書群から関連する箇所を検索し、その箇所を 言語モデルに渡して質問に答える仕組みである。文書全体は1つの単位として 埋め込み・検索するには通常長すぎるため、各文書はあらかじめチャンクと 呼ばれる小さな断片に分割される。チャンク分割は、その断片をどこで切るかを 決める工程であり、検索品質と埋め込みコストの両方を左右する。この計算では、 ある長さの文書から生成されるチャンク数と、それによって埋め込みモデルへ 送られるトークン数を求める。 チャンク分割の仕組み 分割器は、固定サイズの窓を文書上で滑らせていく。窓の幅は chunk_size トークンであり、各チャンクを出力したあとは幅全体ではなくストライド分だけ 進むため、連続するチャンクは chunk_overlap トークンの帯を共有する。 この重複は、チャンク境界をまたぐ事実が少なくとも一方のチャンクに丸ごと 現れるようにするためにある。重複がなければ、2つに切られた文はどちらの 断片からも検索できなくなりうる。 ストライドはチャンクサイズから重複を引いた値である。 s=c−os = c - os=c−o TT トークンの文書は、最初のチャンクが oo トークン分の助走を消費し、 残りの T−oT - o トークンを ss ずつ歩いた時点で覆われ、その回数は n=⌈T−os⌉n = \left\lceil \frac{T - o}{s} \right\rceiln=⌈sT−o⌉ チャンクとなる。天井関数は、最後の短くなりうる窓を勘定に入れている。 nn 個のチャンクはそれぞれ全サイズで埋め込まれるため、埋め込みモデルへ 送られる総トークン数は Temb=n⋅cT_{emb} = n \cdot cTemb=n⋅c となる。最初を除く各チャンクが oo トークンを繰り返すので、重複が0で ない限り TembT_{emb} は元の TT を上回る。 計算例 8,000 トークンの文書を、チャンクサイズ 512・重複 64 で分割するとする。 窓が進む幅は s=512−64=448 tokens\begin{aligned} s &= 512 - 64 = 448 \text{ tokens} \end{aligned}s=512−64=448 tokens であり、チャンク数は n=⌈8000−64448⌉=⌈7936448⌉=⌈17.71⌉=18\begin{aligned} n &= \left\lceil \frac{8000 - 64}{448} \right\rceil = \left\lceil \frac{7936}{448} \right\rceil = \lceil 17.71 \rceil = 18 \end{aligned}n=⌈4488000−64⌉=⌈4487936⌉=⌈17.71⌉=18 となる。18 個のチャンクをすべて全サイズで埋め込むと、埋め込みモデルへは Temb=18×512=9216 tokens\begin{aligned} T_{emb} &= 18 \times 512 = 9216 \text{ tokens} \end{aligned}Temb=18×512=9216 tokens が送られる。重複により埋め込み量は 8,000 から 9,216 トークンへ、およそ 15% 増えている。これが境界をまたぐ箇所を保つための代償である。この比は チャンクサイズをストライドで割った値 512/448≈1.14512 / 448 \approx 1.14 にほぼ 等しい。 補足と変種 実際の分割器がトークンの境界ちょうどで切ることはまれである。多くは文や 段落の区切りを尊重するため、チャンクの長さはばらつき、ここでの均一な窓に よる見積もりとは数がわずかに異なる。再帰的分割器や意味的分割器は、境界を 自然な構造に合わせて調整し、均一さと引き換えに一貫性を得る。重複の割合は 埋め込み量を左右する主要なレバーであり、重複 50% でおよそ埋め込み トークンが倍になる一方、重複 0 では文書長ちょうどを埋め込むが事実を切る 危険を伴う。 応用 チャンク数は後段のサイズ設計を決める。各チャンクは1つのベクトルになるため、 ベクトルDBサイズの計算 が算出するインデックスの容量に直接つながり、 埋め込みトークンの総数は 埋め込みコストの計算 が見積もる一度きりの 埋め込みコストを定める。したがってチャンクサイズと重複の調整は、検索精度を、 ストレージと埋め込みコストの双方に対して同時に天秤にかけることになる。 よくある質問 (FAQ)チャンク間に重複を持たせる理由は何ですか。単純に区切ると、文・表の行・事実が途中で切れ、どちらのチャンクにも完全な情報が残らないことがあります。重複を持たせると、前のチャンクの末尾を次のチャンクの先頭で繰り返すため、境界をまたぐ箇所が少なくとも一方のチャンクに丸ごと現れます。その代わり、繰り返されたトークンは複数回埋め込まれるので、埋め込みコストが増え、ほぼ重複したエントリがインデックスに加わります。 チャンクサイズはどのくらいが良いですか。万能な最適値はなく、内容と検索タスクに依存します。256〜512トークン程度の小さいチャンクは1チャンクに1つの考えを収めて精度よく検索でき、事実の参照に向きます。1,000トークン以上の大きいチャンクは周辺の文脈を多く保ち、要約や推論を伴う質問に役立ちます。まずは512トークン・重複10〜20%から始め、検索品質を見て調整するのが一般的です。 なぜ文書のトークン数より多くのトークンが埋め込まれるのですか。最初を除く各チャンクは前のチャンクの重複領域を繰り返すため、その部分は2回埋め込まれます。総埋め込みトークン数はチャンク数とチャンクサイズの積であり、重複がある限り元の文書長を上回ります。埋め込みトークンと文書トークンの比はおおよそチャンクサイズをストライドで割った値になるので、重複が大きいと埋め込み量は元の文書を大きく超えて膨らみます。 免責事項 トークン数はモデルのトークナイザーや、分割器が文・段落の境界をどう扱うかに依存し、実際のパイプラインで完全に均一なチャンクが得られることはまれです。ここでの数値は参考情報であり、計画段階の目安としてお使いください。正確な数値や埋め込みコストはご自身のツールで確認してください。
