首頁 ai RAG 分塊計算器 產生日期: 2026年7月20日 下午09:34 RAG 分塊計算器 輸入 文件詞元數8,000分塊大小512區塊重疊64 AI & LLM RAG 分塊計算器 計算檢索增強生成(RAG)流程中,一份文件依分塊大小與重疊量會切成幾個重疊區塊,以及實際送往嵌入模型的詞元總數。 輸入 文件 文件詞元數 ≥ 1 原始文件切分前的長度,以詞元計。一個詞元約相當於四個英文字元,因此一份約 6,000 字的英文文件大約是 8,000 詞元。 分塊 分塊大小 ≥ 1 每個區塊容納的最大詞元數。區塊愈小,檢索愈精準,但攜帶的上下文也愈少;常見值落在 256 到 1,024 詞元之間。 區塊重疊 相鄰兩個區塊之間重複的詞元數,讓跨越邊界切開的事實仍能在至少一個區塊中完整出現。通常設為分塊大小的 10% 到 20%。 結果 輸入數值即可顯示計算結果。 區塊數量 文件切分後的區塊數,此處為 ... 個。每個區塊會成為索引中的一個向量。區塊愈多,檢索愈細,但要搜尋的條目也愈多。 詳細資料 嵌入詞元數 所有 ... 個區塊送往嵌入模型的詞元總數(...)。由於重疊區段會被重複嵌入,這個數字會超過原始的 8,000 詞元。 步幅 視窗在區塊之間前進的距離:512 減 64 等於 ... 詞元。重疊愈大,步幅愈短,產生的區塊也愈多。 分享 列印報告 重設 嵌入 嵌入這個計算機 預覽 將這段程式碼貼到您的網頁中即可顯示計算機。 複製程式碼 分享這個計算 開啟此連結的人都會看到您填入的數值。 複製連結 分享至 XFacebookLINE 電子郵件 最後更新:2026-06-22 RAG 分塊 檢索增強生成(RAG)回答問題的方式,是先在一批文件中搜尋相關段落,再把這些段落 餵給語言模型。由於整份文件通常太長,無法當成單一單位來嵌入與檢索,因此每份文件 會先切成較小的片段,稱為區塊。分塊就是決定這些片段如何切割的步驟,它同時影響檢索 品質與嵌入成本。這個計算器會回報一份指定長度的文件會產生幾個區塊,以及這會送往 嵌入模型多少詞元。 分塊如何運作 切分器會以固定大小的視窗滑過整份文件。視窗的寬度為 chunk_size 個詞元,每輸出 一個區塊後,視窗前進的距離是一個步幅,而非整個寬度,使相鄰區塊共享一段 chunk_overlap 個詞元的重疊區。重疊的存在,是為了讓橫跨區塊邊界的事實仍能在至少 一個區塊中完整出現——若無重疊,被一分為二的句子可能在任一半都無法被檢索到。 步幅等於分塊大小減去重疊: s=c−os = c - os=c−o 一份 TT 個詞元的文件,當第一個區塊消耗掉 oo 個詞元的起步量後,其餘 T−oT - o 個 詞元便以 ss 為步長逐步走過,需要 n=⌈T−os⌉n = \left\lceil \frac{T - o}{s} \right\rceiln=⌈sT−o⌉ 個區塊。向上取整是為了涵蓋最後一個可能較短的視窗。nn 個區塊各自以完整大小嵌入, 因此送往嵌入模型的詞元總數為 Temb=n⋅cT_{emb} = n \cdot cTemb=n⋅c 由於第一個之後的每個區塊都會重複 oo 個詞元,只要重疊非零,TembT_{emb} 就會大於 原始的 TT。 計算範例 取一份 8,000 詞元的文件,以分塊大小 512、重疊 64 切分。視窗前進的距離為 s=512−64=448 tokens\begin{aligned} s &= 512 - 64 = 448 \text{ tokens} \end{aligned}s=512−64=448 tokens 區塊數為 n=⌈8000−64448⌉=⌈7936448⌉=⌈17.71⌉=18\begin{aligned} n &= \left\lceil \frac{8000 - 64}{448} \right\rceil = \left\lceil \frac{7936}{448} \right\rceil = \lceil 17.71 \rceil = 18 \end{aligned}n=⌈4488000−64⌉=⌈4487936⌉=⌈17.71⌉=18 將全部 18 個區塊以完整大小嵌入,會送往嵌入模型 Temb=18×512=9216 tokens\begin{aligned} T_{emb} &= 18 \times 512 = 9216 \text{ tokens} \end{aligned}Temb=18×512=9216 tokens 重疊使嵌入量從 8,000 詞元膨脹到 9,216 詞元——約多出 15%——這是為了保持跨邊界 段落完整所付出的代價。這個比值接近分塊大小除以步幅,512/448≈1.14512 / 448 \approx 1.14。 注意事項與變化 實際的切分器很少在精確的詞元邊界切割。多數會尊重句子或段落的斷點,因此區塊長度 不一,數量也會與此處的均勻視窗估計略有出入。遞迴式與語意式切分器會依自然結構調整 邊界,以一致性換取連貫性。重疊比例是嵌入量的主要槓桿:50% 的重疊大約會讓嵌入詞元 加倍,而零重疊則恰好嵌入文件本身的長度,但有切斷事實的風險。 應用 區塊數會驅動下游的規模估算。每個區塊會成為一個向量,因此它直接餵入 向量資料庫大小計算機 所計算的索引容量,而嵌入詞元總數則決定 嵌入成本計算機 所估算的一次性嵌入支出。因此,調整分塊大小與重疊, 等於同時在檢索精準度、儲存成本與嵌入成本之間取捨。 常見問題(FAQ)為什麼要在區塊之間加入重疊?硬性切分可能把一個句子、表格列或事實從中切斷,使任一區塊都不含完整資訊。重疊會把前一個區塊的末段重複到下一個區塊的開頭,因此橫跨邊界的段落仍能在至少一個區塊中保持完整。代價是重複的詞元會被嵌入不只一次,提高嵌入成本,並在索引中加入近乎重複的條目。 應該選用多大的分塊大小?沒有放諸四海皆準的最佳值,取決於內容與檢索任務。較小的區塊(約 256 到 512 詞元)讓每個區塊只承載單一概念,檢索精準,適合查找事實。較大的區塊(1,000 詞元以上)保留更多周邊上下文,有助於摘要與推理類問題。常見的起點是 512 詞元搭配 10% 到 20% 的重疊,再依檢索品質調整。 為什麼嵌入的詞元數會多於文件本身?第一個區塊之後的每個區塊都會重複前一個區塊的重疊區段,這些詞元因此被嵌入兩次。嵌入總量等於區塊數乘以分塊大小,只要存在任何重疊,就會大於原始文件長度。嵌入詞元與文件詞元的比值大約等於分塊大小除以步幅,因此較大的重疊會讓嵌入量遠高於原始文件規模。 免責聲明 詞元數取決於模型的分詞器,以及切分器如何處理句子與段落邊界;實際流程很少產生完全均勻的區塊。請將這些數字視為規劃用的估計值,並以自有工具核實確切詞元數與嵌入支出。 推薦的下一個 嵌入成本計算機 由文件數量、每份文件的詞元數與嵌入模型的每百萬詞元單價,估算將語料庫轉成嵌入向量供檢索使用的一次性成本。 深入了解向量資料庫大小計算機 由向量數量、向量維度、每個數值的位元組數,以及近似最近鄰結構所增加的索引額外負擔,估算嵌入索引的儲存空間。 深入了解 200+ 計算機 · 10 種語言 · 完全免費 更多retrieval RAG 分塊計算器 其他ai計算機 cost 文字轉語音成本計算機代理人成本計算機向量資料庫大小計算機向量資料庫成本計算機自架與 API 損益平衡計算機批次 API 節省計算機每元詞元數計算機系統提示攤提計算機函式呼叫詞元額外負擔計算機音訊轉錄成本計算機訓練時間與成本計算訓練碳足跡計算情境成本增長計算機情境視窗容納計算機推論能源成本計算機嵌入成本計算機提示快取節省計算機結構化輸出額外負擔計算機詞元成本計算機詞元轉字數計算機微調成本計算影像生成成本計算機GPU 利用率成本計算器GPU 雲端成本計算機LLM 每月成本計算機LLM 速率限制規劃計算機inference 多模態影像詞元計算器有效每秒標記數計算器批次推論吞吐量計算器每標記 FLOP 計算機推測解碼加速計算機推論吞吐量計算器推論延遲計算器模型 FLOP 使用率計算機training 有效批次大小計算訓練 FLOPs 計算梯度累積記憶體計算機資料平行擴展計算資料集詞元數計算算力最佳模型大小計算算力預算可訓練輪數計算管線平行氣泡計算學習率暖身計算Chinchilla 最佳詞元數計算LLM 訓練 VRAM 計算機LoRA 參數計算機infrastructure 注意力記憶體計算機專家混合活躍參數計算機量化模型大小計算器模型下載時間計算器GPU 數量需求計算機KV 快取大小計算機LLM 推論 VRAM 計算器Transformer 參數量計算機evaluation 困惑度計算器A/B 測試顯著性計算器LLM 評估樣本數計算器pass@k 計算器所有工具 餘弦相似度計算器 這個計算機對您有幫助嗎? 有幫助 需要改進 需要改進 我們可以如何改進這個計算機? 送出回饋 由 OneCalc 提供 ↗
最後更新:2026-06-22 RAG 分塊 檢索增強生成(RAG)回答問題的方式,是先在一批文件中搜尋相關段落,再把這些段落 餵給語言模型。由於整份文件通常太長,無法當成單一單位來嵌入與檢索,因此每份文件 會先切成較小的片段,稱為區塊。分塊就是決定這些片段如何切割的步驟,它同時影響檢索 品質與嵌入成本。這個計算器會回報一份指定長度的文件會產生幾個區塊,以及這會送往 嵌入模型多少詞元。 分塊如何運作 切分器會以固定大小的視窗滑過整份文件。視窗的寬度為 chunk_size 個詞元,每輸出 一個區塊後,視窗前進的距離是一個步幅,而非整個寬度,使相鄰區塊共享一段 chunk_overlap 個詞元的重疊區。重疊的存在,是為了讓橫跨區塊邊界的事實仍能在至少 一個區塊中完整出現——若無重疊,被一分為二的句子可能在任一半都無法被檢索到。 步幅等於分塊大小減去重疊: s=c−os = c - os=c−o 一份 TT 個詞元的文件,當第一個區塊消耗掉 oo 個詞元的起步量後,其餘 T−oT - o 個 詞元便以 ss 為步長逐步走過,需要 n=⌈T−os⌉n = \left\lceil \frac{T - o}{s} \right\rceiln=⌈sT−o⌉ 個區塊。向上取整是為了涵蓋最後一個可能較短的視窗。nn 個區塊各自以完整大小嵌入, 因此送往嵌入模型的詞元總數為 Temb=n⋅cT_{emb} = n \cdot cTemb=n⋅c 由於第一個之後的每個區塊都會重複 oo 個詞元,只要重疊非零,TembT_{emb} 就會大於 原始的 TT。 計算範例 取一份 8,000 詞元的文件,以分塊大小 512、重疊 64 切分。視窗前進的距離為 s=512−64=448 tokens\begin{aligned} s &= 512 - 64 = 448 \text{ tokens} \end{aligned}s=512−64=448 tokens 區塊數為 n=⌈8000−64448⌉=⌈7936448⌉=⌈17.71⌉=18\begin{aligned} n &= \left\lceil \frac{8000 - 64}{448} \right\rceil = \left\lceil \frac{7936}{448} \right\rceil = \lceil 17.71 \rceil = 18 \end{aligned}n=⌈4488000−64⌉=⌈4487936⌉=⌈17.71⌉=18 將全部 18 個區塊以完整大小嵌入,會送往嵌入模型 Temb=18×512=9216 tokens\begin{aligned} T_{emb} &= 18 \times 512 = 9216 \text{ tokens} \end{aligned}Temb=18×512=9216 tokens 重疊使嵌入量從 8,000 詞元膨脹到 9,216 詞元——約多出 15%——這是為了保持跨邊界 段落完整所付出的代價。這個比值接近分塊大小除以步幅,512/448≈1.14512 / 448 \approx 1.14。 注意事項與變化 實際的切分器很少在精確的詞元邊界切割。多數會尊重句子或段落的斷點,因此區塊長度 不一,數量也會與此處的均勻視窗估計略有出入。遞迴式與語意式切分器會依自然結構調整 邊界,以一致性換取連貫性。重疊比例是嵌入量的主要槓桿:50% 的重疊大約會讓嵌入詞元 加倍,而零重疊則恰好嵌入文件本身的長度,但有切斷事實的風險。 應用 區塊數會驅動下游的規模估算。每個區塊會成為一個向量,因此它直接餵入 向量資料庫大小計算機 所計算的索引容量,而嵌入詞元總數則決定 嵌入成本計算機 所估算的一次性嵌入支出。因此,調整分塊大小與重疊, 等於同時在檢索精準度、儲存成本與嵌入成本之間取捨。 常見問題(FAQ)為什麼要在區塊之間加入重疊?硬性切分可能把一個句子、表格列或事實從中切斷,使任一區塊都不含完整資訊。重疊會把前一個區塊的末段重複到下一個區塊的開頭,因此橫跨邊界的段落仍能在至少一個區塊中保持完整。代價是重複的詞元會被嵌入不只一次,提高嵌入成本,並在索引中加入近乎重複的條目。 應該選用多大的分塊大小?沒有放諸四海皆準的最佳值,取決於內容與檢索任務。較小的區塊(約 256 到 512 詞元)讓每個區塊只承載單一概念,檢索精準,適合查找事實。較大的區塊(1,000 詞元以上)保留更多周邊上下文,有助於摘要與推理類問題。常見的起點是 512 詞元搭配 10% 到 20% 的重疊,再依檢索品質調整。 為什麼嵌入的詞元數會多於文件本身?第一個區塊之後的每個區塊都會重複前一個區塊的重疊區段,這些詞元因此被嵌入兩次。嵌入總量等於區塊數乘以分塊大小,只要存在任何重疊,就會大於原始文件長度。嵌入詞元與文件詞元的比值大約等於分塊大小除以步幅,因此較大的重疊會讓嵌入量遠高於原始文件規模。 免責聲明 詞元數取決於模型的分詞器,以及切分器如何處理句子與段落邊界;實際流程很少產生完全均勻的區塊。請將這些數字視為規劃用的估計值,並以自有工具核實確切詞元數與嵌入支出。