최종 업데이트: 2026-06-22

RAG 청킹

검색 증강 생성(RAG)은 먼저 문서 모음에서 관련 구절을 검색한 뒤 그 구절을 언어 모델에 전달하여 질문에 답하는 방식입니다. 문서 전체는 보통 하나의 단위로 임베딩하고 검색하기에는 너무 길기 때문에, 각 문서는 먼저 청크라고 부르는 더 작은 조각으로 분할됩니다. 청킹은 그 조각을 어떻게 자를지 결정하는 단계이며, 검색 품질과 임베딩 비용 양쪽 모두를 좌우합니다. 이 계산기는 주어진 길이의 문서가 몇 개의 청크를 만들어 내는지, 그리고 그것이 임베딩 모델로 보내는 토큰이 몇 개인지 알려 줍니다.

청킹의 원리

분할기는 고정 크기의 윈도를 문서 위로 미끄러뜨립니다. 윈도의 폭은 chunk_size 토큰이며, 청크 하나를 내보낸 뒤에는 전체 폭이 아니라 보폭만큼 전진하므로 연속한 두 청크는 chunk_overlap 토큰의 띠를 공유합니다. 겹침이 존재하는 이유는 청크 경계에 걸친 사실이 적어도 한 청크 안에서는 온전히 나타나도록 하기 위함입니다. 겹침이 없으면 둘로 잘린 문장은 어느 쪽 절반에서도 검색되지 못할 수 있습니다.

보폭은 청크 크기에서 겹침을 뺀 값입니다.

$T$ 토큰 문서는 첫 청크가 $o$ 토큰만큼 머리를 차지하고 남은 $T - o$ 토큰을 $s$ 단위로 걸어 나가면 모두 덮이며, 이는 다음만큼의 청크가 필요합니다.

올림은 마지막의, 짧을 수도 있는 윈도를 고려한 것입니다. $n$개의 청크는 각각 전체 크기로 임베딩되므로 임베딩 모델로 보내는 총 토큰 수는 다음과 같습니다.

첫 청크 이후의 모든 청크가 $o$ 토큰을 반복하므로, 겹침이 있는 한 $T_{emb}$는 원본 $T$보다 큽니다.

계산 예시

8,000 토큰 문서를 청크 크기 512, 겹침 64로 분할한다고 합시다. 윈도는 다음만큼 전진합니다.

그리고 청크 수는 다음과 같습니다.

18개의 청크를 모두 전체 크기로 임베딩하면 임베딩 모델로 다음만큼이 전달됩니다.

겹침은 임베딩 분량을 8,000에서 9,216 토큰으로, 약 15% 늘렸습니다. 이는 경계에 걸친 구절을 온전히 유지하기 위해 치르는 대가입니다. 그 비율은 청크 크기를 보폭으로 나눈 값에 가깝습니다($512 / 448 \approx 1.14$).

참고와 변형

실제 분할기가 정확한 토큰 경계에서 자르는 경우는 드뭅니다. 대부분은 문장이나 문단 경계를 존중하므로 청크 길이가 제각각이고 그 수도 여기의 균일 윈도 추정과 조금씩 다릅니다. 재귀적 분할기와 의미 기반 분할기는 경계를 자연스러운 구조에 맞추어, 균일성을 양보하는 대신 일관성을 얻습니다. 겹침 비율은 임베딩 분량을 좌우하는 주된 지렛대입니다. 겹침이 50%면 임베딩 토큰이 대략 두 배가 되고, 겹침이 0이면 정확히 문서 길이만큼 임베딩하지만 사실이 잘릴 위험이 있습니다.

활용

청크 수는 이후 단계의 규모 산정을 좌우합니다. 각 청크는 벡터 하나가 되므로 벡터 데이터베이스 용량 계산기가 계산하는 색인 용량에 직접 반영되고, 임베딩 토큰 합계는 임베딩 비용 계산기이 추정하는 일회성 임베딩 비용을 결정합니다. 따라서 청크 크기와 겹침을 조정하는 일은 검색 정밀도를 저장 비용과 임베딩 비용 양쪽과 동시에 맞바꾸는 작업입니다.