RAG 텍스트 청커

긴 텍스트를 Embedding / RAG에 입력하기 좋은 단위로 청크 분할. 고정 문자 수, 고정 토큰 수, 단락 단위, Markdown 제목 단위의 4가지 전략, 오버랩 조정, 각 청크의 시각화, JSON / JSONL / Markdown 내보내기 지원.

완전 무료 가입 불필요 브라우저 완결 즉시 다운로드 5 개 언어 다크 모드

관련: 💰 Embeddings 가격 · 🪙 LLM 토큰

입력 텍스트

전략

청크 크기 chars 오버랩 동일 단위 문장 경계 우선 메타데이터

청크 수

평균

최대

⬇

📖 자주 걸리는 지점

긴 글을 Embedding 에 넣기 좋은 단위로 분할합니다. 처리는 브라우저 안에서 끝나며 텍스트는 전송되지 않습니다. RAG 의 검색 정확도가 나오지 않는 원인은 대부분 임베딩 모델이 아니라 분할 방식에 있습니다. 답이 두 청크에 걸쳐 잘려 있다, 제목과 본문이 다른 청크가 되어 문맥이 사라졌다 같은 단순한 이유가 대부분입니다.

사례	무슨 일이 일어나는가	어떻게 하면 되는가
청크 크기를 감으로 정한다	너무 작으면 한 청크에 답이 들어가지 않고, 너무 크면 한 청크 안에 화제가 여럿 섞여 벡터가 흐려집니다. 임베딩은 문서 전체의 평균적인 방향을 나타내므로 무관한 화제가 섞일수록 어떤 질문에도 어중간하게 비슷한 벡터가 됩니다.	출발점은 512~1,024 토큰, 오버랩 10~20% 입니다. 그 위에 상정하는 질문에 대한 답이 평균 몇 글자인지를 실제로 세어 보세요. FAQ 처럼 답이 2~3문장이라면 256 으로 충분하고, 절차서처럼 답이 절 하나 통째라면 1,024 로도 부족합니다. 토큰 수 카운터로 글자 수와 토큰 수의 관계를 파악해 두면 정하기 쉬워집니다.
글자 수로 기계적으로 자른다	고정 길이로 자르면 문장 중간, 표 중간, 코드 블록 중간에서 끊깁니다. 특히 절차서나 레퍼런스에서는 표의 헤더 행과 내용이 다른 청크가 되는 순간 그 청크만으로는 무슨 표인지 알 수 없게 됩니다. 검색에서 걸려도 LLM 에 넘긴 시점에는 의미를 복원할 수 없습니다.	구조의 경계를 우선합니다. 마크다운이라면 제목(`##`)을 경계로 하고, 그래도 길면 문단, 다시 문장 순으로 내려가는 것이 정석입니다. 더해서 각 청크 앞에 문서 제목 > 장 > 절 의 breadcrumb 을 붙이면 정확도가 크게 오릅니다. 청크만 읽어도 무엇에 대한 기술인지 알 수 있기 때문입니다.
검색이 안 되니 임베딩 모델을 바꾼다	모델의 차이보다 먼저 효과가 있는 것은 질문과 문서의 어휘 어긋남입니다. 사용자는 로그인이 안 된다고 묻고 문서에는 인증 오류 시의 대처라고 쓰여 있는 상황에서는 의미적으로 가까워도 벡터의 거리는 생각만큼 좁혀지지 않습니다. 고유명사나 모델번호 같은 문자열 일치가 필요한 검색은 벡터 검색이 가장 약한 영역이기도 합니다.	하이브리드 검색으로 가세요. BM25 같은 키워드 검색과 벡터 검색을 병렬로 돌리고 결과를 통합(Reciprocal Rank Fusion 등)합니다. 모델번호나 인명은 키워드 쪽이 확실히 잡고, 바꿔 말하기는 벡터 쪽이 잡습니다. 그래도 부족하면 청크마다 이 청크가 답할 수 있는 질문을 LLM 에 3개 생성시켜 함께 임베딩하는 방법이 효과적입니다. 비용은 Embedding 비용 산정으로 먼저 가늠할 수 있습니다.

청크 분할은 한 번 정하고 끝낼 수 있는 설정이 아닙니다. 실제로 사용된 질문의 로그를 모으고 답하지 못한 것을 보며, 그 원인이 애초에 해당 청크가 검색 상위에 오지 않은 것인지, 상위에는 왔지만 정보가 중간에 잘린 것인지를 구분하세요. 전자라면 검색 방식, 후자라면 분할 입도의 문제입니다. 이 둘을 혼동한 채 설정을 만지면 언제까지고 개선되지 않습니다.

📖 사용법

1

붙여넣기

PDF / Markdown / 기사
2

전략 + 크기

문자/토큰/단락/제목
3

JSON / JSONL

embedding 파이프라인

❓ 자주 묻는 질문

권장 크기?

256-512 또는 512-1024

오버랩?

10-20%

제목 전략?

의미 기반 분할

🐛 이 도구에서 문제가 발생했나요?

무료 · 가입 불필요. 재현 절차만이라도 도움이 됩니다. 보고는 운영자에게 직접 전달되어 개선에 사용됩니다.

RAG 텍스트 청커

📖 자주 걸리는 지점

📖 사용법

❓ 자주 묻는 질문

보고 감사합니다!