청킹 실험실

지식·RAG

같은 규정 문서를 설정마다 다르게 잘라 같은 질문 10개로 검색해 봅니다. 정답 문장이 몇 위에 오는지 코드가 세어 설정을 비교합니다.

최대 4벌 · 크기와 오버랩은 토큰(≈ 글자 2.2자) 단위. 지식베이스 기본은 헤딩 따라 800/120.

칸 순서: 구조 · 목표 크기 · 오버랩. 「헤딩 따라」는 헤딩이 바뀌면 크기와 상관없이 끊습니다 — 규정 조항이 짧아 이 말뭉치에서는 크기를 바꿔도 청크가 같습니다. 「평문」은 헤딩을 지운 글(PDF 에서 뽑은 글처럼)이라 크기 · 오버랩이 경계를 정합니다.

「다온리빙 CS 규정」 9개 문서. 정답 = 원문에 그대로 있는 문장 — 그 문장을 통째로 담은 청크가 상위에 오면 적중입니다.

임베딩만 씁니다(로컬 bge-m3 · 비용 0). LLM 을 부르지 않습니다.

하이브리드 검색(코사인 + 키워드, 지식베이스와 같은 계산) · 질문 10개 · 6.8초 · 새로 임베딩 96개 · 미리 실행 2026. 10. 06. 01:47

지표	지금 색인헤딩 따라 · 800/120	평문 · 작게평문(헤딩 없음) · 100/0	평문 · 작게 + 오버랩평문(헤딩 없음) · 100/40	평문 · 크게평문(헤딩 없음) · 400/60
1위 적중	9/10	9/10	8/10	9/10
3위 안 적중	9/10	10/10	9/10	10/10
6위 안 적중검색이 LLM 에 넘기는 범위	10/10	10/10	10/10	10/10
MRR정답 순위 역수의 평균. 1 = 늘 1위	0.93	0.95	0.87	0.95
근거 토큰(상위 6)질문 하나에 LLM 이 읽는 양. 적을수록 싸고 빠르다	366	459	514	1,732
청크 수	45	38	50	11
평균 / 최대 토큰	57 / 112	77 / 103	83 / 103	276 / 391
중복 비율오버랩으로 다시 실린 글자	0.0%	0.0%	29.2%	3.5%

3위 안 적중은 「평문 · 작게」이 가장 높습니다(10/10, 「지금 색인」 9/10). 대신 검색이 넘기는 근거가 1.3배(459토큰)입니다 — 적중은 청크가 커서 쉬워진 것일 수 있습니다.

정답 문장을 담은 청크가 처음 나온 순위. 검색은 상위 6개를 넘기므로 그 밖은 놓친 것입니다. 행을 누르면 아래에 상위 청크가 보입니다.

지금 색인	평문 · 작게	평문 · 작게 + 오버랩	평문 · 크게
1위	1위	1위	1위
1위	1위	1위	1위
1위	1위	1위	1위
1위	1위	2위	2위
1위	1위	1위	1위
4위	1위	5위	1위
1위	2위	1위	1위
1위	1위	1위	1위
1위	1위	1위	1위
1위	1위	1위	1위

정답 문서: 파손 · 오배송 처리 기준 · 칠한 부분이 정답 문장입니다.

정답 순위 1위

1위파손 · 오배송 처리 기준 > 제2조 (접수 방법과 필요한 사진)62토큰정답 문장 포함
마이페이지 1:1 문의 또는 고객센터 전화로 접수하며, 다음 사진 3장을 함께 보낸다. 1. 받은 상자의 바깥 면(송장이 보이게) 2. 파손된 상품 3. 완충재를 포함한 포장 상태 파손된 상품과 포장재는 회수할 때까지 버리지 않고 보관한다.
2위교환 · 반품 규정 > 제6조 (검수 결과 이의)61토큰
검수 결과 교환 · 반품이 안 되는 경우에 해당하면 사진과 함께 고객에게 알리고 상품을 다시 보낸다. 이때 왕복 배송비 6,000원은 고객이 부담한다. 검수 결과에 이의가 있으면 통보일로부터 7일 안에 고객센터로 재검토를 요청할 수 있다.
3위파손 · 오배송 처리 기준 > 제4조 (환불 시점)47토큰
파손 · 오배송 환불은 접수한 사진으로 확인되면 상품 회수 전이라도 접수 확인일로부터 2영업일 안에 처리한다. 카드 결제의 실제 승인 취소 기간은 「환불 처리 기준」 제2조를 따른다.