드리프트 감시

평가·비용

기준 세트와 비교 세트를 임베딩해, 기준에 없던 유형의 입력(질문)이 얼마나 섞였는지 잽니다. 판정 기준은 기준 세트 스스로에게서 정합니다.

평소 들어오던 입력 · 한 줄 = 한 문장 · 8문장 (4문장 이상)

이번에 들어온 입력 · 8문장

새 유형을 AI 가 한 문장으로 요약

모델이 아니라 코드가 정한다

모든 문장을 임베딩(bge-m3)한다.
하한: 기준 문장마다 다른 기준 문장 중 가장 가까운 것의 유사도를 재고, 그 최솟값을 쓴다 — 기준에서 가장 외딴 문장도 이만큼은 이웃이 있다.
비교 문장의 가장 가까운 기준 문장 유사도가 하한보다 낮으면 새 유형.
새 유형 비율 25% 이상 주의 · 60% 이상 드리프트.

비교 8문장 중 6문장(75%)이 기준에 없던 유형 · 1.9초 · bge-m3 1024차원 · 미리 실행 2026. 10. 06. 09:12

새 유형675%기존 유형225%

하한 0.633 — 기준에서 가장 외딴 문장 「화성 물류센터에서 출고됐다는데 위치 조회가 안 돼요.」도 다른 기준 문장과 이만큼 닮았습니다. 참고: 두 세트 중심의 코사인 거리 0.196.

AI 요약 · 새 유형1.2초 · 입력 325 · 출력 27 토큰 · 1원 미만 · Gemini 3.1 Flash-Lite

고객 문의의 중심이 배송 및 수령 확인에서 상품 환불 및 결제 취소 절차로 이동했습니다.

요약한 문장은 코드가 「새 유형」으로 판정한 6문장뿐입니다.

비교 문장마다 가장 가까운 기준 문장 · 낮은 순