DUOLABS AIAI 자동화
대시보드홈설정
AI 어시스턴트플레이그라운드에이전트 빌더프롬프트 라이브러리번역·현지화멀티 에이전트 팀에이전트 메모리대화 분기 비교도구 드라이런에이전트 회귀 스위트
추출 스튜디오비전·OCR배치 자동화가드레일·PII 마스킹분류·라우팅판단 API음성 받아쓰기음성 낭독이미지 일괄 분류차트 수치 읽기손글씨·서식 인식
지식베이스질의응답인용 검증기청킹 실험실리랭커 비교지식 갱신 감시FAQ 자동 생성표 추출
문서 비교견적서 생성기세금계산서 월마감계약서 검토 체크리스트입찰공고 분석개인정보 영향평가문서 톤 변환
CS 답변 추천이메일 회신 초안클레임 분류·에스컬레이션응대 품질 채점리뷰·설문 감정 분석
광고 카피 A/B경쟁사 비교표리드 스코어링제안서 아웃라인SEO 메타·키워드
SQL 생성기로그 이상 분석API 스펙 → 테스트 케이스코드 리뷰 봇
모델 콘솔서버룸도구 카탈로그실행 트레이스
평가 매트릭스사용량·비용시맨틱 캐시환각 검출기프롬프트 A/B 실험골든셋 회귀비용 시뮬레이터지연 SLO드리프트 감시레드팀 테스트
워크플로 스튜디오커넥터 허브사람 검토함예약·스케줄 실행알림·SLA 센터
데이터셋 연구소AI 데이터 분석가문서 인텔리전스회의·통화 인텔리전스콘텐츠 스튜디오CSV 정제·표준화이상치 리포트데이터 라벨링데이터 카탈로그·계보스키마 추론합성 데이터 생성
통합·웹훅키 보관함

프롬프트 A/B 실험

평가·비용

두 프롬프트를 같은 입력들에 돌려, 두 답을 따로 같은 기준으로 채점하고 점수로 승자를 정합니다. 어느 기준에서 갈렸는지가 함께 보입니다.

새 실험

프롬프트 2종 × 입력 최대 8개 · 같은 기준으로 따로 채점

한 줄에 하나 · 3/8

한 줄에 기준 하나 — A · B 답을 따로 이 기준으로 채점한다. 「3문장 이내」「200자 이내」「포함: 다온리빙」은 코드가 센다

승부 · 미리 실행 · CS 답장 · 순서 지정 효과 · 미리 실행 2026. 10. 06. 09:2513초 · 입력 5,598 · 출력 3,258 토큰 · 9원 · Gemini 3.1 Flash-Lite
A 승 0B 승 3무승부 0입력 3/3

기준별 충족 수 · 코드 = 앱이 직접 확인 · AI = 채점 모델 판정(인용을 답에서 확인)

기준별 충족 수
기준프롬프트 A프롬프트 B
3문장 이내코드 · 문장 수0/33/3
불편을 끼친 것을 사과한다AI 판정3/33/3
고객이 말한 문제(출고 지연 · 파손 · 다른 색상)를 그대로 짚는다AI 판정3/33/3
다음에 할 일(접수 · 확인 · 연락)을 안내한다AI 판정3/33/3
확인하지 않은 보상 · 할인 · 도착 날짜를 약속하지 않는다AI 판정3/33/3
기대와 어긋나는 사실이 있는 답AI 판정 · 인용을 찾은 것만0/30/3

승자 = 점수가 높은 쪽(같으면 무승부). 점수는 두 답을 따로 같은 기준으로 판정한 결과에서 앱이 계산합니다 — 저지가 두 답을 나란히 보고 고르지 않아 순서 편향이 없습니다. 채점 모델 Gemini 3.1 Flash-Lite.

입력 1 · 지난주 금요일에 주문한 무선 청소기가 아직도 출고 전이라고 나와요. 이번 주말에 꼭 써야 하는데 언제 오나요?

기준별 판정 · 코드 = 앱이 직접 확인 · AI = 채점 모델 판정(인용을 답에서 확인)

기준별 판정
기준프롬프트 A프롬프트 B
3문장 이내코드 · 문장 수미충족충족
불편을 끼친 것을 사과한다AI 판정충족충족
고객이 말한 문제(출고 지연 · 파손 · 다른 색상)를 그대로 짚는다AI 판정충족충족
다음에 할 일(접수 · 확인 · 연락)을 안내한다AI 판정충족충족
확인하지 않은 보상 · 할인 · 도착 날짜를 약속하지 않는다AI 판정충족충족
기대와 어긋나는 사실AI 판정 · 인용을 찾은 것만없음없음
점수판정에서 앱이 계산일부 80통과 100
프롬프트 A
일부 80

안녕하세요, 고객님. 다온리빙 공식몰 고객센터입니다.

우선, 저희 제품을 믿고 구매해 주셨는데 배송 지연으로 인해 큰 불편을 드려 진심으로 사과의 말씀을 드립니다.

고객님께서 주문하신 무선 청소기 배송 현황을 확인해 본 결과, 현재 주문 폭주로 인한 물류 센터의 출고 작업 지연으로 배송이 다소 늦어지고 있는 상황입니다. 주말에 꼭 사용하셔야 하는데 기다림을 드려 정말 죄송합니다.

현재 담당 부서를 통해 최대한 빠른 출고가 이루어질 수 있도록 요청해 둔 상태입니다. 금일 중으로 출고가 진행될 예정이며, 출고가 완료되면 등록하신 연락처로 송장 번호를 안내해 드리겠습니다.

다만, 택배사 사정에 따라 주말 전 도착이 어려울 수도 있는 점 너른 양해 부탁드립니다. 최대한 빠르게 제품을 받아보실 수 있도록 끝까지 꼼꼼히 챙기겠습니다.

기다려 주셔서 감사드리며, 추가로 궁금하신 점이 있으시면 언제든 말씀해 주세요.

다온리빙 드림.

  1. 3문장 이내

    코드 · 문장 수미충족

    11문장 — 3문장을 넘었다.

  2. 불편을 끼친 것을 사과한다

    AI 판정충족

    배송 지연으로 인한 불편에 대해 명확히 사과하고 있습니다.

    답변: 「우선, 저희 제품을 믿고 구매해 주셨는데 배송 지연으로 인해 큰 불편을 드려 진심으로 사과의 말씀을 드립니다.」

  3. 고객이 말한 문제(출고 지연 · 파손 · 다른 색상)를 그대로 짚는다

    AI 판정충족

    고객이 언급한 출고 지연 문제를 정확히 짚고 있습니다.

    답변: 「고객님께서 주문하신 무선 청소기 배송 현황을 확인해 본 결과, 현재 주문 폭주로 인한 물류 센터의 출고 작업 지연으로 배송이 다소 늦어지고 있는 상황입니다.」

  4. 다음에 할 일(접수 · 확인 · 연락)을 안내한다

    AI 판정충족

    출고 진행 후 송장 번호를 안내하겠다는 후속 조치를 명시했습니다.

    답변: 「금일 중으로 출고가 진행될 예정이며, 출고가 완료되면 등록하신 연락처로 송장 번호를 안내해 드리겠습니다.」

  5. 확인하지 않은 보상 · 할인 · 도착 날짜를 약속하지 않는다

    AI 판정충족

    도착 날짜를 확정하지 않고 택배사 사정에 따라 변동 가능함을 안내하여 약속하지 않았습니다.

    답변: 「다만, 택배사 사정에 따라 주말 전 도착이 어려울 수도 있는 점 너른 양해 부탁드립니다.」

  6. 기대와 어긋나는 사실

    AI 판정없음

    어긋나는 내용 없음

점수 = 항목 판정(충족 1 · 일부 0.5 · 미충족 0, 어긋남은 미충족 하나)의 평균 — 모델이 아니라 앱이 계산했습니다. 채점 모델 Gemini 3.1 Flash-Lite. 답한 모델과 같은 모델이 채점했습니다(자기 채점).

프롬프트 B
통과 100

주문하신 상품의 배송 지연으로 불편을 드려 대단히 죄송합니다. 지난주 금요일에 주문하신 무선 청소기가 아직 출고 전 상태로 확인되어 많이 답답하셨을 것 같습니다. 현재 정확한 출고 일정을 확인한 뒤, 담당 부서를 통해 신속히 안내 연락을 드리겠습니다.

  1. 3문장 이내

    코드 · 문장 수충족

    3문장 — 3문장 이내.

  2. 불편을 끼친 것을 사과한다

    AI 판정충족

    배송 지연으로 인한 불편에 대해 명확히 사과하고 있습니다.

    답변: 「주문하신 상품의 배송 지연으로 불편을 드려 대단히 죄송합니다.」

  3. 고객이 말한 문제(출고 지연 · 파손 · 다른 색상)를 그대로 짚는다

    AI 판정충족

    고객이 언급한 무선 청소기의 출고 지연 문제를 정확히 짚고 있습니다.

    답변: 「지난주 금요일에 주문하신 무선 청소기가 아직 출고 전 상태로 확인되어 많이 답답하셨을 것 같습니다.」

  4. 다음에 할 일(접수 · 확인 · 연락)을 안내한다

    AI 판정충족

    출고 일정 확인 및 안내 연락이라는 향후 조치 계획을 안내하고 있습니다.

    답변: 「현재 정확한 출고 일정을 확인한 뒤, 담당 부서를 통해 신속히 안내 연락을 드리겠습니다.」

  5. 확인하지 않은 보상 · 할인 · 도착 날짜를 약속하지 않는다

    AI 판정충족

    보상, 할인, 도착 날짜에 대한 언급 없이 향후 절차만 안내하고 있습니다.

    답변: 「현재 정확한 출고 일정을 확인한 뒤, 담당 부서를 통해 신속히 안내 연락을 드리겠습니다.」

  6. 기대와 어긋나는 사실

    AI 판정없음

    어긋나는 내용 없음

점수 = 항목 판정(충족 1 · 일부 0.5 · 미충족 0, 어긋남은 미충족 하나)의 평균 — 모델이 아니라 앱이 계산했습니다. 채점 모델 Gemini 3.1 Flash-Lite. 답한 모델과 같은 모델이 채점했습니다(자기 채점).