정의
실제 사용자 대화의 현실적인 샘플(프로덕션 로그에서 추출)에 AI 모델을 노출하는 사전 출시 테스트 방법으로, 모델이 출시되기 전에 개발자가 제어된 실험실 시나리오뿐 아니라 실제 환경에서 모델이 어떻게 작동할지 확인하고 고객에게 전달되기 전에 안전성 또는 품질 문제를 포착할 수 있습니다.
왜 중요한가
실험실 안전 테스트는 정상적인 사용자 행동 패턴에서만 나타나는 장애 모드를 놓치는 경우가 많으므로, 모델이 내부 평가를 통과해도 배포 후 심각하게 실패할 수 있습니다. 출시 전 검사를 실제 사용 데이터에 기반하게 함으로써 모델이 안전해 보이는 정도와 실제로 안전한 정도 사이의 격차를 직접 줄일 수 있습니다.