定義
本番ログから引き出された実際のユーザー会話の現実的なサンプルにAIモデルを露出させて、本番環境に移行する前にテストする事前ローンチテスト方法。開発者は、管理された実験室シナリオだけでなく現実世界でモデルがどのように動作するかを確認でき、顧客に到達する前にセーフティまたは品質の障害をキャッチできます。
なぜ重要か
実験室安全テストは、本物のユーザー行動パターンでのみ現れる障害モードを見逃すことが多く、モデルが内部評価に合格してもデプロイ後に大きく失敗する可能性があります。本番前チェックを実際の使用データに基づくことで、モデルが安全に見える方法と実際に安全である方法の間のギャップが直接減少します。