Definisi
Metode pengujian pra-peluncuran di mana model AI diekspos ke sampel realistis percakapan pengguna aktual—diambil dari log produksi—sebelum diluncurkan. Ini memungkinkan pengembang melihat bagaimana model akan berperilaku di dunia nyata, bukan hanya dalam skenario lab yang terkontrol, dan menangkap kegagalan keamanan atau kualitas sebelum mencapai pelanggan.
Mengapa penting
Tes keamanan lab secara teratur melewatkan mode kegagalan yang hanya muncul dengan pola perilaku pengguna asli, berarti model dapat lulus evaluasi internal dan tetap gagal dengan buruk setelah diterapkan. Mendasarkan pemeriksaan pra-rilis pada data penggunaan nyata secara langsung mengurangi kesenjangan antara seberapa aman model terlihat dan seberapa aman sebenarnya.