Definisi
Filter keamanan dan aturan yang dibangun di sekitar model AI untuk mencegahnya menghasilkan output yang berbahaya, tidak relevan, atau melanggar kebijakan. Guardrail dapat memeriksa apa yang dikirim pengguna, apa yang akan dikatakan AI, atau keduanya. Guardrail dapat dibangun oleh penyedia AI, perusahaan yang menerapkan AI, atau keduanya bekerja sama.
Mengapa penting
Guardrail adalah garis pertahanan utama antara AI yang mampu dan penyalahgunaan, namun penelitian telah membuktikan bahwa tidak ada serangkaian guardrail yang terbatas yang tidak dapat ditembus. Guardrail harus terus diperbarui seiring dengan munculnya serangan baru — dan paradoksnya, guardrail yang sangat canggih dapat dijadikan senjata dalam serangan denial-of-service.