Penjelasan teknis
Peneliti dari National University of Singapore dan ByteDance menerbitkan Heimdallr, sebuah kerangka kerja analisis hibrida yang mendeteksi risiko keamanan yang diperkenalkan oleh integrasi LLM dalam alur kerja GitHub CI. Penelitian ini mencirikan permukaan serangan baru: masukan yang dapat dikendalikan secara eksternal (komentar masalah, permintaan tarik) dapat membentuk prompt dan output LLM, yang pada gilirannya mempengaruhi keputusan keamanan, status repositori, atau eksekusi yang diprivilesa. Heimdallr mencapai akurasi 99,8% dalam klasifikasi triggerability dan mengungkapkan 802 instans alur kerja yang rentan di seluruh 759 repositori.
Vektor serangan
Seorang penyerang menyematkan teks yang dirancang ke dalam komentar masalah GitHub atau deskripsi permintaan tarik. Ketika alur kerja CI menggabungkan teks ini ke dalam prompt LLM untuk tinjauan kode, pelabelan triage, atau keputusan penggabungan otomatis, penyerang dapat mengarahkan penalaran model, memanipulasi output yang dihasilkan, membocorkan rahasia melalui injeksi prompt, atau memicu tindakan yang diprivilesa yang tidak diinginkan (misalnya, penggabungan otomatis kode berbahaya).
Sistem yang terdampak
Alur kerja GitHub CI yang mengintegrasikan LLM untuk tugas otomasi seperti triage masalah, tinjauan permintaan tarik, pembuatan konten, atau pemeliharaan repositori. Tim peneliti melakukan pengungkapan yang bertanggung jawab terhadap 802 instans rentan dan menerima 71 pengakuan.
Mitigasi
Tim pengembangan harus memperlakukan output LLM dalam alur kerja CI sebagai data yang tidak terpercaya yang memerlukan validasi sebelum tindakan yang diprivilesa. Terapkan sanitasi masukan yang ketat untuk teks yang dapat dikendalikan secara eksternal, paksakan persetujuan human-in-the-loop untuk keputusan yang kritis terhadap keamanan, dan audit izin penggunaan alat LLM untuk mencegah agen dari memanggil API yang diprivilesa. Kerangka kerja Heimdallr tersedia bagi organisasi untuk memindai alur kerja CI mereka sendiri.