Penjelasan teknis
SGLang, salah satu server inferensi LLM open-source yang paling banyak dideploy (digunakan untuk DeepSeek-R1, GLM-4, dan model populer lainnya), melakukan deserialisasi byte yang dikontrol penyerang melalui dill.loads() ketika flag fitur --enable-custom-logit-processor diatur. Karena dill mengeksekusi metode __reduce__ dari setiap objek selama deserialisasi, satu HTTP POST ke endpoint /generate yang berisi field sampling_params.custom_logit_processor yang dirancang dengan cermat memicu eksekusi perintah OS arbitrer di dalam GPU inference worker sebelum token tunggal diambil. Tidak ada autentikasi yang diperlukan. Panduan deployment resmi untuk DeepSeek-R1 di Docker, SkyPilot, dan AWS SageMaker merekomendasikan --host 0.0.0.0 dan flag fitur, membuat banyak instans produksi langsung terpajan internet.
Vektor serangan
Penyerang mengirim satu HTTP POST ke /generate (atau endpoint yang kompatibel dengan OpenAI /v1/completions) dengan payload dill yang dikodekan heksadesimal di sampling_params.custom_logit_processor. Payload ini meledak saat deserialisasi sebelum pemrosesan prompt; tidak ada autentikasi, tidak ada batasan laju, dan tidak ada akses sebelumnya ke sistem yang diperlukan pada deployment yang terpajan internet secara default.
Sistem yang terdampak
Server inferensi SGLang yang dimulai dengan --enable-custom-logit-processor. Berisiko tinggi: deployment DeepSeek-R1 dan GLM-4 produksi yang mengikuti dokumentasi resmi; kluster penelitian dan instans GPU cloud yang terpajan di semua antarmuka seperti yang direkomendasikan oleh contoh Docker compose. Penyerang mendapatkan privilege dari proses inference worker (sering kali root dalam kontainer).
Mitigasi
Nonaktifkan --enable-custom-logit-processor kecuali benar-benar diperlukan. Jika diperlukan: batasi endpoint /generate di belakang autentikasi dan kontrol jaringan sehingga hanya pemangil terpercaya yang dapat menjangkaunya; ganti deserialisasi dill dengan mekanisme pemuatan processor yang allow-listed, terverifikasi tanda tangan, dan terbatas panjang. Audit semua deployment SGLang untuk paparan internet di port 30000.