기술 설명
SGLang은 가장 널리 배포된 오픈소스 LLM 추론 서버 중 하나로(DeepSeek-R1, GLM-4 및 기타 인기 모델에 사용됨), --enable-custom-logit-processor 기능 플래그가 설정되면 dill.loads()를 통해 공격자가 제어하는 바이트를 역직렬화합니다. dill이 역직렬화 중 모든 객체의 __reduce__ 메서드를 실행하기 때문에, /generate 엔드포인트에 대한 단일 HTTP POST 요청(crafted sampling_params.custom_logit_processor 필드 포함)만으로 토큰 샘플링이 시작되기 전에 GPU 추론 워커 내부에서 임의의 OS 명령 실행이 트리거됩니다. 인증이 필요하지 않습니다. Docker, SkyPilot 및 AWS SageMaker의 공식 DeepSeek-R1 배포 가이드는 --host 0.0.0.0 및 해당 기능 플래그를 권장하므로, 많은 프로덕션 인스턴스가 인터넷에 직접 노출되어 있습니다.
공격 경로
공격자가 /generate(또는 OpenAI 호환 /v1/completions 엔드포인트)로 하나의 HTTP POST를 전송하며, sampling_params.custom_logit_processor에 16진수로 인코딩된 dill 페이로드를 포함합니다. 페이로드는 역직렬화 시 프롬프트 처리 전에 실행됩니다. 인증 불필요, 속도 제한 없음, 기본 인터넷 노출 배포의 시스템에 대한 사전 접근도 필요 없습니다.
영향받는 시스템
--enable-custom-logit-processor로 시작된 SGLang 추론 서버. 특히 위험함: 공식 문서를 따르는 프로덕션 DeepSeek-R1 및 GLM-4 배포; Docker compose 예제에서 권장하는 모든 인터페이스에 노출된 연구 클러스터 및 클라우드 GPU 인스턴스. 공격자는 추론 워커 프로세스의 권한(컨테이너에서는 종종 root)을 얻습니다.
완화 방안
--enable-custom-logit-processor를 비활성화하십시오(절대 필요한 경우 제외). 필수인 경우: /generate 엔드포인트를 인증 및 네트워크 제어 뒤에 제한하여 신뢰할 수 있는 호출자만 접근할 수 있도록 하십시오. dill 역직렬화를 allow-listed, 서명 검증, 길이 제한된 프로세서 로딩 메커니즘으로 교체하십시오. 모든 SGLang 배포를 30000 포트의 인터넷 노출에 대해 감사하십시오.