Heimdallr 프레임워크, GitHub CI 워크플로우에서 LLM 유도 보안 위험 탐지

싱가포르 국립대학교와 ByteDance의 연구원들이 Heimdallr을 발표했습니다. 이는 GitHub CI 워크플로우에서 LLM 통합으로 인한 보안 위험을 탐지하는 하이브리드 분석 프레임워크입니다. 이 연구는 새로운 공격 표면을 특성화합니다: 외부에서 제어 가능한 입력(이슈 댓글, 풀 요청)이 LLM 프롬프트 및 출력을 형성할 수 있으며, 이는 보안 결정, 저장소 상태 또는 특권 실행에 영향을 미칩니다. Heimdallr은 트리거 가능성 분류에서 99.8% 정확도를 달성했으며 759개 저장소에 걸쳐 802개의 취약한 워크플로우 인스턴스를 공개했습니다.

공격자는 GitHub 이슈 댓글이나 풀 요청 설명에 정교한 텍스트를 삽입합니다. CI 워크플로우가 코드 리뷰, 트리아주 레이블링 또는 자동 병합 결정을 위해 이 텍스트를 LLM 프롬프트에 연결할 때, 공격자는 모델의 추론을 조종하고 생성된 출력을 조작하며 프롬프트 주입을 통해 비밀을 유출하거나 의도하지 않은 특권 작업(예: 악성 코드 자동 병합)을 트리거할 수 있습니다.

이슈 트리아주, 풀 요청 리뷰, 콘텐츠 생성 또는 저장소 유지 관리와 같은 자동화 작업을 위해 LLM을 통합하는 GitHub CI 워크플로우입니다. 연구팀은 802개의 취약한 인스턴스를 책임감 있게 공개했으며 71개의 승인을 받았습니다.

개발팀은 CI 워크플로우의 LLM 출력을 신뢰할 수 없는 데이터로 취급하여 특권 작업 전에 검증해야 합니다. 외부에서 제어 가능한 텍스트에 대한 엄격한 입력 살균을 구현하고, 보안 중요 결정에 대해 인간 개입 승인을 강제하며, LLM 도구 사용 권한을 감사하여 에이전트가 특권 API를 호출하는 것을 방지해야 합니다. Heimdallr 프레임워크는 조직이 자신의 CI 워크플로우를 스캔할 수 있도록 제공됩니다.