정의
AI 시스템이 해로운 콘텐츠를 생성하거나, 개인 데이터를 유출하거나, 조작되거나, 안전이 중요한 방식으로 실패하도록 만들려고 시도하는 내부 또는 외부 전담팀을 두는 관행입니다. 이는 윤리적 해킹의 사이버보안 관행을 반영하지만 AI 시스템에 특별히 맞춰진 것입니다.
왜 중요한가
표준 소프트웨어 테스팅은 AI 특화 장애 모드를 포착하지 못합니다. 배포 전 Red-teaming은 조직이 자신의 AI가 어떻게 악용될 수 있는지 발견하는 주요 방법이며, 규제당국은 이것이 수행되었다는 증거를 점점 더 기대하고 있습니다.