정의
악의적인 지시가 AI가 읽는 텍스트(예: 문서, 이메일 또는 웹 페이지) 내에 숨겨져 있어 AI를 속여서 원래의 지시를 무시하고 대신 공격자가 원하는 일을 하도록 만드는 공격입니다. CEO의 메모를 위조하여 직원의 받은편지함에 몰래 넣는 것과 같다고 생각하면 됩니다. AI는 운영자의 정당한 지시와 공격자의 위조된 지시 간의 차이를 안정적으로 구분할 수 없습니다.
왜 중요한가
고객 이메일, 웹 페이지, 업로드된 문서 등 외부 콘텐츠를 읽거나 요약하는 모든 AI는 잠재적인 공격 대상입니다. 공격이 성공하면 AI가 기밀 데이터를 유출하거나, 무단으로 작업을 수행하거나, 사용자나 운영자가 인식하지 못한 채 잘못된 정보를 퍼뜨릴 수 있습니다.