정의
클라이언트 애플리케이션과 여러 AI 모델 또는 제공자 사이에 위치하는 중앙 인프라 구성 요소로, 요청을 라우팅하고, 자격 증명을 관리하며, 보안 정책을 시행합니다. 엔터프라이즈의 모든 AI 모델 트래픽에 대한 단일 제어 지점으로 작동합니다.
왜 중요한가
엔터프라이즈가 동시에 수십 개의 AI 모델과 제공자를 사용함에 따라, AI 게이트웨이는 거버넌스의 중요한 병목 지점이 됩니다. 사용량을 추적하고, 속도 제한을 시행하며, 프롬프트 인젝션을 스캔하고, 한 곳에서 모든 상호작용을 감사할 수 있습니다.