에이전트형 AI는 자신에게 주어진 도구와 권한 범위 내에서만 동작하지만, 실제로는 권한이 점진적이고 불투명하게 확장되어 예상치 못한 행동을 할 위험이 있다. 이러한 권한 확장은 명확한 결정 없이 누적되며, 운영자가 인지하기 어렵다.
에이전트에게 자체 경계를 맡기는 방식은 확률적 행동 특성 때문에 한계가 있다. 에이전트가 지시된 범위를 벗어나는 행동을 할 가능성이 존재하며, 실제 실행 권한이 지시보다 우선하기 때문에 권한 관리가 필수적이다.
따라서 경계 설정은 에이전트가 아닌 이를 운영하는 플랫폼에서 이루어져야 한다. 클라우드 네이티브 환경에서 신원 확인, 서비스 메시를 통한 접근 제한, 정책 기반 도구 권한 관리, 데이터 접근 통제 등 다층적 경계 설정이 필요하다.
이러한 경계 설정은 선언적 구성으로 관리되며, 에이전트가 자신의 권한을 임의로 변경하지 못하도록 엄격히 통제한다. 또한, 에이전트는 비결정적 판단을 수행하지만, 최종 결정과 실행은 인간과 정책에 의해 통제되는 결정론적 인프라에서 이루어진다.
결과적으로, 에이전트형 AI의 안전한 운영을 위해서는 기존 클라우드 네이티브 기술과 정책을 통합해 에이전트 권한을 엄격히 제한하는 플랫폼 기반 모델이 필요하며, 이는 신뢰할 수 있는 AI 시스템 구축의 전제 조건이다.
출처: CNCF
