AI 코딩 및 터미널 에이전트는 단순 텍스트 생성뿐 아니라 저장소 검사, 파일 읽기, API 호출, 명령 실행 등 민감한 개발 환경에 접근할 수 있다. 이로 인해 후처리 단계에서 숨겨진 백도어가 활성화되면 시스템에 심각한 영향을 미칠 수 있다.
마이크로소프트 연구팀은 데이터셋 중독과 모델 중독 두 가지 공격 방식을 실험했다. 데이터셋 중독은 미세 조정 데이터에 악성 예제를 숨겨 에이전트가 정상 요청에도 악성 도구를 호출하도록 학습시키는 방식이다. 모델 중독은 공격자가 훈련부터 모델 가중치를 조작해 배포하는 방식으로, 더 높은 성공률과 전이성을 보였다.
데이터셋 중독 실험에서는 1%의 악성 예제를 주입해 78%의 공격 성공률을 기록했으며, 유사 문구에도 공격이 일반화되었다. 모델 중독 실험에서는 84%에서 95%까지 높은 성공률을 보였고, 다양한 에이전트 환경에서도 백도어가 작동하는 것을 확인했다.
이러한 공격은 평범한 사용자 요청이나 저장소 내 파일명, 코드 주석 등에서 트리거될 수 있어 탐지가 어렵다. 따라서 훈련 데이터 검증, 체크포인트 출처 확인, 도구 권한 최소화, 실행 격리, 실시간 모니터링 등 다층적 보안 대책이 필요하다.
연구진은 AI 에이전트 보안이 모델 자체뿐 아니라 훈련 데이터와 도구 실행 경계까지 포함하는 소프트웨어 공급망 보안 문제임을 강조하며, 기업들이 이를 인지하고 엄격한 통제와 평가를 병행할 것을 권고한다.
