AI 코딩 에이전트는 여러 모델 호출을 통해 작업을 수행하며, 작업 단위 비용은 호출 횟수, 대화 기록 재생, 재시도 횟수 등에 따라 달라진다. 단순 토큰당 가격만으로는 전체 작업 비용을 판단하기 어렵다.
NVIDIA NeMo Switchyard는 AI 에이전트가 요청을 처리할 모델을 선택하도록 돕는 오픈소스 라이브러리로, Stage 라우팅과 Random 라우팅 전략을 지원한다. 이를 통해 비용 대비 효율적인 모델 선택이 가능하다.
AWS CDK를 사용해 LiteLLM과 Switchyard 플러그인을 포함한 게이트웨이를 AWS Fargate에 배포하고, Amazon Bedrock의 다양한 모델을 호출하는 환경을 구축한다. 보안 설정과 네트워크 구성도 함께 다룬다.
배포 후에는 샘플 코딩 작업을 통해 각 라우팅 전략과 단일 모델 그룹의 비용 대비 작업 성공률을 측정한다. 이를 통해 실제 업무에 적합한 라우팅 구성을 선택할 수 있다.
기사에서는 라우팅 전략 설정, 로컬 테스트, 배포, 비용 측정, 결과 해석 방법까지 단계별로 상세히 설명하며, AI 모델 운영과 비용 최적화에 관심 있는 개발자와 엔지니어에게 실용적인 가이드를 제공한다.
출처: AWS AI
