AI 에이전트가 문서를 평가할 때는 단순 검색 결과와 달리 구조, 엔티티 추출, 사실 일관성 등을 빠르게 점검합니다. 이를 위해 Agent Engine Optimization(AEO)이라는 다단계 평가가 필요하며, AWS Lambda 내구 함수를 활용해 이를 구현할 수 있습니다.
이 파이프라인은 HTTP GET으로 페이지를 가져와 다섯 가지 AEO 신호(발견 가능성, 파싱 가능성, 토큰 효율성, 기능 신호, 접근 제어)를 점수화합니다. 점수 산정은 결정론적이며, Amazon Bedrock이 분석 및 권고문을 생성합니다.
각 단계는 체크포인트로 관리되어 실패 시 해당 단계부터 재시작 가능하며, 비용 발생을 최소화합니다. 결과는 Amazon S3에 저장되고, DynamoDB에 점수와 메타데이터가 기록되어 추세 분석이 가능합니다.
파이프라인은 AWS SAM 템플릿으로 배포 가능하며, 필요시 사람의 승인 단계를 콜백으로 추가할 수 있습니다. 이를 통해 자동화된 AI 문서 평가와 지속적 모니터링이 가능해집니다.
출처: AWS Compute
