GS Caltex는 Amazon SageMaker Canvas를 이용해 프로세스 엔지니어가 코드 작성 없이 모델을 개발하고 검증하며, ML 엔지니어가 SageMaker Pipelines를 통해 배포 및 스케줄링을 담당하는 협업 체계를 구축했다. 이 과정에서 SageMaker Canvas에서 생성된 자산을 SageMaker Pipelines로 자동으로 연계하는 작업을 자동화해 통합 효율성을 높였다.
모델 배포 시간은 기존 약 일주일에서 몇 시간으로 크게 단축되었으며, 30분 단위로 배치 추론을 실행해 지속적으로 엔드포인트를 운영할 필요를 줄이고 추론 비용을 절감했다. SageMaker Pipelines는 서버리스 워크플로우 오케스트레이션을 제공해 실행 순서와 의존성을 관리하며, Amazon EventBridge를 통해 주기적 실행을 스케줄링한다.
전처리 흐름과 모델은 SageMaker Canvas에서 검증된 상태로 재사용되며, ML 엔지니어는 데이터 경로 설정, 모델 승인, 배포 및 실행 이력을 관리한다. 또한, 입력 데이터의 차이를 처리하기 위한 전처리 단계와 배치 추론 후 결과 조합 단계가 포함된 5단계 파이프라인을 구성해 안정적인 운영을 지원한다.
GS Caltex는 단계별 도입 방식을 통해 한 모델부터 검증을 시작해 점차 자동화와 표준화를 확대했다. 이로 인해 프로세스 엔지니어는 새로운 적용 분야를 제안하고, ML 엔지니어는 통합 작업 대신 파이프라인 운영과 모니터링에 집중할 수 있게 되었다.
출처: AWS AI
