Amazon EC2는 가속 컴퓨팅 인스턴스에서 GPU의 활용도, 온도, 메모리 사용량 등 다양한 성능 지표를 1분 단위로 상세 모니터링할 수 있는 기능을 제공한다. 이 기능은 인스턴스 내 별도의 에이전트 없이 작동하며, 수집된 데이터는 Amazon CloudWatch와 OpenTelemetry Metrics로 전송된다.
성능 상태 점검 기능은 GPU 메모리 오류와 같은 복구 가능한 하드웨어 문제를 감지해 사용자에게 알리고, 재부팅이나 GPU 리셋과 같은 권장 조치를 안내한다. 이를 통해 인프라 운영팀은 가속 컴퓨팅 자원의 가용성을 높이고, 장애 발생 시 신속하게 대응할 수 있다.
모니터링 데이터는 인스턴스 단위뿐 아니라 개별 GPU 단위로도 제공되어, 각 GPU의 UUID를 기반으로 세밀한 자원 관리가 가능하다. 또한, 인프라 운영팀은 CloudWatch 알람을 설정해 문제 발생 시 자동화된 대응 체계를 구축할 수 있다.
이 기능들은 대규모 머신러닝 훈련, 분산 파인튜닝, 실시간 추론 등 고부하 워크로드를 운영하는 고객에게 특히 유용하며, 인프라와 애플리케이션 팀 간의 협업을 통해 GPU 자원의 효율성을 극대화할 수 있다.
출처: AWS Compute
