Amazon SageMaker HyperPod는 2026년에 Slurm 클러스터를 위한 선언적 관리 방식을 도입해 클러스터 정의, 노드 설정, 용량, 네트워크 토폴로지, 하드웨어 상태를 API 기반으로 관리할 수 있게 했다. 11월에는 소프트웨어 실행 계층을 위한 관리형 클러스터 확장 기능을 출시해 관측성과 사용자 관리 소프트웨어를 중앙에서 선언하고 자동으로 배포 및 유지할 수 있도록 지원한다.
기존에는 라이프사이클 스크립트를 통해 노드 소프트웨어를 관리했으나, 이는 변경 시 노드를 교체하거나 스크립트를 재실행해야 하는 불편함과 노드 간 설정 불일치 문제를 야기했다. 클러스터 확장 기능은 API 또는 콘솔에서 설정을 제출하면 사전 검증을 거쳐 모든 노드에 일관되게 적용되며, 상태와 건강 지표를 실시간으로 모니터링할 수 있다.
현재 제공되는 확장 기능은 관측성 확장과 사용자 관리 확장으로, 관측성 확장은 GPU, EFA, Slurm 작업 및 클러스터 메트릭을 수집해 Amazon CloudWatch 또는 Amazon Managed Service for Prometheus로 전송한다. 사용자 관리 확장은 모든 노드에 동일한 사용자 및 그룹을 생성하고 SSH 및 sudo 권한을 제어하며, Active Directory와 연동할 수 있다.
관리자는 콘솔 또는 API를 통해 확장 기능을 설치, 구성, 업데이트, 제거할 수 있으며, 확장 기능별로 별도의 권한 관리가 가능해 운영 팀 간 역할 분담이 용이하다. 또한 클러스터 확장 기능은 기존 라이프사이클 스크립트와 병행 사용 가능하며, 점진적 전환도 지원한다.
이 기능은 2026년 11월부터 Amazon SageMaker HyperPod가 지원되는 모든 리전에서 제공되며, 추가 비용 없이 사용 가능하다. 클러스터 운영자는 이 기능을 통해 클러스터 소프트웨어 관리의 복잡성을 줄이고, 안정적이고 일관된 클러스터 운영 환경을 구축할 수 있다.
출처: AWS AI
