AWS는 SGLang-Neuron을 공개하며, 이를 AWS Deep Learning Container를 통해 제공한다. 이 플러그인은 SGLang 인터페이스를 유지하면서 Trainium 칩에서 AI 모델을 실행할 수 있게 한다.
SGLang-Neuron은 PyTorch 네이티브 디바이스로 Trainium을 등록하고, Neuron Kernel Interface를 활용해 성능 최적화를 이룬다. 또한, 분산 처리 구성을 지원해 프롬프트 캐시를 효율적으로 관리한다.
사용자는 Trainium3 EC2 인스턴스와 pytorch-inference-sglang-neuronx 컨테이너를 이용해 손쉽게 모델 서버를 시작하고 요청을 처리할 수 있다.
이 기술은 기존 SGLang 워크플로우를 유지하면서 AWS의 AI 칩에서 고성능 AI 모델 서빙을 가능하게 해, AI 개발자들에게 새로운 선택지를 제공한다.
출처: AWS AI
