삼성SDS, B300 GPU로 AI 추론 시장 공략…국내 최초 서비스 출시

[마이데일리 = 박성규 기자] 삼성SDS가 차세대 GPU를 앞세워 AI 인프라 경쟁을 한 단계 끌어올렸다. 기업들이 AI 개발을 넘어 실제 서비스 운영 단계로 이동하는 흐름에 맞춰 ‘AI 추론’ 성능을 강화하는 전략이다.

23일 삼성SDS는 자사 클라우드 ‘SCP(삼성 클라우드 플랫폼)’를 통해 엔비디아 최신 GPU ‘B300’ 기반 GPUaaS 서비스를 국내 최초로 출시했다고 밝혔다.

B300 GPU는 고대역폭 메모리(HBM3E)를 적용해 GPU당 288GB 메모리와 초당 8TB 대역폭을 제공한다. 기존 H100 대비 메모리 용량은 3.6배, 대역폭은 2.4배 향상됐다. 대규모 언어모델(LLM) 실행 시 발생하는 데이터 전송 병목을 줄여 AI 추론 성능을 크게 개선한 것이 특징이다.

AI 산업이 학습 중심에서 실제 서비스 운영 단계로 이동하면서 고성능 추론 인프라 수요는 빠르게 늘고 있다. 삼성SDS는 이번 서비스 출시로 AI 에이전트, 이미지·영상 생성, 코드 분석 등 고성능 연산이 필요한 영역에서 지연 시간을 줄이고 기업 적용성을 높일 수 있을 것으로 보고 있다.

GPUaaS 전략도 고도화되고 있다. 삼성SDS는 A100, H100에 이어 B300까지 선제적으로 도입하며 GPU 기반 클라우드 생태계를 확장해 왔다. 구독형 모델을 통해 초기 투자 부담을 낮추고, GPU 수급이 어려운 상황에서도 최신 인프라를 즉시 활용할 수 있도록 한 점도 강점이다.

향후에는 서버리스 기반 AI 추론 서비스와 자동 분산 학습 기능도 추가할 계획이다. 사용량 기반 과금 구조를 통해 기업들이 보다 유연하게 AI 서비스를 도입할 수 있도록 지원한다는 방침이다.

이호준 삼성SDS 클라우드서비스사업부장(부사장)은 “GPU 효율화와 보안 역량을 기반으로 기업 고객의 AI 전환을 지원하겠다”며 “차세대 AI 인프라를 통해 다양한 산업에서 활용도를 높여 나가겠다”고 말했다.