SK텔레콤, 340억 매개변수 AI 모델 A.X 3.1 공개

[포인트경제] SK텔레콤은 24일 자체 개발한 대규모 언어 모델(LLM) ‘A.X 3.1’을 오픈소스 커뮤니티 허깅페이스(Hugging Face)에 공개했다. A.X 3.1은 340억 개(34B)의 매개변수를 기반으로 하며, SK텔레콤이 프롬 스크래치(From Scratch) 방식으로 모델 구축과 데이터 학습 등 전 과정을 직접 수행했다.

이번에 공개한 A.X 3.1은 이전 버전인 A.X 3.0 대비 코드와 수학 성능을 대폭 향상시켰다. A.X 3.0이 한국어 대화 성능에 집중했다면, A.X 3.1은 추론 모델로의 확장 가능성을 고려해 설계됐다. SK텔레콤은 프롬 스크래치 방식의 A.X 3.1 모델 2종(표준, 경량)과 대규모 학습(CPT, Continual Pre-Training)에 기반한 A.X 4.0 모델 2종(표준, 경량)까지 총 4개의 모델을 오픈소스로 공개했다. 이들 모델은 학술 연구와 상업적 용도에 자유롭게 활용할 수 있다.

A.X 3.1(34B)은 A.X 4.0(72B)과 비교할 때 절반 이하의 매개변수로 구성됐으나, 동일한 한국어 서비스에 적용할 경우 약 90% 수준의 성능을 발휘한다. 사용자들은 A.X 3.1과 A.X 4.0 중 사용 환경에 맞는 성능과 효율을 고려해 선택할 수 있다.

한국어 능력 평가 벤치마크인 KMMLU(Measuring Massive Multitask Language Understanding in Korean)에서 A.X 3.1은 69.20점을 기록해 A.X 4.0(78.3점) 대비 88% 수준의 성능을 나타냈다. 또한 한국어 및 한국 문화 벤치마크인 CLIcK(Cultural and Linguistic Intelligence in Korea)에서는 A.X 3.1이 77.1점, A.X 4.0이 85.7점으로 A.X 3.1이 90% 수준의 성능을 기록했다.

SK텔레콤은 확보한 LLM 기술 역량을 바탕으로 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델 사업’에 지원했다. SK텔레콤 컨소시엄은 반도체, 모델, 데이터, 서비스로 이어지는 독자 기술 기반의 풀스택 AI 구현과 개발 모델을 국내 AI 생태계의 다양한 기업에 오픈소스로 개방하는 것을 목표로 한다.

컨소시엄에는 국내 최대 게임 상장사 크래프톤, 모빌리티 데이터 전문 기업 포티투닷, 추론형 AI 반도체(NPU) 제작사 리벨리온, 전문 지식·정보 검색에 특화된 AI 에이전트 라이너, AI 모델 데이터 안정성 기술을 보유한 셀렉트스타 등 다양한 분야의 기업과 서울대학교 연구실, KAIST 연구진이 참여한다.

또한 SK텔레콤 컨소시엄이 개발하는 AI 모델 사용 의향서를 제출한 기업에는 SK하이닉스, SK이노베이션, SK AX, SKB 등 SK그룹사와 SK텔레콤이 주도하는 K-AI 얼라이언스 참여사인 몰로코(AI 광고), 씨메스(제조 AI), 가우스랩스(제조 AI), 스캐터랩(감성 AI) 등이 포함됐다. 참여 의향서 제출 기업은 앞으로 더 늘어날 예정이다.

SK텔레콤 컨소시엄은 자체 개발 LLM인 A.X와 각 참여사가 보유한 LLM 및 데이터를 기반으로 대한민국을 대표하는 독자 파운데이션 신규 모델을 개발할 계획이다. 특히 기존 규모를 뛰어넘는 초거대 AI 모델 개발에 도전하며, 텍스트뿐 아니라 이미지, 음성, 비디오 등 다양한 형태의 데이터를 통합 처리하는 ‘옴니모달(Omni-Modal)’ 기술을 적용한다.

또한 AI 업계의 표준인 트랜스포머 구조를 넘어서는 혁신적인 신규 구조 연구를 추진해 글로벌 AI 경쟁에서 대한민국만의 독자적인 기술 경쟁력을 확보한다.

김태윤 SK텔레콤 파운데이션 모델 담당은 "각 분야 선도기업들과의 컨소시엄 구성으로 소버린 AI 분야에서 새로운 성과를 만들어낼 것"이라며 "국내 AI 생태계를 종합적으로 고려해 혁신적인 인공지능 모델을 선보일 계획"이라고 밝혔다.