카카오, ‘카나나-2’ 안전성 검증…유사 규모 글로벌 모델 상회

[마이데일리 = 박성규 기자] 카카오가 자체 개발한 경량 언어모델(SLM) ‘카나나2’ 시리즈의 안전성 평가 결과를 공개했다. 유사한 파라미터 규모의 구글 ‘젬마’와 알리바바 ‘큐웬’을 비교 대상으로 한 평가에서 두 모델 모두 가장 높은 종합 점수를 기록했다.

18일 카카오에 따르면 지난달 28일 오픈소스로 공개한 ‘카나나2 1.3B 인스트럭트’와 ‘카나나2 3B 인스트럭트’를 자체 구축한 AI 안전성 평가 플랫폼을 통해 검증했다.

평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), 한국과학기술원(KAIST), 카카오 등이 공동 구축한 한국어 특화 안전성 벤치마크 ‘어써AI(AssurAI)’가 활용됐다.

어슈어AI는 한국의 사회·문화적 맥락을 반영한 AI 안전성 평가 체계로 총 35개 리스크 카테고리와 9560개 평가 항목으로 구성된다. 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역으로 재분류해 평가했다.

평가에는 AI 모델이 사전에 정의된 기준에 따라 응답을 채점하는 ‘LLM 심사’ 방식도 적용했다.

카나나2 1.3B 인스트럭트는 종합 점수 0.70을 기록해 젬마 0.68, 큐웬 0.58을 웃돌았다. 카나나2 3B 인스트럭트도 0.70점으로 젬마 0.66, 큐웬 0.62보다 높았다.

세부 항목에서는 1.3B 모델이 범죄·불법 행위 영역에서 상대적으로 높은 점수를 기록했다. 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델보다 높은 성능을 보였다.

카카오는 향후 자체 개발 AI 모델에 사전 안전성 평가를 상시 적용할 계획이다. 평가 범위도 텍스트 기반 언어모델에서 멀티모달 모델과 에이전틱 AI 리스크까지 단계적으로 확대한다.

김경훈 카카오 AI 세이프티 리더는 “이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개하고자 한 사례”라며 “앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것”이라고 말했다.