벤치마크 1위 탈락에 독파모 ‘평가판’ 흔들…정부도 재검토

[마이데일리 = 박성규 기자] 정부의 ‘독자 AI 파운데이션 모델’ 프로젝트가 3차 평가를 앞두고 평가 기준 논쟁에 휩싸였다. 글로벌 벤치마크에서 참여 모델 중 가장 높은 점수를 받고도 탈락한 모티프테크놀로지스가 공식 이의를 제기한 가운데 정부도 급변하는 인공지능(AI) 기술 흐름에 맞춰 평가 방식을 보완하겠다고 밝혔다. 프론티어급 모델 확보를 위해 ‘성능’과 ‘사용성’을 각각 얼마나 평가에 반영할지를 둘러싼 논쟁이 본격화하는 모습이다.

27일 모티프테크놀로지스는 독파모 2차 단계평가 결과와 관련해 과학기술정보통신부에 정식 이의신청을 냈다. 전체 업체의 항목별 상세 점수와 평가 내용, 벤치마크 배점 산정 방식, 전문가 평가 기준, 사용자 평가 방법론 등을 공개하고 평가 결과를 재심의해 달라고 요구했다.

모티프는 다만 탈락 결정을 뒤집어 3차 평가에 다시 참여하려는 목적은 아니라고 밝혔다. 이의신청 결과와 관계없이 독파모 3차 단계에는 참여하지 않겠다는 입장이다.

◇ AAII 47점 압도했지만 최종 탈락

논란의 핵심은 벤치마크 성능과 최종 평가 결과가 엇갈렸다는 점이다.

모티프가 개발한 ‘모티프 3’는 글로벌 AI 분석기관 아티피셜 어낼리시스의 지능지수(AAII)에서 47점을 기록했다. 독파모 참여 모델 가운데 가장 높았다. 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원은 31점이었다. 하지만 지난 18일 발표된 종합평가에서는 LG AI연구원과 SK텔레콤, 업스테이지가 3차 단계에 진출하고 모티프는 탈락했다.

2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 벤치마크는 AAII 25점과 한국지능정보사회진흥원(NIA) 평가 15점으로 나뉘었다. 벤치마크 영역 1위와 4위의 실제 평가 점수 차이는 4점이었다. 전문가 평가는 1위와 4위가 2.4점, 사용자 평가는 5점 차이를 보였다.

모티프는 이 같은 배점 방식이 실제 모델 간 성능 격차를 충분히 반영하지 못했다고 주장한다. AAII 원점수에서는 모티프와 LG AI연구원의 차이가 16점이지만 25점 만점의 평가 점수로 환산하면 격차가 4점으로 줄어든다는 것이다.

모티프는 독파모가 당초 글로벌 프론티어 모델 대비 95% 수준의 성능 확보를 목표로 제시했다는 점도 강조했다. 글로벌 프론티어 모델의 AAII 점수를 63점으로 볼 경우 자체 모델의 47점도 약 75% 수준인 만큼 국내 모델의 성능을 이미 충분한 수준으로 보기는 어렵다는 주장이다.

◇ 정부 “성능만 보는 사업 아니다”…3차 평가 손질

정부는 벤치마크 성능만으로 최종 모델을 선정할 수는 없다는 입장이다.

과기정통부는 독파모의 목표에는 모델 성능뿐 아니라 실제 서비스와 산업 현장에서 활용할 수 있는지도 포함된다고 설명했다. 이를 위해 전문가 평가의 활용성 배점을 기존 10점에서 15점으로 높이고 실사용자 평가 25점을 반영했으며, 해당 기준은 참여 기업과 협의를 거쳐 사전에 공지했다고 밝혔다.

정부는 벤치마크 자체의 신뢰성에도 문제가 없다는 입장이다. 과기정통부는 앞서 AAII 평가기관에 벤치마크 과적합 여부를 확인한 결과 체계적인 암기나 과적합 문제가 입증되지 않았다는 답변을 받았다고 설명했다.

다만 정부 역시 현행 평가 방식을 그대로 유지하지는 않을 방침이다.

배경훈 부총리 겸 과기정통부 장관은 이날 “1년 반 전 수립된 평가나 경쟁 방식이 3~6개월 단위로 급변하는 AI 트렌드에 여전히 유효한지 근본적인 고민이 필요한 시점”이라며 평가 제도 보완을 검토하겠다고 밝혔다.

3차 평가에서는 AI 에이전트와 고난도 추론, 코딩 등 최근 글로벌 AI 모델 경쟁의 변화도 반영될 전망이다. 정부는 참여 기업들과 개발 방향과 평가 방식을 다시 논의할 계획이다.

◇ 세부 점수 공개도 쟁점…이의신청 15일 내 처리

평가 결과의 투명성도 쟁점으로 떠올랐다. 모티프는 특히 전문가·사용자 평가가 벤치마크 결과를 뒤집은 구체적인 근거를 공개해야 한다고 주장했다. 사용자 평가에서는 대기업과 스타트업의 브랜드 인지도가 평가에 영향을 줄 가능성을 이유로 블라인드 평가를 요청했다며 실제 평가 방식과 조건도 공개해 달라고 요구했다.

과기정통부는 개별 기업에는 1위 점수와 평균값을 포함한 상세 결과를 이미 전달했다는 입장이다. 전체 업체의 세부 점수 공개 여부는 탈락 기업에 미칠 영향과 AI 생태계 파급 등을 고려해 추가 검토하기로 했다.

모티프의 이의신청은 평가 절차와 형식상 부당함이 있었는지를 중심으로 검토한다. 정부는 관련 규정에 따라 15일 이내 최종 결정을 내릴 예정이다.

한 IT업계 관계자는 “프론티어 모델을 목표로 한다면 글로벌 수준의 성능을 끌어올리는 것과 실제 산업에서 쓸 수 있는 모델을 만드는 것 모두 중요하다”며 “정부가 어떤 모델을 뽑겠다는 것인지 참여 기업들이 명확하게 이해할 수 있도록 평가 기준과 결과를 보다 투명하게 제시할 필요가 있다”고 말했다.