국민 200명이 고르는 국가대표 AI…글로벌 경쟁력 가릴 수 있나

[마이데일리 = 박성규 기자] 정부가 ‘국가대표 인공지능(AI)’을 가리는 2차 평가에 일반 국민 200명을 투입하기로 했다. 글로벌 AI 경쟁이 대화 품질을 넘어 장기 추론과 도구 활용 능력으로 이동하고 있는 가운데 전문성이 부족한 국민평가가 기술 경쟁력을 얼마나 정확히 가려낼 수 있을 지 주목된다.

4일 정보기술(IT) 업계에 따르면 과학기술정보통신부와 정보통신산업진흥원(NIPA)은 이날 오후 6시까지 ‘독자 AI 파운데이션 모델 프로젝트’ 국민 평가단 200명을 모집한다. 평가단은 오는 8일부터 11일까지 LG AI연구원과 SK텔레콤, 업스테이지, 모티프테크놀로지스 등 4개 정예팀의 모델을 직접 사용하고 절대평가 방식으로 점수를 매긴다.

평가 결과는 벤치마크와 전문가 심사 점수에 합산된다. 정부는 이를 토대로 정예팀을 4곳에서 3곳으로 줄일 예정이다. 국민 200명이 단독으로 국가대표 AI를 결정하는 구조는 아니지만 평가가 최종 순위에 미치는 영향은 아직 공개되지 않았다.

◇ 전문 사용자 49명서 국민 200명으로 확대

정부가 국민평가를 도입한 것은 벤치마크만으로 확인하기 어려운 실제 사용성을 검증하기 위해서다. 평가단은 주민등록 인구 통계를 기준으로 성별과 연령별 비율을 고려해 무작위로 선정된다.

1차 단계평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 당시 사용자 평가에는 AI 스타트업 대표 등 전문 사용자 49명이 참여해 현장 활용 가능성과 추론 비용 효율성 등을 살폈다. 사용자 평가가 전체 점수의 4분의 1을 차지한 셈이다.

2차 평가에는 일반 국민 200명의 평가가 반영되지만 세부 배점은 공개되지 않았다. 평가자가 동일한 문항과 조건에서 모델을 사용하는지, 모델 이름을 가린 채 평가하는지, 정확성과 응답 속도·편의성을 어떤 비율로 반영하는지도 알려지지 않았다. 과기정통부는 세부 기준과 결과를 이달 중 공개할 계획이다.

국민평가는 한국어 표현의 자연스러움과 지시 이해도, 답변의 유용성처럼 이용자가 체감하는 품질을 확인하는 데 의미가 있다. 다만 성별과 연령을 기준으로 구성한 200명의 평가가 기술 독자성과 추론 성능, 비용 효율성까지 판단하는 데는 한계가 있다는 지적이 나온다.

◇ 글로벌 AI는 ‘대화’ 넘어 장기 연구 경쟁

글로벌 AI 경쟁의 무대도 빠르게 바뀌고 있다. 오픈AI는 지난 1일 차세대 모델 ‘아스트라’의 내부 버전이 수학과 이론컴퓨터과학의 장기 미해결 문제 10개에서 문제를 해결하거나 유의미한 진전을 냈다고 공개했다. 모델이 논증을 생성하고 이를 수학 증명 시스템 ‘린’으로 형식화하는 단계까지 수행했다.

단순한 질의응답 품질보다 복잡한 문제를 장시간 추론하고 외부 도구를 사용해 결과를 검증하는 능력이 경쟁력의 기준으로 떠오른 것이다. 국가대표 AI의 글로벌 경쟁력을 가리려면 일반 이용자의 선호도뿐 아니라 에이전트 수행 능력과 추론 비용, 처리 속도, 안전성 등을 동일한 조건에서 비교해야 한다.

벤치마크 평가도 모델이 공개된 문제를 사전에 학습했거나 특정 시험에 맞춰 최적화됐을 가능성을 완전히 배제하기 어렵다. 전문가 평가와 실제 사용자 평가를 함께 운영하는 이유다. 평가 방식별 장단점이 다른 만큼 배점과 문항, 비교 조건을 투명하게 공개해야 결과의 신뢰성을 확보할 수 있다는 분석이다.

한 IT업계 관계자는 “국민평가는 벤치마크가 놓칠 수 있는 한국어 품질과 실제 사용성을 확인한다는 점에서 필요하다”며 “다만 글로벌 경쟁력은 장기 추론과 도구 활용, 비용, 안정성을 함께 봐야 하는 만큼 평가 문항과 배점, 모델별 비교 조건을 명확히 공개해야 결과에 대한 논란을 줄일 수 있다”고 말했다.