“어디까지 믿나”… ‘신뢰성’, AI산업 주축 부상

시사위크=박설민 기자  챗GPT 등 인공지능(AI) 에이전트는 개인을 넘어 기업, 정부기관까지 사용하는 기술이 됐다. 하지만 ‘AI를 어디까지 믿어야 하나’에 대한 의문도 커지고 있다. 잘못된 정보를 전달하거나 개인정보가 유출되는 등 문제가 지속적으로 발생하면서다. 

AI분야 전문가들이 AI산업 발전을 위해선 ‘AI 신뢰성’ 분야도 함께 성장해야 한다고 강조하는 것도 이 때문이다. 이에 따라 AI 신뢰성 확보와 관련된 기술 개발과 연구, 관련 분야 시장·산업은 AI산업의 새로운 ‘블루오션’이 될 것이란 관측도 나오고 있다.

◇ “투명성부터 인류가치까지”… AI 신뢰성을 결정짓는 요소는

그렇다면 신뢰할 수 있는 AI란 무엇이라고 말할 수 있을까. ‘소프트웨어정책연구소(SPRI)’에서는 AI 신뢰성 판단을 위한 기준을 △프라이버시 보호 △견고성 △공정성 △투명성 △책임성 △인류가치 증진의 6가지로 정의했다. 이는 국내 주요 AI관련 기업을 대상으로 진행한 심층 인터뷰를 통해 조사된 것이다.

프라이버시 보호, 견고성, 공정성, 투명성, 책임성의 5가지 요소는 AI신뢰성 확보에 있어 갖아 기본적인 요소다. 세부 내용에 따르면 신뢰성 있는 AI는 개인정보 최소 수집과 데이터 정확성 확보, 보안 강화를 위한 시스템 구축, 학습 데이터 편향 제거 노력 등이 요구한다. 또한 AI 의사결정에 대한 명확한 설명과 거버넌스 체계 확립, 사고 발생 시 책임 문제 정립이 필요하다.

세부 내용을 살펴보면 먼저 ‘프라이버시 보호’의 경우 고객 개인정보 유출에 대한 우려 해결을 목표로 한다. 이에 따라 AI를 사용하는 기업은 필요한 데이터만을 수집해야 한다. 웹 공개 데이터 수집 시 저작권 문제나 데이터 정확성을 고려할 필요가 있다.

‘견고성’과‘ ’투명성‘은 보안 사고 예방을 위한 환경 구축, AI모델이 생성한 결과에 대한 명확한 설명이다. 현재 중소기업들의 경우 관련 내용들에 비용과 노력이 많이 발생하는 추세다. 또한 위험 관리를 위한 문서화와 같은 프로세스가 부족한 부분이기도 하다.

’공정성‘과 ’책임성‘은 수집 및 가공된 학습 데이터의 편향 제거를 위한 노력, AI 사고 발생 시 구체적인 책임과 사고 해결을 위한 거버넌스 체계의 필요성을 뜻한다. 해당 부분은 다양성 존중과 차별 금지, AI에 의한 우발적 사고 발생의 책임 소지를 명확하게 하는 부분이다.

이때 앞서 5가지 구분 요소들과 차별성이 있는 것은 ‘인류가치 증진’ 요소다. 소프트웨어정책연구소는 AI로 인한 인력 대체 효과로 인해 향후 노동력의 감소를 우려한다고 명시했다. 즉, AI 자체의 신뢰성이라는 것은 단순한 AI의 성능을 넘어 인간 사회에 어떤 영향을 미치는지도 판단 요소가 될 수 있다는 의미다.

소프트웨어정책연구소는 “최근 AI 기술의 발전은 AI 제품 및 서비스의 상용화와 보급을 촉진하는 데에 기여하고 있다”며 “사람을 대신하여 기피 작업을 AI가 수행함으로써 산업의 생산성에 기여하고 여러 긍정적인 영향을 줄 것으로 보인다”고 설명했다.

이어 “그러나 AI의 보급에 앞서 우리 사회가 사생활 침해, 오작동, 일자리 대체 등 AI가 초래할 수 있는 위험에 대해 충분히 이해하고 안전장치를 마련했는지에 대한 점검 역시 필수적이라고 할 수 있다”고 전했다.

◇ 관련 산업 급부상… 국내선 ‘씽크포비엘’에 주목

AI 신뢰성 확보가 AI산업의 새로운 주요 축으로 자리 잡으면서 관련 기술 시장은 매해 급격한 성장을 보이고 있다. 글로벌시장조사업체 ‘그랜드 뷰 리서치’에 따르면 AI 신뢰, 위험 및 보안 관리 시장 규모는 2024년 23억4,000만달러로 추산된다. 2030년에는 연평균 성장률 21.6%를 보이며 74억4,490만달러에 이를 전망이다.

그랜드 뷰 리서치는 “기업들은 AI를 책임감 있게 관리하기 위해 AI 거버넌스 솔루션을 점점 더 많이 찾고 있다”며 “동시에, 진화하는 규제는 규정 준수를 보장하기 위해 AI 신뢰성 기술 도입을 의무화하는 추세”라고 분석했다.

다만 AI를 사용하는 기업들이 신뢰성 있는 모델과 관련 규제 등을 과제 자체가 쉬운 일이 아니다. 특히 중소기업과 스타트업은 대기업과 비교해 AI 신뢰성 거버넌스를 구축하는 것이 더욱 어렵다는 게 전문가들의 설명이다. 인력과 비용, 시스템 자원 모두 부족해서다. 특히 국내선 관련 기술을 전문적으로 개발하는 기업은 거의 없다시피한 실정이다.

이 같은 문제를 해결하기 위해 등장하는 사업 분야가 바로 ‘AI 신뢰성 컨설팅’이다. 기업이 자체적으로 AI 신뢰성 확보가 어려울 경우, 이를 전문적으로 가능한 다른 곳에 컨설팅을 맡기는 방식이다. 국내서는 대표적으로 ‘씽크포비엘(ThinkforBL)’을 꼽을 수 있다.

씽크포비엘은 AI 신뢰성을 법적 준거성·윤리적 정당성·기술적 견고성을 동시에 만족하는 상태로 정의, AI를 설계·검증·운영에서 ‘책임질 수 있는 상태’로 만들어 주는 기술을 중점적으로 개발 중이다. 

주목할 기술로는 ‘리인(RE:IN)’이 있다. 이는 씽크포비엘이 자체 개발한 데이터 밸런스 기술 기반 AI 신뢰성 검증 설계 도구다. ‘신뢰할 수 있는(Reliable)’과 ‘지능(Intelligence)’ 단어를 조합한 명칭이다. 해당 기술은 현재 한국SW테스팅협회의 ‘AI TRUST’ 인증에 평가 방식으로 공식 반영됐다. 

정부 기관과의 AI 신뢰성 검증 사업도 진행 중이다. 씽크포비엘 측에 따르면 2020년에는 광산구청과 함께 ‘공공데이터 구축·가공 및 데이터 기업 매칭 지원사업’도 진행했다. 또한 국방 분야에서 데이터 편향 문제 및 AI모델 견고성 평가를 위한 사업도 맡아 진행한 것으로 알려졌다.

씽크포비엘 관계자는 “당시 광산구청과 함께 진행한 사업에서는 광산구 주민의 공공보건의료 통합 데이터의 신뢰성을 분석하는 역할을 맡았다”며 “중복된 데이터를 학습한 AI의 경우 신뢰성이 떨어지는 결과를 내보냈는데 이 문제를 해결하는게 씽크포비엘의 주 역할이었다”고 전했다.