[최홍규의 AI 컨텍스터 선언 30] 텍스터는 질문만 건네고, 컨텍스터는 사정까지 건넨다

[프라임경제] 한 사람은 어두운 방에 누워 쉬라는 말을 들었고, 다른 한 사람은 당장 응급 진료를 받으라는 말을 들었다.

두 사람이 인공지능(AI)에게 적어 보낸 글은 거의 같았다. 끔찍한 두통과 뻣뻣한 목, 빛을 견디기 힘든 증상을 적었다. 논문이 짚은 차이는 하나였다. 두통이 갑자기 시작됐다고 적은 사람이 둘 가운데 한 명뿐이었다. 둘은 환자가 아니라 실험 참가자였고, 이 장면은 영국 옥스퍼드대학교(University of Oxford), 그리고 AI 평가 기준을 만드는 기술 협의체 엠엘커먼스(MLCommons) 등이 참여한 연구팀이 올해 2월 발표한 논문에 실렸다.

실험은 이렇게 진행됐다. 연구팀은 영국 성인 1298명에게 몸이 아픈 사람의 사정이 적힌 글을 읽혔다. 의사들이 만든 가상의 사례 열 가지 가운데 하나였다. 참가자는 자신이 그 사람이라고 치고 두 가지를 정해야 했다. 무슨 병이 의심되는지, 그리고 집에서 쉬는 것부터 구급차를 부르는 것까지 다섯 단계 가운데 무엇이 알맞은지였다. 참가자는 무작위로 나뉘어 세 집단은 저마다 AI 챗봇 세 종 가운데 하나와 대화하며 답을 정했고, 나머지 한 집단은 평소 집에서 하던 대로 알아보았다. 대부분 인터넷 검색이나 자기 지식에 기댔다.

연구팀은 비교용으로 한 가지를 더 했다. 같은 사례를 AI에게 통째로 넣고, 사람 없이 AI가 직접 답하게 한 것이다. 이때 AI가 관련 있는 병을 하나라도 짚은 경우는 평균 94.9%였다. 그런데 AI와 대화하며 푼 참가자들이 관련 있는 병을 하나라도 적어 낸 경우는 34.5%에도 미치지 못했다. 병을 짚는 데서는 평소 방식으로 알아본 집단이 AI의 도움을 받은 집단보다 나았고, 그 차이는 우연이라 보기 어려웠다. 알맞은 조치를 고르는 데서는 두 집단 사이에 뚜렷한 차이가 나타나지 않았다.

AI 혼자서는 병을 잘 짚던 문제가 사람을 거치자 왜 이렇게 무너졌을까.

연구팀은 대화 기록을 열어 보았다. 사람이 사례의 내용을 AI에게 다 전하지 못한 경우가 있었고, AI가 사람의 말을 잘못 읽은 경우도 있었다. 무작위로 고른 대화 30건 가운데 16건에서 사람의 첫 메시지에는 증상의 일부만 담겨 있었다. 한 사례에서는 통증이 어디에 있는지, 얼마나 심한지, 얼마나 자주 오는지가 모두 빠져 있었다. 사용자가 무엇을 말하느냐에 따라, AI가 올바른 조언을 하기에 정보가 모자란 경우가 있었다고 연구팀은 논의했다.

이 연재에서 텍스터는 글줄만 주고받는 사람이다. 질문을 던지고, 돌아온 답을 받아 든다. 컨텍스터는 글줄 뒤에 있는 사정, 곧 맥락을 쥐고 있다가 질문과 함께 건네는 사람이다. 이 실험에서 사정을 가진 쪽은 처음부터 사람이었다. 사례를 읽은 것은 참가자였고, AI가 볼 수 있는 것은 참가자가 옮겨 적은 글줄뿐이었다. 옮겨 적지 않은 사정은 AI에게 없는 사정이 된다. 그러니 글줄 하나가 있느냐 없느냐에 따라 조언이 달라질 수 있다. 같은 사례를 통째로 받은 AI와, 사람을 거치며 사정이 일부만 전해진 AI의 성적이 갈린 까닭 가운데 하나가 이 자리에 있다.

텍스터는 사정은 접어 두고 질문부터 던진다. 답이 마음에 들지 않으면 한 줄을 보태고, 또 한 줄을 보탠다. 대화하는 기분이라 자연스럽다. 그러는 사이 AI는 모자란 사정을 모른 채 답을 내놓는다. 컨텍스터는 묻기 전에 먼저 모은다. 이 일에서 내 사정 가운데 답을 바꿀 것이 무엇인지 따져 보고, 그것을 질문과 함께 건넨다. 언제부터 그랬는지, 어디가 어떻게 문제인지, 지금까지 무엇을 해 보았는지 같은 것들이다.

이를테면 팀 회식 장소를 AI에게 부탁한다고 하자. 텍스터는 '회식 장소 추천해 줘' 한 줄을 보낸다. 컨텍스터는 같은 부탁에 사정을 붙인다. 모임은 12명이고, 1명은 채식을 하며, 예산은 인당 3만원이고, 장소는 퇴근 후 걸어갈 만한 거리여야 한다. AI는 두 사람 모두에게 답을 내놓는다. 다만 텍스터가 받은 답은 12명 모임인지, 채식하는 동료가 있는지 모르는 채로 나온 답이다.

AI가 틀리면 우리는 AI의 실력부터 따진다. 하지만 AI가 아는 우리의 사정은 우리가 적어 준 만큼이다. 적지 않은 사정은 어디에도 남지 않고, 그 빈자리는 AI의 짐작으로 채워지기 쉽다. 좋은 답은 AI가 얼마나 아느냐 못지않게 우리가 무엇을 건넸느냐에서 나온다.

사정을 건네는 일은 번거롭다. 1줄이면 될 자리에 10줄을 쓰고, 쓰기 전에 내 사정부터 정리해야 한다. 그러나 그 정리는 AI를 위한 수고이기 전에 나를 위한 수고다. 내 일의 어디가 핵심인지 모르는 사람은, AI가 무슨 답을 내놓아도 그 답이 내게 맞는지 가릴 수 없다. 질문만 건네는 사람은 답을 기다리고, 사정까지 건네는 사람은 답을 가려 읽는다.

AI의 답을 탓하기 전에 우리는 질문 말고 무엇을 건넸는가.