[최홍규의 AI 컨텍스터 선언⑩] 텍스터는 위임하고, 컨텍스터는 책임진다

[프라임경제] 가까운 미래에 충분히 발생할 만한 일을 떠올려보자. 병원에서 의료진이 인공지능(AI) 진단 보조 시스템의 권고를 따랐다. 결과는 틀렸다. 나중에 밝혀진 것은, 당시 AI의 오류를 의심할 수 있는 단서가 충분히 있었다는 사실이다. 의료진은 그것을 보았지만, 확인하지 않았다. AI가 제시한 숫자가 눈앞에 있으니, 더 생각할 이유가 없었다. 이것이 '자동화 편향(automation bias)'이다. AI의 추천을 의심 없이 따르는 순간, 판단은 위임되고 책임은 공중에 떠버린다.

이탈리아 카타니아 대학교(University of Catania)의 주세페 로메오(Giuseppe Romeo)·다니엘라 콘티(Daniela Conti) 연구팀은 2026년 7월 학술지 『AI & 소사이어티(AI & SOCIETY)』를 통해 발표한 논문에서 2015년부터 2025년까지 10년간의 관련 연구 35편을 종합해 이 현상을 체계적으로 분석했다. 

논문의 결론을 주목해 볼 만하다. AI 추천에 대한 과잉 의존은 의료, 법률, 공공행정 등 고위험 영역 전반에서 반복적으로 확인된다. 흥미로운 것은 AI 시스템이 '왜 이런 결론을 냈는지' 설명을 덧붙여도, 그 설명이 판단 오류를 줄이지 못한다는 점이다. 너무 기술적인 설명은 인지 과부하를 일으키고, 너무 단순한 설명은 오히려 맹목적 신뢰를 강화했다. 

연구팀은 자동화 편향을 줄이는 가장 유효한 개입점은 AI에 대한 설명이 아니라, 사용자 스스로의 검증을 포함한 적극적 참여(user engagement)라고 강조한다. AI가 틀릴 수 있다고 인지하고 직접 확인하려는 태도, 그것이 편향을 줄이는 결정적 요인이었다.

이 결과를 앞에 두고, 오래전 한 철학자의 말이 떠오른다. 한나 아렌트(Hannah Arendt)는 20세기 독일과 미국을 가로지르며 정치철학의 지형을 바꾼 사상가다. 그가 1963년 나치 전범 아돌프 아이히만(Adolf Eichmann)의 재판을 직접 취재한 뒤 내린 결론은 당시 세상을 충격에 빠뜨렸다. 아이히만은 괴물이 아니었다. 명령에 따랐을 뿐이라고 진술한 지극히 평범한 관료였다. 아렌트는 이것을 '악의 평범성(the banality of evil)'이라 불렀고, 악은 특별한 악의에서가 아니라 스스로 생각하기를 멈춘 자리에서 자란다고 했다. 

재판 이후 철학자 게르숌 숄렘(Gershom Scholem)에게 보낸 공개 서한에서 그는 이렇게 말한다. "악은 결코 급진적이지 않다. 다만 극단적일 뿐이며, 균류처럼 표면에 퍼져나가 세상을 황폐하게 만든다." 60여년이 지난 지금, 이 말은 전혀 다른 맥락에서 다시 울린다. 명령을 따르는 것, 시스템을 따르는 것, AI 권고를 따르는 것 형태는 다르지만 구조는 닮았다. 생각의 위임이 책임의 공백을 만든다.

로메오·콘티 연구팀이 발견한 것도 같은 구조다. AI를 따른 사람은 "AI가 그렇게 했다"고 말한다. 그러나 현실에서 결과의 책임은 여전히 그 사람에게 귀속된다. 법원도, 환자도, 조직도 AI를 탓하지 않는다. AI에게는 법적 책임이 없기 때문이다. 판단을 위임했지만 책임은 위임되지 않는다. 이것이 자동화 편향이 단순한 인지 오류를 넘어 윤리의 문제가 되는 이유다.

필자는 이 칼럼 연재를 통해 AI가 내놓은 결과를 출발점으로 삼아 그것을 따르는 사람을 '텍스터'라 불러왔다. 편리함은 크다. 속도는 빠르다. 그러나 AI가 틀렸을 때, 텍스터는 그것을 걸러낼 감각을 갖추지 못한 채 결과를 받아든다. 

반면 '컨텍스터'는 AI의 권고를 검토의 시작점으로 삼는다. AI가 이 결론에 이른 근거는 무엇인가, 이 권고에 내가 놓친 맥락은 없는가, 이 결정의 결과를 내가 끝까지 책임질 수 있는가. 이 질문들이 자동화 편향의 울타리를 친다.

한 회사의 인사 결정 현장을 떠올려보자. AI가 지원자 평가 점수를 제시한다. 담당자는 그 수치를 보고, 별다른 추가 검토 없이 탈락 처리를 결정한다. 이 순간 판단은 완료된 것처럼 보인다. 그러나 만약 AI가 특정 지역이나 학교 출신에게 낮은 점수를 부여하는 방식으로 편향돼 있었다면, 그 결정의 책임은 누구에게 있는가. AI는 추천했을 뿐이다. 서명란에는 사람의 이름이 적혀 있다. 판단을 위임한 텍스터는 결과의 책임자가 됐지만, 스스로 판단자가 된 적은 없다. 책임을 지지만 판단을 하지 않는 역설, 그것이 자동화 편향이 만들어낸 윤리적 공백이다.

AI가 답을 내놓는 속도가 빨라질수록 우리가 그 답 앞에서 멈추는 시간은 더 소중해진다. 컨텍스터는 AI가 제시한 답 앞에서 서명하기 전에 먼저 묻는다. 이 결과를 내가 끝까지 책임질 수 있는가. 그 질문이 불편하다면, 아직 판단이 끝나지 않은 것이다. AI는 우리의 판단을 도울 수 있지만 대신할 수는 없다. 판단을 위임할수록 책임의 무게는 오히려 더 무거워진다. 멈추는 사람이 컨텍스터다.