[김도승의 디지털 프리즘 ②] "AI 행정의 시대, 이제 검증을 말해야 한다"

[프라임경제] 정부가 공무원을 인공지능(AI) 개발자로 키우겠다고 나섰다. 행정안전부는 지난 8일 국무회의에서 '공무원의 AI 활용 직접 개발 활성화 및 확산 방안'을 보고했다. 'AI 챔피언' 2만명을 양성하고, 공무원들이 직접 AI 서비스를 개발·실험하는 'AI 정부 실험실'을 확대하며, 성과가 확인된 서비스는 실제 업무와 범정부 차원으로 확산하겠다는 구상이다.

방향 자체는 긍정적이다. 현장의 문제를 가장 잘 아는 사람은 결국 그 업무를 담당하는 공무원이다. 현장의 문제를 가장 잘 아는 공무원이 직접 문제 해결을 위한 AI를 개발한다면 기존의 외부 개발 방식보다 신속하고 현장에 맞는 문제 해결도 가능할 것이다. 

이처럼 AI 시대에는 사용자와 개발자의 경계가 희미해지고 있으며, 코드를 전문적으로 배우지 않은 사람도 자연어만으로 상당한 수준의 프로그램을 만들 수 있다. 이러한 변화가 공직사회라고 예외일 이유는 없다.

그러나 여기에서 한 가지 질문이 생긴다. 누가 검증할 것인가.

행정에서 AI 활용은 효율성과 정확성을 제고한다는 취지로 더욱 확대·가속화될 것이다. 문제는 얼마나 빨리 도입하느냐만큼이나 어떤 AI를 어디까지 사용할 것인지, 그 위험을 누가 어떻게 검증하고 통제할 것인지다. 이 점에서 이번 행안부 보고는 아쉬움이 남는다. 

보안·품질 검증과 개인정보 보호, 정확성 점검 등을 일부 제시하고 있지만, AI가 국민의 권리와 행정의 의사결정에 미치는 위험을 어떻게 평가하고 그에 따라 누가 어떤 기준과 절차로 검증할 것인지에 관한 논의는 모호하기 때문이다. 보고에서 "운영관리 단계에서는 소관 부서와 기관이 필요성·이용 범위·정확성·보안·개인정보 보호를 확인하고 운영을 책임진다"고 밝혔지만, 과연 소관 기관이 검증의 객관성과 독립성을 확보할 수 있을지는 미지수다. 

AI가 행정 업무에 사용되기 시작하면 단순히 프로그램이 제대로 작동하는지만 확인해서는 충분하지 않다. 해당 업무의 법적 목적과 요건을 제대로 반영하는지, 어떤 데이터를 근거로 판단하는지, 편향이나 불필요한 개인정보 처리는 없는지 살펴야 한다. 오류를 바로잡을 장치와 책임의 소재도 분명해야 한다.

해외에서도 공공 분야 AI의 활용은 실제 행정에 미치는 영향에 따라 검증과 투명성의 수준을 달리하는 방향으로 제도를 설계하고 있다. 캐나다는 행정 결정에 활용되는 자동화 시스템에 대해 영향평가를 실시하고 위험 수준에 따라 통제를 강화한다. 영국 역시 공적 의사결정에 상당한 영향을 미치는 알고리즘 도구에 대해 그 목적과 작동 방식, 데이터와 책임 체계를 공개하도록 하고 있다. 공통된 취지는 분명하다. AI의 개발과 실험은 열어두되 국민에게 영향을 미치는 실제 행정 활용에는 그에 상응하는 검증과 설명 책임을 요구해야 한다는 것이다.

공공 AI와 관련해 '행정기본법'은 AI 등 완전히 자동화된 시스템이 사람의 판단을 거치지 않고 곧바로 행정처분을 하려면 별도의 법률상 근거를 갖추도록 하고 있다. 행정청의 재량적인 판단이 주를 이루는 영역은 원칙적으로 자동적 처분 시스템을 금지한다. 그런데 AI 시대의 행정을 규율하는 데 과연 최종적인 '처분' 단계를 통제하는 것으로 충분할까.

실제 행정에서 AI의 영향력은 최종 결정을 대신하는 경우보다 오히려 그 결정에 이르는 과정에서 더 광범위하고 치밀하게 나타난다. 복지 대상자를 선별하고, 조사 대상의 위험도를 평가하고, 민원의 우선순위를 정하며, 규제 대상자를 추려내거나 여러 정책 대안 가운데 특정한 대안을 추천하는 등 다양한 형태를 예상할 수 있다. 이러한 경우 현재로서는 최종적인 결정은 형식적으로 여전히 공무원의 몫이다. 그러나 공무원이 AI가 제시한 분류와 평가, 예측과 추천을 기초로 판단할 때 과연 그 결정을 전적으로 인간의 독자적인 판단으로 평가할 수 있을까.

AI가 먼저 대상과 선택지를 좁히고 위험도를 평가하며 일정한 결론을 추천하면, 이를 받아든 공무원의 판단은 그 출발점부터 AI에 의해 상당한 영향을 받을 수밖에 없다. 공무원이 고성능 AI가 추천하는 결론과 다른 판단을 내리는 것을 기대할 수 있을까. 오히려 AI의 판단을 별다른 의심 없이 추인하는 '자동화 편향'이 발생한다면 인간의 개입은 실질적인 통제 장치가 아니라 형식적인 절차에 그칠 것이다. AI가 행정 결정의 전제가 되는 정보와 선택지를 사실상 구성하고 있다면, 바로 그 단계부터 적절한 통제와 검증의 대상이 돼야 한다. 

결국 중요한 것은 AI가 최종 결정(처분)을 했는지가 아니라, AI가 인간의 결정을 어떻게 형성했는지를 살피는 일이다. 그간 주로 최종적인 처분에 대한 법리와 제도 설계에 관심을 집중해 온 '행정법학'도 처분 이전 단계에 대해서도 책임과 구속의 법리로 엄중하게 살피는 학술적 전환이 시급하다.

이제 우리는 공공 AI를 단순히 활성화의 관점을 넘어 어떻게 안전하고 책임성 있게 활용할 것인가의 문제로 바라봐야 한다. 개발과 실험은 적극적으로 허용하되, 국민의 권리·의무나 급부·제재 등 실제 행정 판단에 영향을 미치는 단계부터는 위험에 비례한 엄격한 검증이 선행돼야 한다. 

단순한 내부 업무 지원과 인허가 또는 복지 대상자 선정이나 제재 판단을 지원하는 AI를 같은 기준으로 다룰 수는 없다. 영향이 클수록 법적 근거와 데이터의 적정성, 편향이나 개인정보 침해의 위험 등을 더 엄격히 살펴야 한다. 파급력과 위험성이 큰 AI라면 개발자나 해당 부서의 자체 확인에 그쳐서는 안 된다. 법무·감사·개인정보·정보보안 등 서로 다른 관점의 교차 검증이 필요하다. 도입 이후에도 데이터와 모델의 변화에 따라 지속적인 점검과 재검증이 이뤄져야 한다.

AI의 행정 활용은 더 빠르게 확산될 것이다. 중요한 것은 이 흐름을 막는 것이 아니라 행정이 AI를 통제할 역량을 함께 갖췄는지를 살피는 일이다. 누가 어떤 기준과 절차로 검증하며 문제가 생겼을 때 누가 책임질 것인지에 대한 물음에 답하지 못한다면 과감하게 중단시켜야 한다.

이제 중요한 것은 AI를 더 많이 활용하는 정부가 아니라, AI를 책임 있게 사용할 수 있는 정부를 만드는 일이다.