DGIST 김영식 교수팀, 세계적 반도체 보안 경진대회 준우승 차지

DGIST는 전기전자컴퓨터공학과 김영식 교수 연구팀이 세계적인 반도체 보안 경진대회인 'HACK@CHES 2026'에서 최종 준우승을 차지했다.

이번 대회에는 김광식 박사후연구원과 이수성·김정도 학생이 'Edoras'라는 팀명으로 참가했다. 전 세계 52개 팀이 경쟁한 가운데 예선을 통과한 8개 팀이 결선에 진출했으며, DGIST 연구팀은 최종 2위에 이름을 올렸다.

'HACK@CHES'는 암호 하드웨어와 임베디드 시스템 분야의 권위 있는 국제 학술대회인 CHES와 연계해 개최되는 보안 기술 경진대회다.

반도체 내부에 존재하는 잠재적 보안 결함을 찾아내는 것은 물론, 해당 취약점이 실제 공격으로 이어질 수 있는지를 기술적으로 증명해야 한다는 점에서 높은 수준의 전문성이 요구된다.

올해 결선은 지난 11일부터 13일까지 튀르키예 안탈리아에서 진행됐다. 참가팀들은 오픈소스 보안 반도체 설계 프로젝트인 '오픈타이탄(OpenTitan)'을 분석 대상으로 삼아, 사전에 공개되지 않은 대규모 설계 코드에서 보안상 문제를 찾아내야 했다. 

주어진 시간은 단 48시간으로, 취약점 발굴부터 공격 가능성 확인까지 제한된 시간 안에 마무리해야 하는 고난도 과제였다.

DGIST 연구팀은 방대한 반도체 설계 코드를 효율적으로 분석하기 위해 자체 개발한 자동화 도구와 인공지능(AI) 기술을 함께 활용하는 전략을 선택했다.

핵심 기술은 두 가지다. 'RTL Security Tripwire'는 암호키와 같은 중요 정보가 적절하게 관리·삭제되지 않거나 보안 통제 과정에서 누락된 부분을 찾아내는 분석 도구다. 

또 다른 기술인 'RegSpecDiff'는 반도체 설계 단계에서 작성된 보안 요구사항과 실제 구현된 코드를 서로 비교해 설계 의도와 다른 부분이나 잠재적인 보안 허점을 식별하는 역할을 한다.

연구팀은 여기에 대규모 언어모델(LLM)을 접목해 코드 분석의 효율성을 높였다. 자동화 도구가 찾아낸 의심 지점을 AI를 활용해 분석하고, 이후 시뮬레이션과 공격 실험을 거쳐 실제 보안 위협으로 이어질 수 있는지를 확인하는 방식이다.

이 같은 분석 체계를 통해 연구팀은 48시간 동안 암호 연산과 메모리 제어, 난수 생성 등 반도체 핵심 기능과 관련된 보안 취약점 20건을 찾아내고, 각각의 공격 가능성을 검증한 결과를 제출했다.

짧은 시간 안에 다수의 취약점을 기술적으로 입증한 점이 최종 평가에서 성과로 이어지며 결선 참가팀 가운데 2위를 기록했다.

이번 수상은 자체 개발한 보안 검증 기술에 AI를 결합하면 복잡한 반도체 설계 과정에서 발생할 수 있는 보안 문제를 보다 빠르고 체계적으로 찾아낼 수 있다는 가능성을 보여줬다는 점에서 주목된다.

특히 스마트폰과 자율주행차, 인공지능 데이터센터 등 첨단 산업에서 반도체의 활용 범위가 확대되면서 설계 단계부터 보안성을 확보하는 기술의 중요성도 커지고 있다. 

반도체는 생산 이후 설계상의 결함을 수정하기가 쉽지 않은 만큼, 개발 초기 단계에서 잠재적 취약점을 사전에 찾아내는 검증 기술이 핵심 경쟁력으로 부상하고 있다.

DGIST는 이번 연구 성과를 바탕으로 자동화 기반 취약점 탐지 기술과 AI 활용 분석 기법을 더욱 발전시켜 차세대 보안 반도체의 설계 검증 수준을 높이는 데 기여할 것으로 기대하고 있다.

김영식 DGIST 교수는 "반도체가 첨단 산업을 뒷받침하는 핵심 기반시설로 자리 잡으면서 설계 과정에서 발생하는 사소한 보안 오류도 심각한 위협으로 확대될 수 있다"며 "이번 대회에서 성과를 거둔 자동화 취약점 탐지 기술과 AI 기반 검증 기법을 지속적으로 발전시켜 국내외 차세대 보안 반도체의 설계 검증 역량을 강화하고, 하드웨어 보안 기술의 자립 기반을 마련하는 데 힘쓰겠다"고 말했다.

한편, 이번 연구는 과학기술정보통신부의 '과학기술원 InnoCORE 사업(바이오 체화형 피지컬 AI 연구단)'과 정보통신기획평가원(IITP)이 관리하는 '범국가양자내성암호전환핵심기술개발' 사업의 지원으로 수행됐다. 해당 과제는 'PQC와 QKD를 결합한 도메인 간 양자보안 시스템 개발'이다.