
▲ UNIST 윤성환 교수(좌), 고려대 김중헌 교수(우)
울산과학기술원(UNIST)은 인공지능대학원 윤성환 교수팀과 고려대학교 전기전자공학부 김중헌 교수팀이 양자컴퓨팅을 활용, 인공지능(AI) 강화 학습의 계산 비용을 기존 대비 최대 5분의 1로 줄이는 기법을 개발했다고 6일 밝혔다.
이번 연구는 6일부터 11일까지 서울 코엑스에서 열리는 국제머신러닝학회(ICML) 2026에 채택됐다. ICML은 NeurIPS, ICLR과 함께 세계 3대 AI 학회로 꼽힌다.
올해는 전 세계에서 2만 3918편의 논문이 제출돼 6352편이 채택됐으며, 약 1만 5000명의 연구자와 기업 관계자가 참가하는 역대 최대 규모로 열린다. 올해 ICML에 채택된 양자 AI 논문 가운데 국내 연구 기관이 주도한 건 이번 연구가 유일하다.
연구팀이 개발한 기법의 이름은 'QRIM(Quantum Robust Inner Minimization)'이다. 강화 학습은 AI가 시행착오를 통해 스스로 행동 전략을 익히는 방식인데, 학습 환경과 실제 환경이 조금만 달라져도 성능이 급격히 떨어지는 문제가 있다. 맑은 날만 학습한 자율주행차가 비나 눈이 오면 제대로 대응하지 못하는 것이 대표적 사례다.
이를 보완하기 위해 학습 단계에서 최악의 상황을 미리 찾아 대비하도록 훈련하는 '강인한 강화 학습(robust reinforcement learning)' 기법이 연구돼 왔지만, 가능한 시나리오를 하나씩 탐색해야 해 경우의 수가 늘어날수록 계산 비용이 급증한다는 한계가 있었다.
QRIM은 양자컴퓨팅의 '중첩(superposition)' 원리를 활용해 이 병목을 해소했다. 중첩이란 양자 비트가 0과 1의 상태를 동시에 가질 수 있는 양자역학적 특성으로, 이를 통해 여러 경우의 수를 병렬적으로 표현할 수 있다.
예컨대 1만 개의 시나리오를 기존 방식으로 검토하려면 1만 번의 계산이 필요하지만, QRIM은 100번의 확인만으로 동일한 결과를 도출할 수 있다.
실험에서 QRIM은 기존 방식 대비 약 20~30% 수준의 계산량으로 더 높은 강인성을 보였다. IBM의 양자 컴퓨터에서 실제 구동하는 검증 실험도 수행했는데, 양자 하드웨어 특유의 잡음(noise) 환경에서도 강인성이 유지됐다. 기존 강화 학습 알고리즘은 그대로 두고 최악 상황 탐색 부분만 양자 모듈로 교체할 수 있어 범용성도 높다.
제1저자인 이현규 연구원은 "강인한 강화 학습의 가장 큰 병목인 '최악의 상황 탐색' 과정을 양자 알고리즘으로 가속할 구조로 새롭게 설계한 기술"이라고 설명했다.
윤성환 교수는 "양자컴퓨팅이 기존 AI의 한계를 어떻게 보완할지를 구체적으로 보여준 사례"라며 "환경 변화 적응이 필수적인 로보틱스, 자율주행 등 분야에 활용될 수 있을 것"이라고 말했다.
이번 연구는 과학기술정보통신부 재원으로 한국연구재단 중견연구사업과 정보통신기획평가원(IITP)의 인공지능대학원지원사업 등의 지원을 받아 수행됐다.