▲ 양자신경망의 출력을 푸리에 급수고 해석한 모식도, 인코딩 블록은 주파수를, 학습 블록은 계수를 결정함.
고려대학교 전기전자공학부 AIM 연구실(지도교수 김중헌) 연구팀이 양자신경망(Quantum Neural Network, QNN)의 학습 원리를 푸리에 해석(Fourier analysis) 관점에서 통합적으로 정리하고, 기존 딥러닝 구조를 모방하는 데서 벗어난 양자 고유(quantum-native) 인공지능 모델의 설계 방향을 제시해, 네이처(Nature) 자매지이자 물리학 분야 국제 학술지인 Communications Physics에 논문이 게재되는 값진 성과를 거두었다.
이번에 게재된 논문 “Fourier Analysis Perspective on Quantum Neural Networks”는 양자신경망의 출력이 유한한 푸리에 급수(Fourier series)로 표현된다는 수학적 구조에 주목해, 최근 연구들을 종합하여 양자신경망의 표현력, 학습 가능성, 일반화 성능을 하나의 주파수 관점에서 통합적으로 분석하고 향후 연구 방향을 제시한 퍼스펙티브(Perspective) 논문이다. 이번 논문에는 고려대학교 전기전자공학부 오승철 박사과정, 노지민 박사과정, 김중헌 교수와 노르웨이 아그데르대학교(University of Agder) 아타나시오스 바실라코스(Athanasios V. Vasilakos) 교수, 숙명여자대학교 박수현 교수가 참여했다.
최근 딥러닝은 여러 분야에서 혁신을 이끌어 왔지만, 연산량의 폭발적인 증가에 크게 의존하면서 하드웨어와 에너지 비용이 새로운 병목으로 떠오르고 있다. 또한 심층신경망은 완만하게 변하는 저주파 성분은 빠르게 학습하는 반면 급격하게 변하는 세밀한 고주파 성분은 훨씬 느리게 학습하는 ‘스펙트럼 편향(spectral bias)’을 안고 있다. 이에 양자역학적 원리를 활용하는 양자신경망이 대안으로 주목받고 있으며, 현재의 NISQ(Noisy Intermediate-Scale Quantum) 양자컴퓨터에서는 매개변수화 양자회로(PQC)가 대표적인 구현 방식으로 자리 잡았다. 그러나 PQC는 수학적 원리보다 경험적 설계에 의존하는 경우가 많아 사실상 블랙박스처럼 다뤄지고 있으며, 큐비트 수가 늘어날수록 기울기(gradient)가 지수적으로 작아져 학습이 멈추는 ‘불모의 고원(barren plateau)’ 문제도 여전히 해결해야 할 과제로 남아 있다.
연구팀은 이러한 문제를 풀 실마리를 양자신경망의 수학적 구조 자체에서 찾았다. 양자신경망에서는 데이터를 회로에 입력하는 인코딩 해밀토니안의 고유값 차이가 표현 가능한 주파수의 집합을 학습 전에 결정하고, 학습 가능한 회로 매개변수는 각 주파수 성분의 계수를 정한다. 데이터를 반복 입력하는 재업로딩(data re-uploading) 횟수나 큐비트 수를 늘리면 주파수 대역이 넓어진다. 이처럼 표현 가능한 주파수를 미리 알 수 있기 때문에, 인코딩 자체를 학습시켜 과제에 필요한 주파수 대역에 표현력을 집중시키는 ‘주파수 핀칭(frequency pinching)’ 전략도 가능해진다. 연구팀은 이 관점에서 최근 제안된 양자 미분방정식 솔버(QODE), 양자 합성곱 신경망(QCNN), 양자 강화학습(QRL)이 스펙트럼 편향을 완화하고 유체 흐름의 미세 구조, 이미지의 고주파 특징, 강화학습 가치 함수의 급격한 변화를 더 잘 포착할 수 있는 원리를 설명했다.
아울러 연구팀은 불모의 고원 문제에 대한 기존 이론을 리 대수(Lie algebra) 기반의 기하학적 관점과 푸리에 관점에서 연결해 분석했다. 기하학적 관점에서는 회로가 생성하는 동역학적 리 대수(DLA)의 차원이 지수적으로 커질 때 기울기 분산이 지수적으로 줄어들고, 푸리에 관점에서는 같은 현상이 각 매개변수에 실리는 주파수 성분의 세기가 큐비트 수에 따라 지수적으로 희석되는 ‘스펙트럼 붕괴(spectral collapse)’로 나타난다. 이 경우 큐비트가 하나 늘 때마다 기울기를 구분하는 데 필요한 측정 횟수가 약 두 배씩 늘어난다. 연구팀은 표현력을 무작정 키우는 것이 오히려 학습을 방해한다는 상충 관계를 짚고, 과제에 맞춰 리 대수와 주파수 집합을 함께 제한하는 회로 설계, 국소 비용 함수, 항등 연산 초기화 등 기울기 분산이 지수적이 아닌 다항적으로만 줄어들도록 하는 전략을 정리했다. 또한 잡음이 섞인 학습 데이터를 완벽히 맞추면서도 일반화 성능을 유지하는 무해한 과적합(benign overfitting) 현상도 학습된 스펙트럼의 분포라는 관점에서 해석할 수 있다고 설명했다.
이번 성과는 그동안 경험적 설계에 의존해 온 양자신경망을 푸리에 해석을 중심으로 한 일관된 수학적 틀로 설명하고, 이를 구체적인 회로 설계 원리로 연결했다는 점에서 주목된다. 연구팀은 향후 연구 방향으로 주파수 핀칭을 핵심 설계 원리로 삼는 명시적 스펙트럼 설계, 양자 트랜스포머나 확산 모델처럼 고전 구조를 모방하는 데 그치지 않고 얽힘과 간섭을 학습 과정에 직접 활용하는 양자 고유 구조, 과제의 대칭성에 맞춘 등변(equivariant) 양자신경망을 제시했다. 특히 유체 시뮬레이션과 같은 과학 계산부터 이미지 인식, 자율적 의사결정에 이르기까지 다양한 양자 인공지능 모델 설계의 이론적 토대로 활용될 수 있을 것으로 기대된다.
김중헌 고려대 전기전자공학부 교수는 이번 연구에서 교신저자이자 연구책임자로 참여했으며, 오승철 박사과정과 노지민 박사과정이 논문 내용 구성을 함께 주도했고 제1저자인 오승철 박사과정이 원고 집필을 맡았다. 숙명여자대학교 박수현 교수는 김중헌 교수와 함께 공동 교신저자를 맡았으며, 노르웨이 아그데르대학교 아타나시오스 바실라코스 교수는 박수현·김중헌 교수와 함께 연구의 기술적 내용 전반을 지도했다. 이번 연구는 과학기술정보통신부 대학ICT연구센터(ITRC) 육성지원사업과 SW스타랩 사업의 지원을 받아 수행되었다.