[투데이타임즈=민경만 기자] 인공지능, 의료영상, 기상예측, 반도체 설계, 금융공학에는 서로 다른 계산 방법이 사용되는 것처럼 보인다. 그러나 그 내부를 들여다보면 수많은 문제는 하나의 공통된 수학적 구조로 귀결된다. 바로 선형 시스템이다.
선형 시스템은 일반적으로 행렬 A, 미지의 벡터 x, 관측값 또는 입력값 b 사이의 관계인 Ax=b로 표현된다. 여러 조건을 동시에 만족하는 해를 찾는 문제로, 자연과학과 공학의 거의 모든 분야에서 반복적으로 등장한다.
국내 양자 알고리즘 연구자인 큐토모 주식회사 전경택 대표는 선형 시스템을 양자 최적화 문제로 변환해 해결하는 새로운 알고리즘을 개발했다. 관련 연구는 2024년 국제학술지 《Results in Control and Optimization》에 ‘QUBO formulations for a system of linear equations’라는 제목으로 게재됐다. 연구에서는 일반적인 정방행렬로 구성된 선형 시스템의 해를 이진 변수 기반의 QUBO 모델로 변환하고, 이를 D-Wave 양자 시스템에서 검증했다.
이번 연구는 투데이타임즈가 연재하고 있는 ‘양자 시대의 개막’ 세 번째 이야기다. 첫 번째 인터뷰에서는 전경택 박사가 개발해 온 양자 알고리즘과 양자 이득의 가능성을 폭넓게 조명했다. 두 번째 인터뷰에서는 RSA 암호의 핵심인 소인수분해 문제를 양자 어닐러와 QUBO를 이용한 최적화 문제로 재구성한 연구를 소개했다. 이번에는 과학기술 계산의 가장 근본적인 문제인 선형 시스템과 양자컴퓨팅의 결합을 다룬다.
<큐토모㈜ 대표 전경택 박사, 세계적인 양자컴퓨팅 기술 전문가로서, 최첨단 양자컴퓨팅 응용기술을 선도하고 있다.>
■ 선형 시스템을 푼다는 것은 과학과 산업의 수많은 문제를 푸는 것
선형 시스템은 단순한 연립방정식을 넘어 현대 계산과학의 기초를 이룬다.
건물과 교량이 힘을 받았을 때 어느 부분에 응력이 집중되는지 계산하는 구조해석, 공기와 액체의 흐름을 예측하는 유체역학, 전기회로의 전압과 전류 계산, 인공지능 모델의 학습, 의료영상 복원 등은 모두 대규모 행렬 계산을 필요로 한다.
문제가 정교해질수록 행렬의 크기도 급격히 커진다. 예를 들어 CT 영상을 높은 해상도로 복원하려면 수많은 X선 투영 데이터와 영상의 각 픽셀 사이의 관계를 계산해야 한다. 영상의 해상도가 높아지고 분석 대상이 커질수록 계산해야 할 변수와 관계는 기하급수적으로 증가한다.
전경택 박사는 “선형 시스템은 특정 분야에만 필요한 계산법이 아니라 과학과 공학을 연결하는 공통 언어”라며 “선형 시스템을 더 빠르고 효율적으로 해결할 수 있다면 의료영상, 재료과학, 인공지능, 최적화 등 다양한 산업의 계산 구조를 바꿀 수 있다”고 설명했다.
■ 기존 양자 선형 시스템 알고리즘의 가능성과 한계
양자컴퓨터를 이용해 선형 시스템을 해결하려는 대표적인 연구가 HHL 알고리즘이다. HHL은 2009년 아람 해로, 아비나탄 하시딤, 세스 로이드가 발표한 양자 선형 시스템 알고리즘이다.
행렬이 희소하고 조건수가 적절하며, 전체 해를 고전적인 벡터 형태로 출력하는 대신 해와 관련된 특정 물리량이나 기댓값을 구하는 조건에서는 문제의 크기 (N)에 대해 다항 로그 수준의 계산 복잡도를 가질 수 있다. 이는 조건이 충족될 경우 기존 알고리즘보다 이론적으로 지수적인 계산 가속 가능성을 제시한 중요한 결과였다.
그러나 HHL 알고리즘을 실제 문제에 적용하려면 여러 조건이 필요하다. 입력 행렬을 양자 상태로 효율적으로 표현할 수 있어야 하며, 행렬의 희소성, 조건수, 에르미트성 등의 특성이 계산 효율에 큰 영향을 미친다. 또한 계산 결과가 양자 상태로 주어지기 때문에 모든 해의 성분을 고전적인 숫자로 읽어내려 하면 측정 비용이 증가할 수 있다.
전 박사의 연구는 이러한 게이트형 양자 알고리즘과는 다른 방향에서 문제에 접근한다. 선형 시스템을 양자 최적화 모델인 QUBO 문제로 변환하는 방식이다.
■ 모든 일반 선형 시스템을 QUBO 문제로 변환
QUBO는 ‘Quadratic Unconstrained Binary Optimization’의 약자로, 0과 1로 표현되는 이진 변수들의 조합 가운데 목적 함숫값을 최소화하는 상태를 찾는 문제다.
전경택 박사의 알고리즘은 (Ax=b)를 만족하는 벡터 (x)를 찾는 문제를 최소제곱 문제로 바꾸고, 미지수의 값을 여러 개의 이진 변수로 표현한다. 이후 해와 관측값 사이의 오차가 가장 작아지도록 QUBO 목적함수를 구성한다.
쉽게 말하면 연속적인 숫자로 이루어진 선형방정식의 해를 양자컴퓨터가 처리하기 적합한 0과 1의 최적화 문제로 번역하는 것이다.
논문은 특정한 형태의 행렬에만 한정하지 않고 일반적인 정방행렬에 적용할 수 있는 QUBO 구성 방법을 제시했다. 연구진은 생성된 모델을 D-Wave 시스템에서 실행해 선형 시스템의 해를 구할 수 있음을 검증했으며, 간단한 문제에 대해서는 QUBO 행렬과 D-Wave 실행 코드를 생성할 수 있는 파이썬 코드도 제시했다.
전 박사는 “핵심은 하나의 선형 시스템을 푸는 데 그치지 않고, 다양한 과학 계산을 양자 최적화 문제로 변환할 수 있는 공통된 수학적 방법을 마련했다는 점”이라며 “양자컴퓨터가 실제 산업 문제를 처리하려면 현실의 수학 모델과 양자 하드웨어 사이를 연결하는 알고리즘이 반드시 필요하다”고 말했다.
■ 양자 우위는 어디에서 발생하는가
양자 선형 시스템의 궁극적인 목표는 고전 컴퓨터가 처리하기 어려운 대규모 행렬 계산을 양자컴퓨터의 중첩, 병렬성, 터널링 등의 특성을 이용해 효율적으로 해결하는 것이다.
전경택 박사의 연구가 특히 주목받는 이유는 단순히 선형 시스템을 QUBO 형태로 변환하는 방법을 제시한 데 그치지 않고, 기존 계산 방식과 비교해 양자 모델이 가질 수 있는 이론적 계산 우위를 분석했다는 데 있다.
일반적인 n차 정방행렬을 고전 컴퓨터에서 직접 해결할 때, 가우스 소거법이나 행렬 분해에 기반한 대표적인 알고리즘은 통상적으로 O(n3)의 계산량을 요구한다. 미지수의 개수 n이 증가하면 계산량이 세제곱에 비례해 빠르게 커지는 구조다.
예를 들어 문제의 크기가 10배 증가하면 필요한 연산량은 단순히 10배가 아니라 약 1,000배까지 증가할 수 있다. 따라서 수백만 또는 수천만 개의 변수가 연결된 초대형 선형 시스템은 고성능 슈퍼컴퓨터를 이용하더라도 막대한 계산시간과 전력을 필요로 한다.
전경택 박사는 선형 시스템의 해를 이진 변수로 표현하고, 해가 만족해야 하는 조건을 QUBO 에너지 함수에 포함하는 방법을 제시했다. Ax=b를 직접 순차적으로 계산하는 대신, 가능한 해의 상태를 양자 최적화 문제로 구성하고 에너지가 가장 낮은 상태를 찾도록 한 것이다. 논문은 선형 시스템을 최소제곱 문제와 이진 표현을 이용해 QUBO 모델로 변환하며, 실제 D-Wave 양자 시스템에서 모델을 검증했다.
전 박사의 복잡도 분석에 따르면 충분한 수의 큐비트가 제공되고 QUBO 변수들이 양자적으로 병렬 처리될 수 있는 이상적인 조건에서는, 고전 계산의 O(n3)에 대응하는 계산을 최대 O(log2n)수준까지 줄일 수 있다.
이는 문제의 크기가 증가할수록 두 방식의 차이가 극적으로 커질 수 있다는 의미다.
고전 계산에서는 행렬의 크기가 커질수록 연산량이 세제곱으로 증가하지만, 로그 복잡도에서는 문제의 크기가 매우 크게 증가해도 계산 단계가 상대적으로 완만하게 증가한다. 이론적으로는 고전 컴퓨터에서 수백만 년이 필요할 수 있는 초대형 계산을, 충분한 큐비트를 갖춘 양자컴퓨터에서는 수십 초 이내에 처리할 가능성을 제시한 것이다.
전 박사는 이에 대해 “이번 연구의 핵심은 양자컴퓨터에서 선형 시스템을 계산할 수 있다는 가능성만을 보인 것이 아니라, “1. 기존 O(n3) 계산 구조를 양자 최적화 모델을 통해 최대 O(log2n) 수준으로 전환할 수 있는 이론적 경로를 제시, 2. 양자 최적화 모델의 전역 최소 에너지를 찾는 성질을 이용해 관측값 b 가 오류가 있을 때 미지의 벡터 x가 전체적인 오류를 최소화는 성질을 보유”했다는 데 있다고 설명했다.
이어 “고전 컴퓨터에서 사실상 계산이 불가능한 초대형 선형 시스템도 충분한 큐비트를 갖춘 양자컴퓨터에서는 현실적인 시간 안에 해결할 가능성이 있다”며 “수백만 년의 계산을 수십 초로 줄일 수 있다는 것은 단순한 속도 향상이 아니라, 지금까지 시도할 수 없었던 과학적 문제를 계산 가능한 문제로 바꾸는 것”이라고 강조했다.
■ 양자 알고리즘은 하드웨어와 산업을 연결하는 다리
양자컴퓨터 산업에서는 큐비트 수와 오류율 같은 하드웨어 성능이 주로 주목받는다. 그러나 실제 산업적 가치를 창출하려면 현실의 문제를 양자컴퓨터가 처리할 수 있는 수학적 형태로 변환하는 알고리즘이 필요하다.
전경택 박사의 연구는 선형 시스템, RSA 소인수분해, CT 영상 재구성과 영상 분할 등 서로 다른 문제를 QUBO라는 공통된 최적화 언어로 연결한다.
RSA 연구에서는 정수의 소인수분해를 양자 최적화 문제로 변환했다면, 선형 시스템 연구에서는 연속적인 수치 계산을 이진 최적화 문제로 바꿨다. 그리고 양자 토모그래피에서는 X선 투영 데이터로부터 내부 영상을 찾는 역문제를 QUBO로 구성했다.
전 박사는 “양자컴퓨터의 진정한 가치는 기존 계산을 단순히 대체하는 데 그치지 않는다”며 “기존에는 계산량이나 데이터의 한계로 해결하기 어려웠던 문제를 새로운 방식으로 정의하고, 그동안 얻을 수 없었던 해를 찾는 데 있다”고 말했다.
이어 “선형 시스템은 수많은 산업 계산의 출발점”이라며 “양자 선형 시스템 알고리즘을 기반으로 의료영상과 비파괴검사, 신소재 분석 등 실제 산업에 필요한 양자 알고리즘을 지속적으로 발전시키겠다”고 밝혔다.
■ 선형방정식 하나에서 시작되는 양자 산업의 변화
양자컴퓨팅은 아직 발전 과정에 있다. 현재의 양자 하드웨어에는 큐비트 수, 연결 구조, 잡음, 계산 정밀도 등의 제약이 존재한다. 따라서 양자컴퓨터가 모든 선형 시스템을 즉시 고전 컴퓨터보다 빠르게 해결한다고 단정할 수는 없다.
그럼에도 선형 시스템을 양자 최적화 문제로 변환하는 기술은 중요한 의미를 갖는다. 과학과 산업의 핵심 계산을 양자 하드웨어에서 실행할 수 있도록 만드는 기반이기 때문이다.
전경택 박사가 개발한 양자 선형 시스템 알고리즘은 Ax=b 라는 간결한 수식에서 출발한다. 그러나 그 수식이 연결하는 영역은 인공지능과 공학 시뮬레이션, 의료영상, 반도체, 배터리, 신소재에 이르기까지 광범위하다.
양자 시대의 경쟁력은 더 많은 큐비트를 확보하는 것만으로 결정되지 않는다. 현실의 문제를 양자컴퓨터가 풀 수 있는 문제로 바꾸고, 그 결과를 다시 산업의 가치로 연결하는 알고리즘이 필요하다.
선형 시스템에서 시작해 양자 토모그래피로 이어진 전경택 박사의 연구는 양자컴퓨팅이 추상적인 미래 기술을 넘어 실제 산업 계산의 도구로 발전하기 위해 어떤 길을 가야 하는지를 보여주고 있다.
결국 O(n3) 에서 최대 O(log2n) 으로의 변화는 단순한 수식상의 개선이 아니다. 수백만 년이 걸려 사실상 해결할 수 없었던 계산을 수십 초 안에 처리하고, 지금까지 관찰하지 못했던 인체와 물질의 내부 구조를 영상으로 확인할 수 있게 만드는 양자 시대의 계산 패러다임 전환을 의미한다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}