IBM 양자 컴퓨터로 학습한 AI, 기존 모델의 오답을 맞히다
연구진이 IBM 양자 컴퓨터를 활용해 기존 대형 언어 모델(LLM)의 불확실성을 줄이는 하이브리드 방식을 성공적으로 시연했습니다. 순수 양자 컴퓨터의 한계를 극복하기 위해 클래식 컴퓨터로 학습한 '케일리 매개변수'를 양자 하드웨어에 적용하는 방식을 사용했습니다.
과학자들이 IBM 양자 컴퓨터를 활용해 기존 대형 언어 모델(LLM)이 답하지 못했던 질문에 정확히 답할 수 있는 AI 모델을 훈련시키는 데 성공했다.
연구진은 양자 컴퓨터의 성능을 활용하여 인공지능(AI) 시스템의 불확실성을 줄이는 새로운 방법을 개발했다. 이들은 이번 연구가 실제 규모의 사전 학습된 대형 언어 모델(LLM)에서 "양자 향상(quantum enhancement)"을 입증한 첫 사례라고 밝혔다.
AI 시스템의 품질과 성능을 측정하는 주요 지표 중 하나는 '혼란도(perplexity)'로, 보통 PPL로 표시된다. 이는 시스템이 문장이나 단어 시퀀스에서 다음 단어를 얼마나 잘 예측할 수 있는지를 측정한다. PPL이 낮은 시스템은 다음 단어를 예측하는 데 더 뛰어나다고 평가받으며, PPL이 높은 시스템은 수학적으로 불안정한 출력을 생성할 가능성이 더 높다.
대형 AI 모델에서 PPL을 줄이는 방법으로는 미세 조정(fine-tuning), 더 큰 데이터셋으로 학습, 매개변수 추가 등 여러 가지가 있다. 예를 들어 GPT-5.5는 2조~5조 개의 매개변수를 가질 것으로 추정된다. 모든 표준 LLM에서 각 매개변수는 시스템 메모리 공간을 차지하므로, 모델이 더 크고 강력해질수록 더 큰 인프라가 필요하다.
하지만 멀티버스 컴퓨팅(Multiverse Computing)의 과학자들은 AI 주변 인프라를 확장하는 대안을 찾았다. 5월 7일 arXiv 프리프린트 데이터베이스에 게재된 새로운 연구에서, 그들은 양자 회로 블록(양자 계산의 기본 단위)을 사용하여 실행할 때 AI 모델의 매개변수 수를 비교적 적게 늘리는 것만으로도 혼란도를 크게 줄일 수 있다고 제안했다.
과학자들은 연구에서 "이 결과는 실제 초전도 양자 하드웨어에서 자율 회귀 언어 생성을 위해 생산 규모의 널리 배포된 LLM의 엔드투엔드 양자 향상에 대한 첫 번째 시연"이라고 밝혔다. 그러면서 "그 중요성은 혼란도 개선의 규모에 있는 것이 아니라, 그러한 개선이 존재한다는 사실 자체에 있다"고 덧붙였다.
양자 향상 AI의 발전
연구진은 '케일리 매개변수화 유니터리 어댑터(CUA)'라는 양자 회로 블록을 만들어 실행했다. 케일리 매개변수는 특정 행렬 성분에 가중치를 부여하여 "훈련"할 수 있는 수학적 행렬 세트다. 이들은 클래식 컴퓨터에서 학습을 위해 LLM의 특정 레이어에 삽입했다. 이 과정에서 LLM의 원래 매개변수는 변경되지 않도록 고정되었다.
훈련된 케일리 매개변수와 원래 모델 매개변수를 모두 포함하는 새로운 양자-클래식 하이브리드 시스템은 156큐빗 IBM 양자 시스템 투 초전도 양자 처리 장치(QPU)에서 실행되었다. 그 결과, 메타(Meta)가 만든 80억 매개변수 모델인 라마 3.1 8B(Llama 3.1 8B)의 혼란도가 6,000개의 매개변수(0.000075% 증가)를 추가하는 것만으로 1.4% 감소했다.
멀티버스 컴퓨팅의 수석 연구 과학자이자 이 연구의 제1저자인 보르하 아이즈푸루아(Borja Aizpurua)는 이 새로운 기술을 추가 개발을 위한 개념 증명이라고 설명했다. 라이브 사이언스(Live Science)와의 인터뷰에서 그는 양자 컴퓨터가 엄격한 클래식 패러다임보다 몇 가지 이점을 제공할 수 있지만, 그에 따른 트레이드오프가 있다고 말했다.
"가장 먼저 할 일은 [매개변수를] 양자 컴퓨터에서 인코딩하는 것입니다. 상태를 인코딩하면 케일리 유니터리 어댑터를 적용할 준비가 된 것입니다. 우리는 클래식 방식으로 학습한 후 양자 하드웨어에 구현합니다."라고 그는 설명했다.