마이크로소프트 '미라지', 잊지 않는 공간 기억력으로 비디오 생성 혁신
마이크로소프트와 여러 대학의 연구진이 발표한 새로운 비디오 세계 모델 '미라지(Mirage)'는 내부 잠재 공간(latent space)에 공간 기억을 저장하여 카메라가 길게 이동해도 장면의 구조가 일관되게 유지되도록 합니다. 기존 복잡한 3D 포인트 클라우드 방식을 건너뛰어 경쟁 모델 대비 최대 10.5배 빠른 속도와 55배 적은 메모리 사용량이라는 압도적인 효율성을 달성했습니다.
마이크로소프트 리서치의 미라지(Mirage), 비디오 생성에 영구적인 공간 기억을 부여하여 모서리 너머의 풍경도 잊지 않습니다. (Jonathan Kemper, 2026년 6월 14일)
핵심 요약
- 마이크로소프트 리서치 및 여러 대학의 새로운 비디오 세계 모델인 미라지는 카메라가 길게 이동하는 동안에도 생성된 장면의 공간 구조를 일관되게 유지합니다.
- 이 시스템은 픽셀 기반 3D 포인트 클라우드(Point Cloud)를 거치는 비용이 많이 드는 과정을 생략하고, 이미지 특징을 모델 내부의 잠재 공간(latent space)에 직접 저장합니다.
- 미라지는 비교 가능한 기존 모델들보다 최대 10.5배 빠르게 비디오를 생성하며 메모리는 최대 55배 적게 사용합니다.
- 이동하는 물체는 기억 저장소에서 필터링되어 제외됩니다.
미라지(Mirage)는 픽셀 기반 메모리를 거치는 비용이 많이 드는 우회 과정을 생략한 새로운 비디오 세계 모델(Video World Model)입니다. 이를 통해 생성 속도를 크게 높이고 카메라가 길게 이동하는 동안에도 장면의 공간 구조를 안정적으로 유지합니다. 이 모델은 여러 대학의 연구원들이 마이크로소프트 리서치와 함께 개발했습니다.
비디오 세계 모델은 시작 프레임과 카메라 경로를 입력받아 개연성 있는 움직이는 이미지로 변환하여, 시뮬레이션이나 세계 시뮬레이터로 사용될 때 매우 유용합니다. 하지만 어떠한 형태의 메모리도 없다면, 성능이 뛰어난 생성 모델조차 시간이 지남에 따라 공간 감각을 잃게 됩니다. 카메라가 다시 돌아왔을 때, 이미 지나친 방의 모서리가 전혀 다르게 보이게 됩니다. 가구의 위치가 바뀌고 질감이 변하는 것입니다.
Voyager, WonderWorld, Spatia 같은 기존 시스템들은 지속적으로 색상 데이터를 공급받는 3D 포인트 클라우드를 사용해 이 문제를 해결하려고 시도했습니다. 하지만 새로운 생성 단계마다 해당 포인트 클라우드를 렌더링한 다음, 그 결과를 다시 모델의 내부 특징 공간으로 변환해야 합니다. 마이크로소프트의 새로운 논문은 이를 '이중 병목 현상(Double bottleneck)'이라고 부릅니다. 연산량을 크게 소모할 뿐만 아니라, 데이터가 픽셀 공간을 통과할 때마다 정보 누수가 발생하기 때문입니다.
미라지는 다른 접근 방식을 취합니다. 눈에 보이는 색상 포인트를 유지하는 대신, 확산 모델(Diffusion model)이 이미 사용하고 있는 내부 이미지 특징(image features) 자체를 저장합니다. 각 특징은 3D 공간에 자리를 잡게 되며, 이것이 공간 메모리의 항목으로 변환됩니다.
새로운 시점을 생성하기 위해 모델은 이 저장소를 대상 카메라 뷰에 직접 투영하고 그 결과를 생성기에 전달합니다. 이를 통해 포인트 클라우드를 렌더링하고 다시 인코딩하는 단계를 생략합니다. 연구진은 데이터가 원본 이미지 크기가 아닌 모델의 압축된 내부 해상도에 저장되기 때문에 메모리 사용량도 크게 줄어든다고 설명합니다.
메모리가 단계별로 성장하는 방식
미라지는 비디오를 세그먼트(분절) 단위로 제작하며, 시작 이미지에서 공간 메모지를 시드(Seed, 초기화)합니다. 이후 모든 세그먼트에 대해 시스템은 메모리에서 관련 데이터를 가져와 새로운 프레임을 생성한 다음, 해당 콘텐츠를 다시 캐시에 기록합니다. 이 과정에서 메모리는 계속해서 성장합니다.
필터는 이동하는 물체와 하늘을 기록하기 전에 제거하여 시스템 스스로 걸려 넘어지는 것을 방지합니다. 따라서 오직 안정적인 구조물들만 장기 기억 속에 남게 됩니다.
연구진은 알리바바(Alibaba)의 오픈소스 비디오 모델인 Wan2.2를 기반으로 구축했습니다. 여기에 모델이 새로운 메모리를 사용하도록 가르치는 작은 추가 모듈을 결합하고, LoRA(Low-Rank Adaptation) 어댑터를 사용해 전체를 미세 조정(Fine-tuning)했습니다.
색상 기반 경쟁 모델들보다 더 빠르고 가벼운 성능
WorldScore 벤치마크에서 미라지는 여전히 메모리를 색상 포인트로 유지하는 가장 가까운 경쟁 모델인 Spatia를 능가하며, Wan2.1 및 CogVideoX와 같은 일반 비디오 생성기는 훨씬 뒤처지게 만들었습니다. 이 모델은 장면의 공간 구조를 유지하고 여러 프레임에 걸쳐 표면의 일관성을 유지하는 데 탁월한 성능을 보여줍니다.
또한 폐루프(Closed-loop) 테스트의 RealEstate10K 데이터셋에서 3가지 지표 중 2가지에서 1위를 차지했습니다. 이 테스트에서 카메라는 시작 지점으로 다시 돌아오는데, 작은 오차조차 전체 경로에 걸쳐 누적되기 때문에 매우 가혹한 스트레스 테스트입니다.
효율성은 미라지의 가장 강력한 장점입니다. 색상 기반 메모리는 비디오 길이가 길어질수록 확장성이 떨어지고 그래픽 메모리 요구량이 계속해서 증가합니다. 반면 미라지의 프레임당 연산 비용은 첫 번째 세그먼트 이후로는 거의 변하지 않습니다. 연구진은 색상 기반 시스템과 비교하여 최대 10.57배 빠른 생성 속도와 최대 55배 적은 메모리 사용량이라는 전반적인 이점을 확인했다고 밝혔습니다. 연구진은 한 가지 단점에 대해서도 솔직하게 공개하고 있습니다.