The Decoder • 10일 전

구글 딥마인드, 비디오 생성 모델이 컴퓨터 비전의 '세계 모델'이 될 수 있다고 주장

IMP

8/10

핵심 요약

구글 딥마인드는 비디오 생성 모델을 컴퓨터 비전의 핵심 과제를 수행하는 '세계 모델'로 재탄생시키는 GenCeption을 발표했습니다. 이 모델은 단일 아키텍처와 극소량의 합성 데이터만으로 깊이 추정 및 분할 등에서 기존 전문 모델들을 압도하는 성능을 보여주며, 비디오 생성 AI가 3D 공간과 물리적 법칙을 이미 깊이 이해하고 있음을 증명했습니다.

번역된 본문

구글 딥마인드(Google Deepmind)는 기존에 학습된 비디오 생성 모델을 전통적인 컴퓨터 비전 작업의 기반으로 활용하는 'GenCeption'이라는 새로운 모델을 발표했습니다. 이 모델은 심도 추정(Depth estimation), 분할(Segmentation), 3D 포즈 추정과 같은 작업에서 최고 수준의 성능을 달성하면서도 매우 적은 학습 데이터만을 요구합니다.

대형 언어 모델(LLM)은 다음 단어를 예측하는 과정의 거의 부산물로 다재다능한 처리 시스템으로 발전했습니다. 이러한 학습 과정을 통해 모델은 문법, 세상에 대한 지식, 그리고 문맥적 관계를 자연스럽게 흡수하게 되며, 이는 대형 언어 모델의 창발적 능력을 설명하는 지배적인 이론입니다. 반면, 컴퓨터 비전 분야는 여전히 이에 필적하는 통합적인 학습 방법이 부족합니다. 현재 이 분야는 분할 작업을 위한 'Segment Anything'이나 깊이 추정을 위한 'Depth Anything'처럼 각기 다른 아키텍처를 사용하는 전문화된 모델들이 주도하고 있습니다.

새로운 논문에서 딥마인드 연구진은 대형 텍스트-투-비디오(Text-to-Video) 모델이 이러한 격차를 메울 수 있다고 주장합니다. 현실적인 비디오를 생성하기 위해서는 장면의 기하학적 구조, 물체의 움직임, 기본적인 물리 법칙을 이해해야 하기 때문입니다. 또한 이러한 모델들은 학습 중에 텍스트 설명을 사용하여 언어와 시각적 콘텐츠를 연결하며, 데이터 레이블링 비용이 상대적으로 저렴해 방대한 데이터셋으로 학습할 수 있습니다.

비전 작업을 위해 재설계된 비디오 생성기 GenCeption은 알리바바(Alibaba)의 오픈소스 비디오 모델인 Wan2.1을 기반으로 구축되었습니다. 가장 큰 변화는 더 단순해진 아키텍처에 있습니다. 일반적으로 디퓨전 모델(Diffusion model)은 노이즈에서 시작해 수많은 작은 단계를 거쳐 비디오를 생성하지만, GenCeption은 단 한 번의 순방향 패스(Forward pass)로 예측 결과를 도출하여 실제 컴퓨터 비전 작업에 사용할 수 있을 만큼 빠른 속도를 구현했습니다.

연구진은 하나의 모델이 다양한 작업을 처리할 수 있도록 하는 간단한 방법을 사용했습니다. GenCeption은 결과가 깊이 맵(Depth map), 표면 법선 맵(Surface normal map) 또는 분할 마스크(Segmentation mask) 중 무엇이든 관계없이 모든 출력을 표준 3채널 RGB 이미지로 표현하며, 카메라 움직임 역시 이미지 표현으로 변환합니다. 챗봇에게 지시를 내리는 것과 마찬가지로 텍스트 프롬프트는 모델에게 수행할 작업을 알려주는 역할을 합니다. 또한 팀은 3D 키포인트 예측처럼 이미지를 결과물로 생성하지 않는 작업을 위해 학습 가능한 모듈을 추가했으며, 모든 작업에 걸쳐 단 하나의 손실 함수(Loss function)를 사용합니다. 연구진은 각 작업마다 아키텍처를 변경하는 대신, 학습 데이터를 처리하여 작업별 요구 사항을 반영했습니다.

극소량의 데이터로 전문 모델과 맞먹는 성능 달성 학습 데이터의 대부분은 단 7,500개의 비디오가 포함된 합성 데이터셋으로부터 왔습니다. 연구진은 800개의 디지털 인간 모델과 모션 캡처 데이터셋의 200개 동작 시퀀스를 결합한 뒤, 이를 블렌더(Blender)에서 다양한 배경과 카메라 앵글로 렌더링했습니다. 실제 비디오는 언어 안내 분할 작업에만 사용되었습니다.

연구에 따르면, GenCeption은 모든 작업에 단일 아키텍처를 사용함에도 불구하고 여러 벤치마크에서 최고 수준의 결과와 일치하거나 이를 능가합니다. 이 모델의 깊이 추정은 DepthAnything 3와 같은 전문 모델과 일치하며, 표면 법선 추정에서는 NormalCrafter와 Lotus-2를 능가합니다. 또한 Genmo 및 T 모델들을 성능에서 앞서며, 이는 비디오 생성 모델이 컴퓨터 비전 분야의 범용 세계 모델(Universal world model) 역할을 할 수 있다는 논쟁적인 아이디어를 뒷받침합니다.

원문 보기

원문 보기 (영어)

Google Deepmind argues video generators already contain the world models computer vision has been missing Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper Jul 19, 2026 Nano Banana Pro prompted by THE DECODER Key Points Researchers at Google Deepmind developed GenCeption, a model that repurposes a pre-trained video generator for classic computer vision tasks like depth estimation and segmentation. The system builds on an open-source video model from Alibaba and delivers results in a single forward pass, guided by text prompts. It trained on just a small set of synthetic videos and needs far less data than competing approaches. In benchmarks, GenCeption matches established specialized models and transfers its abilities to real-world footage and untrained categories like animals. The authors say this supports the contested idea that video generators can serve as the basis for universal world models in computer vision. Ask about this article… Search A new model from Google Deepmind called GenCeption uses a pre-trained video generation model as the basis for classic computer vision tasks. It achieves state-of-the-art performance in depth estimation, segmentation, and 3D pose estimation while needing very little training data. Language models became versatile processing systems almost as a byproduct of learning to predict the next word. That task appears to require models to absorb grammar, world knowledge, and contextual relationships during training. This is the prevailing explanation for the emergent capabilities of large language models. Computer vision still lacks an equivalent training method. Specialized models dominate the field, including "Segment Anything" for segmentation and "Depth Anything" for depth estimation. Each uses its own architecture. Ad In a new paper , Deepmind researchers argue that large text-to-video models could bridge this gap. Generating realistic videos requires understanding the spatial geometry of a scene, how objects move, and basic physics. These models also use text descriptions during training, which links language to visual content. They can train on vast datasets because labeling the data is relatively cheap. Ad DEC_D_Incontent-1 GenCeption repurposes a video generator for vision tasks GenCeption builds on Alibaba's open source Wan2.1 video model . The main change is a simpler architecture. Diffusion models typically generate video from noise through many small steps. GenCeption instead produces a prediction in one forward pass, making it fast enough for practical computer vision tasks. The researchers use a simple method to make one model handle many tasks. GenCeption represents every output as a standard three channel RGB image, whether the result is a depth map, surface normal map, or segmentation mask. It also converts camera movement into an image representation. Ad A text prompt tells the model which task to perform, much like an instruction given to a chatbot. The team adds trainable modules for tasks such as 3D keypoint prediction, which don't produce images. Training uses one loss function across all tasks. Rather than changing the architecture for each task, the researchers process the training data to account for task specific requirements. Ad DEC_D_Incontent-2 Matching specialized models with a fraction of the data Most of the training data came from a synthetic dataset containing just 7,500 videos. The team combined 800 digital human models with 200 motion sequences from a motion capture dataset. It then rendered the results in Blender with different backgrounds and camera angles. Real videos were used only for language guided segmentation. Ad According to the study, GenCeption matches or beats state-of-the-art results across many benchmarks despite using one architecture for every task. Its depth estimates match those from specialized models such as DepthAnything 3. GenCeption beats NormalCrafter and Lotus-2 on surface normal estimation. It also outperforms Genmo and TRAM on 3D pose recognition. On complex language guided segmentation, it matches Meta's SAM 3 combined with Gemini 3.5 Flash. Models such as D4RT and VGGT Omega trained on millions of videos. GenCeption reaches similar results using 7 to 500 times less data. When tested under the same conditions, pretraining on video generation also beats methods such as V-JEPA and VideoMAE V2. The authors attribute those results to the generation task rather than data volume alone. They argue that video generation helps models learn useful representations of space and movement. Strong generalization beyond training data, but with clear limits GenCeption trained almost entirely on synthetic videos showing one person at a time, but it still works on real videos with several people in the frame, as well as unrelated categories such as animals and humanoid robots. According to the study, some outputs contain more detail than the Blender renderings used for training. The results can preserve a cat's whiskers and the edges of individual strands of hair. Joint training across all tasks does hurt 3D keypoint estimation. The researchers suspect that the extra components needed for this task interfere with mechanisms learned by the base model during pretraining. Their conclusion is that as few changes as possible should be made to the original model's architecture. Processing speed also needs work. The smaller model takes about six seconds to process a video with 81 frames, the larger model has 14 billion parameters and takes about ten seconds. Video generators may contain useful world models without understanding physics The authors reject the idea that video generators are only entertainment tools. They argue that these models already contain a type of universal "world model" that could support a foundation model for computer vision. Such a system could fill the same role in image processing that large language models fill in text. Whether that framing holds up is debated. An international research team recently proposed a uniform definition with OpenWorldLib and explicitly excluded text-to-video models because they lack feedback from the real world. Former Meta chief AI scientist Yann LeCun has gone further, arguing that generative video models are a dead end. Meta's V-JEPA 2 follows the alternative he has championed, predicting abstract concepts rather than pixels. A benchmark from Tsinghua University points to the limits of pixel prediction. Sora 2, Seedance 2.0, and Veo 3.1 repeatedly failed tests of basic physics and logic even when their output looked convincing. GenCeption uses video generation for a narrower purpose. The researchers don't ask Wan2.1 to predict how the world will behave. They use it to extract features for specific tasks such as depth estimation and segmentation, where those learned features can outperform specialized systems. Google Deepmind is also exploring a different approach with Genie 3 , which builds interactive 3D environments for training AI agents. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: Arxiv

컴퓨터 비전 비디오 생성 모델 구글 딥마인드 세계 모델 이미지 처리