AI 월드 모델 분야의 양대 산맥인 얀 르쿤의 AMI Labs와 페이페이 리(이비인후 리)의 World Labs는 막대한 자금을 모았지만 수익화 전략과 제품 로드맵을 철저히 비공개로 유지하고 있다. 이는 기술의 다용도성 때문에 방향을 확정할 필요가 없고, 구체적인 제품을 공개하면 경쟁이 촉발될 위험이 있기 때문이다. 기자는 이를 유우신 류(류츠신)의 '다크 포레스트' 시나리오에 비유하며, 시장 경로가 명확해지기 전까지는 침묵이 최선의 전략이라고 분석한다.
테크크런치 AI 에디터가 올 인(All In) 컨퍼런스 패널을 진행하며 월드 모델 분야의 양대 주자인 얀 르쿤의 AMI Labs와 페이페이 리의 World Labs를 조사했지만, 상용화 계획에 대해 어느 쪽도 구체적인 답을 내놓지 않았습니다. 월드 모델은 공간 지능 자동화 기술로 로봇, 인터랙티브 영상, 자율주행 등 다양한 사업화 경로가 가능하지만, 자금 조달이 쉬운 현 상황에서 조기에 경쟁을 유발하지 않기 위해 의도적으로 침묵을 유지하는 '다크 포레스트' 전략이 업계 전반에 퍼져 있다는 분석입니다.
다니자르 하프너(31)는 '모델 기반 강화학습'과 월드 모델을 활용해 훈련에서 접하지 못한 낯선 환경에서도 스스로 대처하는 AI 에이전트와 휴머노이드 로봇을 개발하고 있습니다. 그가 만든 Dreamer 시리즈는 아타리 게임에서 인간 수준 성능 달성, 마인크래프트 다이아몬드 채굴 성공 등의 성과를 냈으며, 현재는 새 스타트업을 통해 이 기술을 실물 로봇으로 확장하고 있습니다. 이는 로봇이 실제 가정 등 인간 생활 공간에 진입하는 데 핵심적인 기술로 주목받습니다.
World Labs가 텍스트, 이미지, 비디오, 3D를 하나의 공간적 컨텍스트로 처리하는 차세대 범용 월드 모델 '아틀라스(Atlas)'를 발표했습니다. 아틀라스는 멀티모달 자기회귀 확산 트랜스포머로, 픽셀 단위 카메라 제어가 가능한 이미지·영상 생성(최대 1분, 1440p), 실제 장면의 3D 재구성, 시공간 시뮬레이션, 텍스트 기반 이미지·360도 파노라마 생성 등 폭넓은 작업을 수행합니다. 이는 창작 도구를 넘어 로봇 학습용 Real-to-Sim 워크플로우 등 공간 지능(Spatial Intelligence) 분야의 핵심 인프라로 주목받습니다.
새 연구에 따르면 Sora, Genie 3 등 현존 월드 모델은 물리적 상태만 모델링할 뿐 사람의 믿음·의도·감정 등 정신적 상태를 반영하지 않아 다음 행동을 잘못 예측합니다. 연구진은 믿음, 주의, 목표, 감정, 사회적 관계 등 정신 변수를 통합한 'Mental World Modeling(MWM)' 프레임워크와 학습 없이 작동하는 참조 구현 MENTIS, 평가 데이터셋 Menti-Bench를 공개했으며, MWM 파이프라인 적용 시 F1 점수가 63.3에서 87.9로 상승했습니다.
소규모 AI 연구팀(Reactor)이 JAX와 Flax NNX로 작성된 드리머 4(Dreamer 4) 월드 모델 파이프라인의 오픈소스 구현체인 '오픈 드리머(Open Dreamer)'를 공개했습니다. 이번 릴리스에는 인과적 비디오 토크나이저(causal video tokenizer), 행동 조건부 잠재 역학 모델(action-conditioned latent dynamics model) 등 훈련 파이프라인과 전체 학습 레시피(training recipe)가 포함되어 있어, 관련 분야 실무자와 연구자들이 모델 구현과 훈련 과정을 투명하게 분석하고 활용할 수 있다는 점에서 중요합니다.
안스로픽(AI 기업)이 AI 모델의 '내부 사고 과정'을 들여다볼 수 있는 새로운 연구 결과를 발표하며, 모델이 언어에 따라 어떻게 다른 가치관을 보이는지를 분석했습니다. 또한, AI가 물리적 현실 세계를 이해하도록 돕는 '월드 모델(World Model)' 기술이 로봇 공학과 차세대 지능형 기계를 어떻게 혁신할지 살펴봅니다. 최근 AI 칩 통제 강화, 데이터 센터 규제 등 주요 기술 및 정책 이슈도 함께 다룹니다.
싱가포르 기반 AI 비디오 생성 스타트업 PixVerse가 시리즈 C 투자 라운드에서 총 4억 3,900만 달러를 유치하며 기업가치 20억 달러를 돌파했습니다. 이번 자금을 바탕으로 글로벌 시장 진출과 B2B 고객 확보에 나서며, 경쟁이 치열한 비디오 AI 시장에서 알리바이 등 대형 투자자들을 등에 업고 입지를 다질 예정입니다.
최근 LLM(대형 언어 모델)의 한계가 부각되면서, 물리적 세계를 이해하고 시뮬레이션하는 '월드 모델(World Model)'이 AI의 차세대 프론티어로 떠오르고 있습니다. 구글 딥마인드, 세계적인 석학들이 참여한 스타트업 등에서 막대한 자금을 바탕으로 관련 연구 및 상용화를 추진 중이며, 이는 향후 로봇 공학, 3D 에셋 생성, 공간 지능 등의 분야를 혁신할 중요 기술로 평가받고 있습니다.
본 튜토리얼은 구글 코랩 환경에서 엔비디아(NVIDIA)의 Cosmos 프레임워크를 활용하여 소형 '월드 모델(World Model)'을 구축하는 방법을 다룹니다. 텍스트, 비전, 액션을 결합하는 혼합 트랜스포머(Mixture-of-Transformers) 구조를 통해, 제한된 하드웨어 환경에서도 모델이 미래 상태를 예측하는 방법을 실무적으로 구현하고 학습할 수 있다는 점에서 중요합니다.
AI 스타트업 Decart가 실시간으로 실사 수준의 주행 환경을 생성하는 인터랙티브 월드 모델 'Oasis 3'를 API 형태로 전격 공개했습니다. 자율주행 및 로봇 공학을 주요 타겟으로 삼고 있으며, 처음부터 API를 개방하여 개발자 생태계를 구축하는 데 사활을 걸고 있습니다. 뛰어난 하드웨어 최적화 기술을 바탕으로 경쟁사 대비 압도적으로 저렴한 비용으로 무한한 환경을 생성할 수 있다는 것이 이 모델의 가장 큰 강점입니다.
최근 앤스로픽(Anthropic)의 개발자 행사에서 절반 가까운 개발자가 AI가 작성한 코드를 검토 없이 배포한 것으로 나타나며 소프트웨어 개발의 자동화가 급속도로 진전되고 있습니다. 구글 I/O에서는 AI가 전문적이고 특화된 과학적 문제를 넘어, 인간의 개입 없이도 연구를 수행할 수 있는 자율적 에이전트(Agent) 기반으로 발돋움하는 모습을 선보였습니다. 이와 함께 로널드 트럼프 미 행정부의 규제 연기, AI 코딩 남발에 대한 업계의 경고, 물리적 환경을 이해하는 '월드 모델(World Models)'의 부상 등 AI 생태계의 다방면에서 중대한 변화가 포착되고 있습니다.
구글 딥마인드가 세계 모델 'Genie'를 스트리트뷰와 연동하여, 실제 지도 위에서 사용자가 상호작용할 수 있는 AI 가상 세계를 생성하는 기능을 공개했습니다. 이 시스템은 대중 소비용 게임보다는 자율주행차와 로봇 등 AI 에이전트를 학습시키기 위한 현실적인 시뮬레이션 훈련장으로 활용된다는 점에서 기술적 의의가 큽니다. 현재 미국 지역에 한해 구글 AI Ultra 구독자를 대상으로 실험적 프로토타입 형태로 제공되고 있습니다.
구글 딥마인드가 AI 세계 모델인 '프로젝트 지니(Project Genie)'에 구글 스트리트뷰 데이터를 통합하여, 실제 장소를 기반으로 날씨 등 다양한 환경을 조성해 상호작용할 수 있는 3D 환경 시뮬레이션을 선보였습니다. 이 기술은 로봇 훈련 및 웨이모(Waymo) 자율주행 시뮬레이션에 활용되어 극희귀 상황 대비나 신규 지역 진출을 돕는 등 산업적 가치가 높습니다. 아직 완벽한 물리 법칙을 이해하거나 사실적인 수준에는 미치지 못하지만, AI 기반 공간 시뮬레이션의 가능성을 확장했다는 점에서 매우 중요합니다.
AI 연구소 Odyssey가 최대 4명의 플레이어가 동시에 상호작용할 수 있는 다중 에이전트 월드 모델 'Agora-1'을 공개했습니다. 이 모덜은 시뮬레이션과 렌더링을 분리하여 작동하며, 실시간으로 생성되는 환경 속에서 플레이어들이 일관된 게임 상태를 유지할 수 있게 합니다. 이 기술은 향후 협력형 로봇 공학 및 AI 에이전트 훈련 환경 구축에 혁신적인 기여를 할 것으로 평가받습니다.
일론 머스크가 오픈AI를 상대로 제기한 소송에서 시효 만료로 패소했습니다. 한편 안두릴과 메타는 시선 및 음성으로 드론 공격을 지시하는 군사용 AR 헤드셋을 개발 중이며, 구글은 I/O를 통해 코딩 및 과학 분야의 AI 경쟁력을 되찾으려 합니다. 최근 LLM의 한계를 극복하기 위해 물리적 환경을 이해하는 '월드 모델' 연구도 주목받고 있습니다.
여러 명의 인간 및 AI 참가자가 동일한 시뮬레이션 환경에서 실시간으로 상호작용할 수 있는 최초의 다중 에이전트 월드 모델인 '아고라-1(Agora-1)'이 공개되었습니다. 이 모델은 시뮬레이션 역학과 렌더링을 분리하는 독창적인 아키텍처를 통해 플레이어 간의 일관된 상태를 유지하며 실시간 멀티플레이어 게임 환경을 구현합니다. 이는 게임, 로봇 공학, 국방 등 다양한 분야에서 완전히 새로운 공유 경험을 가능하게 하는 중요한 기술적 진전입니다.
최근 발표된 리뷰 논문은 일상적인 비디오 데이터만으로 학습해 로봇이 행동의 결과를 미리 시뮬레이션할 수 있게 하는 '월드 액션 모델(WAMs)' 체계를 소개합니다. 기존 모델들이 단순히 카메라 이미지를 행동으로 매핑하는 데 그쳤다면, 이 모델들은 물리적 환경 변화를 예측하여 미지의 환경에서도 뛰어난 일반화 성능을 보여줍니다. 연구진은 백여 편의 관련 논문을 분석해 결과 예측과 행동 생성을 순차적 또는 동시에 수행하는 두 가지 핵심 아키텍처로 분류했습니다.
MIT Technology Review가 최근 선정한 '현재 AI 분야에서 가장 중요한 10가지' 중 떠오르는 핵심 주제인 '월드 모델(World Models)'을 심도 있게 조명합니다. 이는 AI가 실제 세계를 더욱 정확하게 이해하고 추론할 수 있도록 진화하는 데 필수적인 기술로, 향후 자율주행 및 로봇 공학 등 실세계 응용 분야의 한계를 돌파할 차세대 AI 아키텍처로 평가받고 있어 실무자들의 높은 관심이 필요합니다.
아이패드 환경에서 온프레미스로 구동되는 자체 월드 모델(World Model)을 훈련시켜 적용한 미니 드라이빙 게임 프로토타입이 공유되었습니다. 이 게임은 사용자가 제공하는 사진을 실시간으로 인터프리팅하여 조작 가능한 게임플레이 환경으로 변환하며, 화면에 직접 그림을 그려 모델이 이를 어떻게 해석하는지 확인하는 기능도 포함되어 있습니다. 엣지 디바이스에서 구동되는 생성형 AI의 실시간 인터랙션 가능성을 보여준다는 점에서 기술적 의의가 있습니다.