Black Forest Labs의 새로운 멀티모달 파운데이션 모델인 FLUX 3가 로봇 제어 및 영상 생성을 하나로 통합하는 '비디오-행동 모델'로 진화했습니다. 이 모델은 영상 생성 과정에서 습득한 물리적 세계의 이해를 바탕으로 로봇의 행동(Action)을 예측하며, mimic 로보틱스와의 협업을 통해 아우디(Audi) 실무 환경에 배포되었습니다. 단일 모델로 영상과 로봇 제어를 모두 처리함으로써 피지컬 AI(Physical AI)가 자연스럽게 확장되는 중요한 기술적 이정표입니다.
엔비디아 CEO 젠슨 황의 일본 방문을 계기로 일본 정부와 주요 대기업들이 협력하여 로봇, 자동차, 공장을 자동화하는 '피지컬 AI(Physical AI)' 시대를 본격적으로 열고 있습니다. 엔비디아는 일본의 자체 AI 모델 구축을 위한 차세대 AI 팩토리 인프라와 엣지 AI 칩을 제공하며, 일본은 인구 감소에 대응하기 위한 로봇 산업 혁신에 수십조 원을 투자할 계획입니다.
앤트그룹의 자회사 로비앤트(Robbyant)는 단순한 비디오 생성 모델의 파인튜닝이 아닌, 처음부터 로봇의 물리적 구현(Embodiment)을 위해 설계된 'LingBot-VA 2.0'을 발표했습니다. 이 모델은 사전 추론(Foresight Reasoning)을 통해 미래 상태를 예측하고 실시간 관측 데이터를 바탕으로 초당 225Hz의 비동기 제어를 가능하게 하여 실무 로봇 공학 분야에서 높은 파급력을 기대하게 합니다.
테크크런치가 주최하는 벤처캐피털(VC) 및 창업자 네트워킹 행사 'StrictlyVC'가 샌프란시스코에서 개최됩니다. 이번 행사에서는 이클립스(Eclipse)의 '피지컬 AI(Physical AI)' 대규모 투자, 리플릿(Replit)의 AI 주도 소프트웨어 개발 변화, 신뢰할 수 있는 AI 시스템 구축 등 실리콘밸리의 핵심 AI 트렌드를 다룹니다. 업계 최고 전문가들의 심도 있는 대농토론과 파이프라인 구축을 위한 실무적 네트워킹 기회를 제공하는 중요한 자리입니다.
소프트뱅크를 중심으로 혼다, 소니, NEC 및 일본 주요 제철소와 은행 등 8개 기업이 컨소시엄을 결성하여 미·중 기술 의존도를 낮추기 위한 자체 AI 기반 모델 구축에 나섰습니다. 이 프로젝트는 산업 시설의 민감 데이터가 해외 서버로 유출되는 것을 막고, 로봇과 기계를 자율 제어하는 '피지컬 AI(Physical AI)' 개발에 집중합니다. 일본 정부의 약 1조 엔 규모 AI 육성 자금 지원을 받을 것으로 예상되는 이 프로젝트는 일본 내 데이터센터에서 모든 데이터를 자체 처리하는 것이 핵심입니다.
본 튜토리얼은 시각적 관찰을 바탕으로 공간적인 추론과 로봇 제어가 가능한 액션-추론 모델인 MolmoAct의 실전 구현 방법을 다룹니다. 환경 설정부터 다중 뷰 이미지 입력, 자연어 명령을 통한 깊이 추론 및 시각적 궤적 시각화, 실행 가능한 로봇 출력 생성까지 전체 워크플로우를 단계별로 안내합니다.