Runway, 실시간 제어 가능한 AI 영상 생성 연구 공개
Runway가 프롬프트를 입력하고 기다리는 기존 방식 대신, 사용자가 말하는 대로 영상이 스트리밍되는 실시간 영상 생성 연구 결과를 공개했습니다. 회사의 첫 범용 세계 모델인 GWM-1을 기반으로 하며, 프레임 단위로 생성해 카메라 움직임이나 로봇 명령, 오디오로 제어할 수 있습니다. 대기 시간과 GPU 비용을 크게 줄일 수 있어 교육, 게임, 로보틱스 분야에서 활용이 기대되지만, 출시 일정은 아직 미정입니다.
Runway, AI 영상 생성을 실시간으로 제어하는 라이브 스트림으로 만들고자 하다
Runway가 실시간 영상 생성에 관한 연구 결과를 공개했다. 사용자가 프롬프트를 입력하고 기다리는 대신, 묘사하는 대로 영상이 스트리밍되는 방식이다.
현재의 영상 모델은 별도의 단계로 작동한다. 프롬프트를 입력하고 몇 초나 몇 분을 기다린 뒤 완성된 영상을 받는다. 결과가 만족스럽지 않으면 처음부터 다시 시작해야 한다. Runway는 사용자들이 영상 생성과 수정에 가장 많은 시간을 낭비한다고 반복적으로 보고하고 있다며, 첫 프레임까지의 시간을 최소화하고 사용자가 프롬프트를 입력하는 대로 영상을 스트리밍하고자 한다.
Runway는 이 접근 방식을 올해 3월 'Runway Characters'를 통해 처음 논의했다. 이는 2025년 12월 Runway가 소개한 회사 최초의 '범용 세계 모델(General World Model)'인 GWM-1을 기반으로 한다. GWM-1은 Gen-4.5를 토대로 프레임 단위로 영상을 생성하며, 카메라 움직임, 로봇 명령, 오디오를 제어 입력으로 받아들일 수 있다.
몇 주 전 Runway는 Gen-4.5를 사용해 프레임 단위로 사용자 인터페이스를 생성하는 시스템 'Solaris'도 선보였다. 클릭이나 음성 입력에 반응한다.
실시간 생성, 대기 시간과 GPU 비용 절감 가능
Runway는 실시간 생성이 아이디어와 실행 사이의 간극을 좁힌다고 주장한다. 즉각적인 피드백이 있다면 사용자는 대기하는 대신 시간의 대부분을 능동적으로 영상을 조종하는 데 쓸 수 있다는 것이다.
Runway는 비용 절감 효과도 지적한다. 더 빠른 모델은 GPU 시간을 덜 사용해 비용 효율이 높다. Runway에 따르면 특정 품질 수준에서 출력당 비용이 어떤 애플리케이션이 경제적으로 성립하는지를 결정한다. 즉각적인 생성은 그 문턱을 낮춰, 이전에는 수익성이 없던 애플리케이션을 실현 가능하게 만든다.
작은 시각적 오류가 큰 왜곡으로 커질 수 있다
텍스트 모델은 문장 중간에 스스로 수정할 수 있지만, 영상 모델은 각 프레임을 이전 프레임 위에 쌓기 때문에 작은 오류가 시간이 지나며 누적되어 큰 왜곡으로 커질 수 있다. Runway는 이를 LLM 기반 접근 방식의 핵심 문제로 설명하며, 오류 없는 입력만이 아니라 모델 자신의 출력으로도 훈련시켜 편차를 증폭하는 대신 스스로 수정하도록 해결한다.
스타트업 Decart도 실시간 모델 MirageLSD에 유사한 접근 방식을 사용했으며, 훈련 중 의도적으로 결함 있거나 왜곡된 이미지를 노출시켰다. Google Deepmind는 세계 모델 Genie 3가 720p 해상도, 초당 24프레임으로 수 분간 일관된 상호작용 세계를 유지한다고 밝혔다.
Runway에 따르면 실시간 생성은 컴퓨팅 부하를 훈련에서 사용 시점으로 이동시킨다. 모델은 여러 세션이 공유하는 하드웨어에서 실행되면서도 재생 속도를 따라잡을 만큼 충분히 빠르게 각 프레임을 생성해야 한다.
세계 모델로 로봇과 로보택시 훈련
Runway는 상호작용형 애플리케이션을 AI 생성 미디어의 가장 큰 장기적 활용 사례로 본다. 교육, 게임, 로보틱스는 보는 사람의 반응 속도만큼 빠르게 반응하는 영상이 필요하다고 회사는 말한다. 로봇이나 자율주행차의 행동을 평가하려면 실시간으로 생성되고 엣지 케이스에 즉각 반응하는 환경도 필요하다.
Runway는 앞서 GWM-1의 변형인 GWM Robotics를 소개했는데, 이는 로봇을 위한 합성 훈련 데이터를 생성한다. Waymo도 Genie 3를 기반으로 도로 교통에 맞게 조정한 Waymo World Model로 유사한 접근 방식을 취하고 있다. 이를 통해 Waymo는 차량 기대가 관찰한 적 없는 상황, 예컨대 코끼리, 토네이도, 침수된 주거 지역과의 조우를 시뮬레이션할 수 있다. Waymo에 따르면 Waymo Driver는 공공 도로에서 시나리오를 만나기 전에 가상 세계에서 수십억 마일을 주행한다.
3월 Runway는 엔비디아와 함께 개발한 실시간 모델의 리서치 프리뷰를 엔비디아 GTC 컨퍼런스에서 선보이기도 했다. 이 모델은 Vera Rubin 플랫폼에서 실행되며 100밀리초 이내에 첫 프레임을 제공하도록 설계되었다. Runway는 출시 일정은 아직 발표하지 않았다.
AI News Without the Hype – Curated by Humans. 과장 없는 AI 뉴스 – THE DECODER 뉴스레터를 구독하면 광고 없는 기사와 주간 AI 뉴스레터를 받아볼 수 있다.