메뉴
HN
Hacker News 45일 전

구글, 로봇의 물리적 추론 능력 강화한 '제미나이 로보틱스-ER 1.6' 발표

IMP
8/10
핵심 요약

구글이 로봇이 물리적 환경을 이해하고 작업을 수행할 수 있도록 돕는 핵심 모델인 Gemini Robotics-ER 1.6을 공개했습니다. 이번 버전은 다각도 카메라 이해를 바탕으로 한 공간 추론, 계기판 읽기 등의 기능이 대폭 향상되어 복잡한 산업 현장에서 로봇의 자율성을 크게 높였다는 점에서 중요합니다. 개발자들은 현재 Gemini API와 Google AI Studio를 통해 이 모델에 접근하고 활용할 수 있습니다.

번역된 본문

본문 건너뛰기 2026년 4월 14일 모델

Gemini Robotics-ER 1.6: 향상된 구체화 추론(Embodied Reasoning)을 통해 실제 로봇 작업 수행 역량 강화 Laura Graesser 및 Peng Xu 공유

로봇이 일상생활과 산업 현장에서 진정으로 유용하려면 단순히 지시를 따르는 것을 넘어 물리적 세계에 대해 추론할 수 있어야 합니다. 복잡한 시설 내비게이션부터 압력 게이지의 바늘 해석에 이르기까지, 로봇의 '구체화 추론(embodied reasoning)'은 디지털 지능과 물리적 행동 사이의 간극을 메워주는 핵심 기술입니다.

오늘 저희는 로봇이 환경을 전례 없는 정밀도로 이해할 수 있게 해주는 추론 중심 모델의 중대한 업그레이드 버전인 Gemini Robotics-ER 1.6을 소개합니다. 공간 추론(Spatial Reasoning) 및 다각도 이해(Multi-view Understanding) 능력을 향상시킴으로써, 차세대 물리적 에이전트에 새로운 수준의 자율성을 부여하고 있습니다. 이 모델은 시각 및 공간 이해, 작업 계획, 성공 감지(Success Detection) 등 로봇 공학에 필수적인 추론 기능에 특화되어 있습니다.

이 모델은 로봇을 위한 상위 수준의 추론 모델로 작동하며, 정보 검색을 위해 구글 검색(Google Search)을 네이티브로 호출하거나 비전-언어-행동 모델(VLA), 또는 기타 서드파티 사용자 정의 기능을 실행하여 작업을 수행할 수 있습니다. Gemini Robotics-ER 1.6은 Gemini Robotics-ER 1.5 및 Gemini 3.0 Flash 모두에 비해 눈에 띄는 성능 향상을 보여주며, 특히 포인팅(pointing), 카운팅(counting), 성공 감지와 같은 공간 및 물리적 추론 기능이 크게 강화되었습니다.

또한 새로운 기능인 '계기판 읽기(Instrument reading)'를 도입하여 로봇이 복잡한 게이지와 레벨 글래스(Sight glass, 투명 액위계)를 읽을 수 있게 되었습니다. 이 활용 사례는 파트너사인 보스턴 다이내믹스(Boston Dynamics)와의 긴밀한 협업을 통해 발견되었습니다. 오늘부터 개발자들은 Gemini API 및 Google AI Studio를 통해 Gemini Robotics-ER 1.6을 사용할 수 있습니다. 원활한 시작을 돕기 위해 모델 구성 및 구체화 추론 작업을 위한 프롬프트 예제가 포함된 개발자용 Colab 노트북을 공유합니다.

포인팅(Pointing): 공간 추론의 기초 포인팅은 구체화 추론 모델의 근본적인 기능으로, 모델 세대를 거듭하며 발전해 왔습니다. 포인트(Points)는 다음과 같은 다양한 개념을 표현하는 데 사용될 수 있습니다:

  • 공간 추론: 정밀한 객체 감지 및 개수 세기
  • 관계 논리: 비교 수행(예: 세트 중 가장 작은 항목 식별), "A에서 B로"의 관계 정의(예: X를 Y 위치로 이동)
  • 모션 추론: 궤적 매핑 및 최적의 파지 지점(Grasp points) 식별
  • 제약 조건 준수: "파란색 컵 안에 들어갈 만큼 충분히 작은 모든 물체를 가리켜라"와 같은 복잡한 프롬프트에 대한 추론

Gemini Robotics-ER 1.6은 이러한 포인트를 중간 단계로 활용하여 더 복잡한 작업에 대해 추론할 수 있습니다. 예를 들어, 이미지 내의 항목 수를 세기 위해 포인트를 사용하거나, 모델이 수학적 연산을 수행하여 측정치를 정확하게 추정할 수 있도록 돕기 위해 이미지의 핵심 포인트를 식별하는 데 사용할 수 있습니다. 아래 예시는 Gemini Robotics-ER 1.6이 여러 요소를 가리키는 데 뛰어나며, 언제 가리켜야 하고 가리키지 않아야 하는지 정확히 아는 능력을 보여줍니다.

성공 감지(Success Detection): 자율성의 엔진 로봇 공학에서 작업이 완료된 시점을 아는 것은 작업을 시작하는 방법을 아는 것만큼이나 중요합니다. 성공 감지는 자율성의 초석으로, 에이전트가 실패한 시도를 재시도할지 또는 계획의 다음 단계로 넘어갈지 지능적으로 선택할 수 있게 해주는 핵심 의사결정 엔진 역할을 합니다.

로봇 공학에서 시각적 이해를 달성하는 것은 매우 까다롭습니다. 가려짐(Occlusion), 조명 부족, 모호한 지시어와 같은 복잡한 요인을 처리하기 위해서는 정교한 인식 및 추론 능력이 폭넓은 세계 지식과 결합되어야 합니다. 또한 대부분의 최신 로봇 설정에는 오버헤드(상부) 및 손목 장착형 피드와 같은 여러 카메라 뷰가 포함됩니다. 즉, 시스템은 각 순간과 시간 경과에 따라 여러 관점이 어떻게 결합되어 일관된 그림을 형성하는지 이해할 수 있어야 합니다. Gemini Robotics-ER 1.6은 다각도 추론을 발전시켜, 역동적이거나 가려진 환경에서도 시스템이 여러 카메라 스트림과 그 상호 관계를 더 잘 이해할 수 있도록 지원합니다.

원문 보기
원문 보기 (영어)
Skip to main content April 14, 2026 Models Gemini Robotics-ER 1.6: Powering real-world robotics tasks through enhanced embodied reasoning Laura Graesser and Peng Xu Share For robots to be truly helpful in our daily lives and industries, they must do more than follow instructions, they must reason about the physical world. From navigating a complex facility to interpreting the needle on a pressure gauge, a robot’s “embodied reasoning” is what allows it to bridge the gap between digital intelligence and physical action. Today, we’re introducing Gemini Robotics-ER 1.6 , a significant upgrade to our reasoning-first model that enables robots to understand their environments with unprecedented precision. By enhancing spatial reasoning and multi-view understanding, we are bringing a new level of autonomy to the next generation of physical agents. This model specializes in reasoning capabilities critical for robotics, including visual and spatial understanding, task planning and success detection. It acts as the high-level reasoning model for a robot, capable of executing tasks by natively calling tools like Google Search to find information, vision-language-action models (VLAs) or any other third-party user-defined functions. Gemini Robotics-ER 1.6 shows significant improvement over both Gemini Robotics-ER 1.5 and Gemini 3.0 Flash , specifically enhancing spatial and physical reasoning capabilities such as pointing, counting, and success detection. We are also unlocking a new capability: instrument reading, enabling robots to read complex gauges and sight glasses — a use case we discovered through close collaboration with our partner, Boston Dynamics. Starting today, Gemini Robotics-ER 1.6 is available to developers via the Gemini API and Google AI Studio . To help you get started, we are sharing a developer Colab containing examples of how to configure the model and prompt it for embodied reasoning tasks. Pointing: The foundation of spatial reasoning Pointing is a fundamental capability for an embodied reasoning model, evolving with each model generation. Points can be used to express many concepts, including: Spatial reasoning: Precision object detection and counting Relational logic: Making comparisons, such as identifying the smallest item in a set; defining "from-to" relationships (e.g move X to location Y) Motion reasoning: Mapping trajectories and identifying optimal grasp points Constraint compliance: Reasoning through complex prompts like "point to every object small enough to fit inside the blue cup" Gemini Robotics-ER 1.6 can use points as intermediate steps to reason about more complex tasks. For example, it can use points to count items in an image, or to identify salient points on an image to help the model perform mathematical operations to improve its metric estimations. The example below shows Gemini Robotics-ER 1.6’s strengths in pointing to multiple elements, and knowing when and when not to point. Success Detection: The engine of autonomy In robotics, knowing when a task is finished is just as important as knowing how to start it. Success detection is a cornerstone of autonomy, serving as a critical decision-making engine that allows an agent to intelligently choose between retrying a failed attempt or progressing to the next stage of a plan. Achieving visual understanding in robotics is challenging, requiring sophisticated perception and reasoning capabilities combined with broad world knowledge in order to handle complicating factors such as occlusions, poor lighting and ambiguous instructions. Additionally, most modern robotics setups include multiple camera views such as an overhead and wrist-mounted feed. This means a system needs to understand how different viewpoints combine to form a coherent picture at each moment and across time. Gemini Robotics-ER 1.6 advances multi-view reasoning, enabling the system to better understand multiple camera streams and the relationship between them, even in dynamic or occluded environments, as demonstrated in the typical multi-view scenario below. Instrument reading: Real-world visual reasoning To understand a key strength of Gemini Robotics-ER 1.6, we must look at how it combines capabilities like spatial reasoning and world knowledge to solve complex, real-world problems. A perfect example is instrument reading. This task stems from facility inspection needs, a critical focus area for our partners at Boston Dynamics. Industrial facilities contain many instruments — thermometers, pressure gauges, chemical sight glasses and more — that require constant monitoring. Spot, a Boston Dynamics robot product , is able to visit the instruments throughout the facility and capture images of them. Instrument reading requires complex visual reasoning. One must precisely perceive a variety of inputs — including the needles, liquid level, container boundaries, tick marks and more — and understand how they all relate to each other. In the case of sight glasses, this involves estimating how much the liquid fills the sightglass taking into account distortion from the camera perspective. Gauges typically have text describing the unit, which must be read and interpreted, and some have multiple needles referring to different decimal places that need to be combined. Gemini Robotics-ER 1.6 achieves its highly accurate instrument readings by using agentic vision , which combines visual reasoning with code execution. The model takes intermediate steps: first zooming into an image to get a better read of small details in a gauge, then using pointing and code execution to estimate proportions and intervals and get an accurate reading, and ultimately applying its world knowledge to interpret meaning. Read an analog gauge with accuracy Our safest robotics model yet Safety is integrated into every level of our embodied reasoning models. Gemini Robotics-ER 1.6 is our safest robotics model to date, demonstrating superior compliance with Gemini safety policies on adversarial spatial reasoning tasks compared to all previous generations. The model also shows a substantially improved capacity to adhere to physical safety constraints. For example, it makes safer decisions through spatial outputs like pointing regarding which objects can be safely manipulated under gripper or material constraints (e.g., “don't handle liquids”, “don't pick up objects heavier than 20kg“). We also tested how well the model identifies safety hazards in text and video scenarios based on real-life injury reports. On these tasks, our Gemini Robotics-ER models improve over baseline Gemini 3.0 Flash performance (+6% in text, +10% in video) in perceiving injury risks accurately. Collaborate with us to improve embodied reasoning for robotics We are committed to ensuring Gemini Robotics-ER provides maximum value to the robotics community. If current capabilities are limited for your specialized application, we invite you to submit this form with 10–50 labeled images illustrating specific failure modes to help us build more robust reasoning features. We look forward to collaborating with you to enhance these capabilities in our upcoming releases. Try Gemini Robotics-ER 1.6 now on Google AI Studio Related posts Gemini Robotics Learn more Gemini Robotics-ER Learn more Responsibly advancing AI and robotics Learn more