GPT-5.6 Sol, 오픈AI 역대 최고의 비전 모델로 등장
OpenAI가 GPT-5.6 라인업(Sol, Terra, Luna)을 공개했고, Roboflow의 비전 벤치마크에서 Sol은 객체 탐지 mAP@50 13.8에서 46.2로 비약적으로 향상되며 오픈AI 역대 최고의 비전 모델로 평가받았습니다. 특히 문서 레이아웃 탐지와 밀집된 장면에서 강점을 보였으나, 2000x2000 픽셀 이상 큰 이미지에서는 좌표가 불안정해지는 한계가 있어 리사이징·크롭이 권장됩니다.
블로그: GPT-5.6 Sol은 OpenAI가 지금까지 출시한 최고의 '비전' 모델이다 Piotr Skalski | 2026년 7월 16일 게시 • 6분 소요
지난주 OpenAI는 GPT-5.6 라인업을 발표하며 Sol, Terra, Luna 모델을 선보였다. 릴리스 스트림에서 팀은 컴퓨터 사용(computer use)에 집중하며 데스크톱 애플리케이션을 탐색하고 조작할 수 있는 모델들을 시연했다. OpenAI는 UI 에이전트와 정교한 3D 시각화를 강조했지만, 이 두 가지 모두 더 강력한 시각 이해 능력에 의존한다.
비전 능력을 측정하기 위해 우리는 몇 주 내 공개할 예정인 VLM 벤치마크로 모델들을 테스트했다. 이 벤치마크는 탐지(detection), 계수(counting), OCR, 데이터 추출 등 일반적인 비전 작업을 다룬다. 이 글에서는 GPT-5.6이 각 작업에서 어떤 성능을 보이는지 자세히 살펴본다.
Sol은 명확히 OpenAI가 지금까지 출시한 최고의 비전 모델이다. 특히 GPT-5.5가 최상위 VLM들에 크게 뒤처졌던 객체 탐지와 계수 분야에서 도약이 두드러진다. Terra와 Luna는 Sol만큼 강하지는 않지만, 둘 다 GPT-5.5 대비 의미 있는 진전을 보였다.
시작하기: Roboflow Playground에서 Sol, Terra, Luna를 테스트하고 Claude Fable 5, Gemini 3.5 Flash 같은 모델과 동일한 비전 작업 결과를 비교할 수 있다.
객체 탐지 탐지는 GPT-5.6이 가장 뚜렷한 향상을 보인 분야다. GPT-5.5는 벤치마크에서 13.8 mAP@50을 기록했지만 Sol은 46.2에 도달했다. Terra와 Luna는 각각 44.7, 43.3으로 근접했으며, 객체 탐지를 주요 약점에서 실용적인 기능으로 끌어올렸다.
문서 레이아웃 탐지는 GPT-5.6의 가장 뚜렷한 강점 중 하나다. Sol은 제목, 문단, 표, 이미지, 서명을 잘 처리했다. 많은 문서 워크플로우는 OCR이나 데이터 추출 전에 페이지의 관련 부분을 찾는 것에서 시작한다.
GPT-5.6은 밀집된 장면에서도 좋은 성능을 냈다. 알약과 달걀 예제는 비슷한 객체들이 촘촘히 모여 있는 경우로, VLM 기반 탐지의 일반적인 약점이다. 전통적인 탐지기와 달리 VLM은 각 클래스 레이블과 좌표 세트를 텍스트로 생성한다. 객체 수가 늘어나면 응답이 길어지고 누락, 중복, 좌표 오류 위험이 커진다. 그럼에도 Sol은 두 장면에서 대부분의 객체를 탐지했다.
최상의 탐지 결과를 위해서는 GPT-5.6 모델에 이미지 픽셀 단위의 절대 XYXY 좌표를 반환하도록 프롬프트하는 것이 좋다. 이는 0~1000 범위로 정규화된 YXYX 좌표에서 최고 성능을 보인 Gemini 3.5 Flash와 다르다. 잘못된 좌표 형식 사용은 벤치마크에서 GPT-5.6 탐지 성능을 약 15 mAP 포인트 저하시켰다.
몇몇 경우 GPT-5.6 Sol은 이미지의 무작위 위치처럼 보이는 곳에 박스를 반환했다. 많은 박스가 정답(ground truth)과 겹치지 않거나 거의 겹치지 않았다. 보이는 객체와 일치하는 대신, 박스들은 종종 일렬 배치나 균등한 간격 그룹 같은 부자연스러운 레이아웃을 이뤘다. 우리는 이 예제들을 OpenAI에 공유했고, OpenAI 팀은 Sol이 약 2000x2000 픽셀 이상의 큰 이미지에서 특히 낮은 추론 노력(reasoning effort) 설정 시 불안정해진다고 확인했다. 더 높은 추론 노력은 안정성을 높이지만 토큰 사용량, 지연 시간, 비용도 증가시킨다. OpenAI API로 보내기 전 큰 이미지를 리사이즈하거나 크롭하는 것이 가장 실용적인 해결책이다.
객체 계수 GPT-5.6 라인업 전체에서 계수 능력이 향상됐다. Sol은 벤치마크에서 73.0%를 기록해 GPT-5.5의 64.9%를 넘어섰고, Terra와 Luna는 각각 67.6%, 66.2%에 도달했다. 라인업에서 가장 저렴한 Luna조차 이전 OpenAI 기준치를 능가했다.
벤치마크의 일환으로 객체를 발견해 총합을 내는 것 이상이 필요한 사례를 테스트했다. Sol은 심하게 겹쳐진 금속 브래킷을 계수했는데, 이는 전통적인 객체 탐지기와 VLM 모두에게 어려운 사례다. Sol은 또한 선택된 채점 구역 내부의 총탄 구멍만 계수하며, 어떤 객체를 셀지와 규칙이 어디에 적용되는지 모두 이해함을 보여줬다. 반면 블리스터 포장(알약 포장)은 훨씬 더 어려운 것으로 드러났다. 별도의 프롬프트에서 빈 슬롯과 포장 내 밀봉된 알약을 세라고 요청했는데, 반복되는 레이아웃, 반사, 그리고 작은 크기 때문에 어려움을 겪었다.