메뉴
HN
Hacker News • 40일 전

GPT-5.6 Sol, 오픈AI 역대 최고의 비전 모델로 등장

IMP
7/10
핵심 요약

OpenAI가 GPT-5.6 라인업(Sol, Terra, Luna)을 공개했고, Roboflow의 비전 벤치마크에서 Sol은 객체 탐지 mAP@50 13.8에서 46.2로 비약적으로 향상되며 오픈AI 역대 최고의 비전 모델로 평가받았습니다. 특히 문서 레이아웃 탐지와 밀집된 장면에서 강점을 보였으나, 2000x2000 픽셀 이상 큰 이미지에서는 좌표가 불안정해지는 한계가 있어 리사이징·크롭이 권장됩니다.

번역된 본문

블로그: GPT-5.6 Sol은 OpenAI가 지금까지 출시한 최고의 '비전' 모델이다 Piotr Skalski | 2026년 7월 16일 게시 • 6분 소요

지난주 OpenAI는 GPT-5.6 라인업을 발표하며 Sol, Terra, Luna 모델을 선보였다. 릴리스 스트림에서 팀은 컴퓨터 사용(computer use)에 집중하며 데스크톱 애플리케이션을 탐색하고 조작할 수 있는 모델들을 시연했다. OpenAI는 UI 에이전트와 정교한 3D 시각화를 강조했지만, 이 두 가지 모두 더 강력한 시각 이해 능력에 의존한다.

비전 능력을 측정하기 위해 우리는 몇 주 내 공개할 예정인 VLM 벤치마크로 모델들을 테스트했다. 이 벤치마크는 탐지(detection), 계수(counting), OCR, 데이터 추출 등 일반적인 비전 작업을 다룬다. 이 글에서는 GPT-5.6이 각 작업에서 어떤 성능을 보이는지 자세히 살펴본다.

Sol은 명확히 OpenAI가 지금까지 출시한 최고의 비전 모델이다. 특히 GPT-5.5가 최상위 VLM들에 크게 뒤처졌던 객체 탐지와 계수 분야에서 도약이 두드러진다. Terra와 Luna는 Sol만큼 강하지는 않지만, 둘 다 GPT-5.5 대비 의미 있는 진전을 보였다.

시작하기: Roboflow Playground에서 Sol, Terra, Luna를 테스트하고 Claude Fable 5, Gemini 3.5 Flash 같은 모델과 동일한 비전 작업 결과를 비교할 수 있다.

객체 탐지 탐지는 GPT-5.6이 가장 뚜렷한 향상을 보인 분야다. GPT-5.5는 벤치마크에서 13.8 mAP@50을 기록했지만 Sol은 46.2에 도달했다. Terra와 Luna는 각각 44.7, 43.3으로 근접했으며, 객체 탐지를 주요 약점에서 실용적인 기능으로 끌어올렸다.

문서 레이아웃 탐지는 GPT-5.6의 가장 뚜렷한 강점 중 하나다. Sol은 제목, 문단, 표, 이미지, 서명을 잘 처리했다. 많은 문서 워크플로우는 OCR이나 데이터 추출 전에 페이지의 관련 부분을 찾는 것에서 시작한다.

GPT-5.6은 밀집된 장면에서도 좋은 성능을 냈다. 알약과 달걀 예제는 비슷한 객체들이 촘촘히 모여 있는 경우로, VLM 기반 탐지의 일반적인 약점이다. 전통적인 탐지기와 달리 VLM은 각 클래스 레이블과 좌표 세트를 텍스트로 생성한다. 객체 수가 늘어나면 응답이 길어지고 누락, 중복, 좌표 오류 위험이 커진다. 그럼에도 Sol은 두 장면에서 대부분의 객체를 탐지했다.

최상의 탐지 결과를 위해서는 GPT-5.6 모델에 이미지 픽셀 단위의 절대 XYXY 좌표를 반환하도록 프롬프트하는 것이 좋다. 이는 0~1000 범위로 정규화된 YXYX 좌표에서 최고 성능을 보인 Gemini 3.5 Flash와 다르다. 잘못된 좌표 형식 사용은 벤치마크에서 GPT-5.6 탐지 성능을 약 15 mAP 포인트 저하시켰다.

몇몇 경우 GPT-5.6 Sol은 이미지의 무작위 위치처럼 보이는 곳에 박스를 반환했다. 많은 박스가 정답(ground truth)과 겹치지 않거나 거의 겹치지 않았다. 보이는 객체와 일치하는 대신, 박스들은 종종 일렬 배치나 균등한 간격 그룹 같은 부자연스러운 레이아웃을 이뤘다. 우리는 이 예제들을 OpenAI에 공유했고, OpenAI 팀은 Sol이 약 2000x2000 픽셀 이상의 큰 이미지에서 특히 낮은 추론 노력(reasoning effort) 설정 시 불안정해진다고 확인했다. 더 높은 추론 노력은 안정성을 높이지만 토큰 사용량, 지연 시간, 비용도 증가시킨다. OpenAI API로 보내기 전 큰 이미지를 리사이즈하거나 크롭하는 것이 가장 실용적인 해결책이다.

객체 계수 GPT-5.6 라인업 전체에서 계수 능력이 향상됐다. Sol은 벤치마크에서 73.0%를 기록해 GPT-5.5의 64.9%를 넘어섰고, Terra와 Luna는 각각 67.6%, 66.2%에 도달했다. 라인업에서 가장 저렴한 Luna조차 이전 OpenAI 기준치를 능가했다.

벤치마크의 일환으로 객체를 발견해 총합을 내는 것 이상이 필요한 사례를 테스트했다. Sol은 심하게 겹쳐진 금속 브래킷을 계수했는데, 이는 전통적인 객체 탐지기와 VLM 모두에게 어려운 사례다. Sol은 또한 선택된 채점 구역 내부의 총탄 구멍만 계수하며, 어떤 객체를 셀지와 규칙이 어디에 적용되는지 모두 이해함을 보여줬다. 반면 블리스터 포장(알약 포장)은 훨씬 더 어려운 것으로 드러났다. 별도의 프롬프트에서 빈 슬롯과 포장 내 밀봉된 알약을 세라고 요청했는데, 반복되는 레이아웃, 반사, 그리고 작은 크기 때문에 어려움을 겪었다.

원문 보기
원문 보기 (영어)
Blog GPT 5.6 Sol is the best "vision" model OpenAI ever released Piotr Skalski Published Jul 16, 2026 • 6 min read Last week, OpenAI announced the GPT-5.6 lineup, introducing the Sol, Terra, and Luna models. During the release stream , the team focused heavily on computer use , showing models capable of navigating and operating desktop applications. OpenAI highlighted UI agents and detailed 3D visualizations, but both depend on stronger visual understanding. To measure their vision capabilities, we ran the models through our upcoming VLM benchmark, which we plan to release in the next few weeks. The benchmark covers common vision tasks, including detection, counting, OCR, and data extraction. In this post, we take a closer look at how GPT-5.6 performs across each of them. Sol is clearly the best vision model OpenAI has released so far. The jump is especially visible in object detection and counting, where GPT-5.5 was far behind the strongest VLMs. Terra and Luna are not as strong as Sol, but both show meaningful progress over GPT-5.5. Get started Test Sol, Terra, and Luna in Roboflow Playground and compare their results with models such as Claude Fable 5 and Gemini 3.5 Flash across the same vision tasks. Roboflow Playground Object Detection Detection is where GPT-5.6 shows the clearest jump. GPT-5.5 scored 13.8 mAP@50 in our benchmark, while Sol reached 46.2. Terra and Luna followed closely at 44.7 and 43.3, moving object detection from a major weakness to a practical capability. Document layout detection is one of the clearest strengths of GPT-5.6. Sol handled titles, paragraphs, tables, images, and signatures well. Many document workflows start with locating the relevant parts of a page before OCR or data extraction begins. GPT-5.6 also performed well on dense scenes. The pills and eggs examples contain many similar objects packed closely together, a common weakness for VLM-based detection. Unlike traditional detectors, VLMs generate each class label and set of coordinates as text. As object count grows, the response becomes longer and the risk of missed objects, duplicates, or coordinate errors increases. Despite this, Sol detected most objects across both scenes. For the best detection results, prompt GPT-5.6 models to return absolute XYXY coordinates in image pixels. This differs from Gemini 3.5 Flash, which performed best with YXYX coordinates normalized to a 0–1000 range. Using the wrong coordinate format reduced GPT-5.6 detection performance by around 15 mAP points in our benchmark. In a few cases, GPT-5.6 Sol returned boxes in seemingly random parts of the image. Many had no overlap, or almost no overlap, with the ground truth. Instead of matching the visible objects, the boxes often formed unnatural layouts, such as straight rows or evenly spaced groups. We shared those examples with OpenAI. Their team confirmed that Sol becomes less stable on images around 2,000 by 2,000 pixels or larger, especially at lower reasoning effort. Higher reasoning effort improves stability, but also increases token use, latency, and cost. Resizing or cropping large images before sending them to the OpenAI API is the most practical workaround. Object Counting Counting improved across the full GPT-5.6 lineup. Sol scored 73.0% in our benchmark, up from 64.9% for GPT-5.5, while Terra and Luna reached 67.6% and 66.2%. Luna, the cheapest model in the lineup, still outperformed the previous OpenAI baseline. As part of the benchmark, we tested cases requiring more than spotting objects and returning a total. Sol counted heavily overlapping metal brackets, a difficult case for both traditional object detectors and VLMs. Sol also counted bullet holes only inside selected scoring zones, showing an understanding of both which objects to count and where the rule applied. Blister packs proved much harder. In separate prompts, we asked Sol to count the empty slots and the pills still sealed inside the package. The repeated layout, reflections, and small visual differences between filled and empty slots made both tasks difficult. The abnormal candy example exposed a different type of failure. Sol gave the wrong count, though it is unclear whether the model miscounted the candies or misunderstood the target category. OCR and Data Extraction OCR performance stayed close to GPT-5.5. Sol achieved a 90.7% mean similarity score, only 0.5 points behind GPT-5.5 at 91.2%, while Terra and Luna reached 88.8% and 88.4%. The gap was larger in text extraction, where Sol scored 82.5% compared with 87.6% for GPT-5.5. Luna and Terra followed at 81.4% and 79.4%. As part of the benchmark, we separated full transcription from targeted extraction. OCR asks the model to transcribe all visible text, while text extraction asks for a specific piece of information. Sol performed well on handwritten notes in both settings, producing a full transcription in one case and extracting a requested date in another. Sol performed well on text embedded in complex visual scenes. It read a tire size sequence printed along the curved surface of a dirty, worn tire. In another example, it extracted the live score from a hockey broadcast and returned the answer in the requested format, testing both visual reading and instruction following. Some simple-looking extraction tasks still failed. Sol could not read the expiration date printed on a blister pack. The text was small, vertical, low contrast, and affected by reflections, which may explain the error. Trade-offs The vision gains come with higher token usage across the GPT-5.6 lineup. The difference matters less in small tests, but becomes more important at scale, where token volume directly increases processing costs. Sol averaged close to 10 seconds per image in our benchmark. Terra reduced that to around 6 seconds, while Luna finished in slightly over 5 seconds. Luna offers the strongest latency-quality balance in the lineup, with speed close to Gemini 3.5 Flash while still outperforming GPT-5.5 on detection and counting. In our benchmark, Sol cost roughly 2.5 cents per image, making it the second most expensive model after Claude Fable 5 . Terra reduced the average cost to about 1 cent per image, while Luna cost less than 0.5 cents. At 0.8 cents per image, Gemini 3.5 Flash is much cheaper than Sol while still leading our detection and counting benchmarks. This makes it a strong option for data-intensive workloads where cost scales across large image batches. Roboflow Playground lets you test Sol, Terra, and Luna alongside Claude Fable 5, Gemini 3.5 Flash, and other VLMs on the same tasks. Takeaways With GPT-5.6, OpenAI is much closer to the leading VLMs than before. Detection moved from a weak point to a usable capability, and counting improved across the full model family. There are still clear limits. Gemini 3.5 Flash remains a better practical choice for high-volume detection and counting in our benchmark, especially at its price. GPT-5.6 shows OpenAI is now taking vision much more seriously. Sol still has flaws, especially around cost, latency, and some unstable detection cases, but the progress is hard to ignore. For agents, screen understanding, document workflows, and visual reasoning, this release makes OpenAI a much stronger option than before. Cite this Post Use the following entry to cite this post in your research: Piotr Skalski . (Jul 16, 2026). GPT 5.6 Sol is the best "vision" model OpenAI ever released. Roboflow Blog: https://blog.roboflow.com/openai-gpt-5-6/ Model Playground Compare VLM Models Side-by-Side Written by Piotr Skalski ML Growth Engineer @ Roboflow | Owner @ github.com/SkalskiP/make-sense (2.4k stars) | Blogger @ skalskip.medium.com/ (4.5k followers) View more posts Topics Computer Vision OCR Multimodal Object Detection More About Computer Vision View All Computer Vision Posts How to Build an AI Basketball Shot Evaluator Aug 14, 2026 • 7 min read Top Models for AI Data Labeling Aug 7, 2026 • 7 min read How to Build an AI Video Car D
관련 소식