단일 텍스트 명령으로 모든 이미지 속 객체 수를 세는 AI 'Count Anything'
중국 칭화대 등 연구진이 메타(Meta)의 비전 모델(SAM3)을 기반으로 텍스트 프롬프트 하나만으로 위성 사진, 의료 스캔, 일상 사진 등 모든 이미지 내 객체의 수를 정확히 세고 표시하는 새로운 AI 모델 'Count Anything'을 발표했습니다. 이 시스템은 큰 객체는 박스로, 작고 밀집된 객체는 점으로 표시한 뒤 병합해 중복 계산을 방지하는 하이브리드 방식을 사용하여 기존 경쟁 모델들을 크게 압도하는 성능을 보여줍니다. 텍스트 기반 객체 카운팅을 위해 구축된 역대 최대 규모의 데이터셋을 학습한 이 모델은 의료, 농업, 도시 계획 등 다양한 실무 분야에서 활용도가 높을 것으로 기대됩니다.
새로운 AI 모델 'Count Anything(모든 것을 세다)'은 이름 그대로의 역할을 수행하지만, 그 과정은 결코 쉽지 않습니다.
조나단 켐퍼(Jonathan Kemper) | THE DECODER가 프롬프트를 제공함 | 2026년 6월 13일
핵심 요약 "Count Anything"은 텍스트 프롬프트 명령 하나만으로 위성 이미지, 의료 스캔, 일상 사진에 이르기까지 매우 다양한 이미지 유형에 걸쳐 객체를 세고 라벨을 붙입니다. 이 시스템은 메타(Meta)의 SAM3 모델을 기반으로 구축되었으며, 두 가지 접근 방식을 결합합니다. 큰 객체 주위에는 박스를 그리고, 작고 밀집된 대상에는 점을 찍은 다음, 이중으로 계산되지 않도록 결과를 병합합니다. 자체 구축된 CLOC 데이터셋으로 학습된 이 모델은 테스트에서 많은 경쟁 모델보다 뛰어난 성능을 보였지만, 여전히 모호한 용어나 극도로 밀집된 장면에서는 어려움을 겪습니다.
거대 언어 모델(LLM)은 이미지를 묘사하고, 차트를 해석하며, 사진에서 텍스트를 추출할 수 있습니다. 최신 AI 시스템에서 멀티모달리티(Multimodality, 다양한 형태의 데이터를 처리하는 능력)는 당연한 기능이 되었습니다. 하지만 겉보기엔 단순해 보이는 한 가지 작업이 놀라울 정도로 어려운 것으로 남아있는데, 바로 이미지 내 객체의 수를 '정확하게' 세는 것입니다.
스캔 결과를 판독하는 의사, 작물 수확량을 추정하는 농부, 교통량을 분석하는 도시 계획자 등 누구에게든 객체 수를 정확히 파악하는 것은 현실적으로 매우 중요한 결과를 낳습니다. 지금까지는 이러한 각각의 작업을 수행하기 위해 맞춤형 특화 시스템이 필요했습니다. 바로 이 지점에서 "Count Anything"이 등장합니다.
칭화대학교(Tsinghua University) 및 기타 기관의 연구진이 개발한 이 새로운 AI 모델은 군중 속의 인원수, 위성 사진 속 자동차, 의료 스캔 상의 세포, 실험실의 세균 군집 등 매우 다른 유형의 이미지에 걸쳐 객체를 계산하는 것을 목표로 합니다.
이는 익숙한 문제입니다. 군중 속 인원수를 안정적으로 계산하는 시스템은 현미경 아래 빽빽하게 모여있는 세포나 위에서 내려다본 작은 차량들을 만나면 종종 오류를 일으킵니다. 연구진은 텍스트를 입력받아 세어진 모든 객체를 이미지에 표시하고, 완전히 다른 이미지 유형들도 처리할 수 있는 '단일 모델'을 원했습니다.
두 개의 카운터가 하나보다 낫다 핵심 아이디어는 서로 보완적인 두 가지 접근 방식을 결합하는 것입니다. 하나는 크고 명확하게 보이는 객체에 특화되어 그 주위에 바운딩 박스(Bounding Box)를 그립니다. 다른 하나는 작고 밀집되어 있는 객체를 처리하기 위해 감지된 각 대상에 점(Dot)을 찍습니다. 두 예측 결과는 마지막에 병합됩니다. 단순한 규칙을 통해 동일한 객체가 두 번 계산되는 것을 방지합니다. 두 카운터가 동일한 대상을 감지했을 때, 신뢰도(confidence)가 더 높은 예측만 최종적으로 살아남게 됩니다.
이 시스템은 이미지와 텍스트를 함께 처리할 수 있는 메타의 사전 학습 모델인 SAM3를 기반으로 구축되었습니다. Count Anything은 모델 전체를 처음부터 다시 학습시키는 대신, 카운팅 작업을 위한 작은 어댑터(Adapter) 구성 요소를 상단에 추가했습니다.
6개의 시각적 도메인을 아우르는 단일 데이터셋 모델이 이를 광범위하게 학습하기 위해, 연구진은 먼저 이에 맞는 데이터셋을 구축해야 했습니다. 기존의 공개 데이터셋은 종양 세포나 위성 이미지와 같이 단일 목적으로 구축되는 경우가 많았습니다. 연구진은 이를 하나로 병합하고, 충돌하는 라벨을 정리하여 그 결과를 'CLOC'라는 이름으로 공개했습니다. 연구진은 이것이 현재까지 텍스트 기반 카운팅을 위한 가장 큰 데이터셋이라고 밝혔습니다.
이 데이터셋은 6개 도메인에 걸쳐 약 220,000개의 이미지, 619개의 카테고리 및 1,500만 개의 라벨링된 객체를 포함하고 있습니다. 여기에는 일상 사진, 위성 및 드론 이미지, 의료 조직 샘플, 현미경 세포 이미지, 밀 이삭과 같은 농업 이미지 및 세균 배양 사진이 포함됩니다.
자체 벤치마크에서 압도적인 우위 논문에 따르면, 연구팀의 비교 테스트에서 Count Anything은 CountGD, CLIP-Count, Grounding DINO와 같은 경쟁 시스템보다 훨씬 앞서는 성능을 보여줍니다. 평균적으로 이 모델은 이미지 내에서 쿼리된 카테고리당 약 9개의 객체를 잘못 계산합니다. 이는 최고 성능의 경쟁 모델이 오차를 보이는 수치의 절반 이하입니다. 순수하게 군중을 계산하는 작업에서 Count Anything은 경쟁력을 유지하지만, 최고 수준의 특화된 시스템과는 완전히 동일한 수준에는 미치지 못합니다.
연구진은 추가적인 한계점도 인정했습니다. 용어가 모호하거나 고도로 전문화된 경우, 모델이 객체를 누락하거나 잘못 분류할 수 있습니다. 또한 폐색(Occlusion)이 심하고 극도로 밀집된 장면에서는 두 예측이 동일한 객체를 가리키는지 아닌지 구별하는 것조차 여전히 어렵습니다.