MarkTechPost • 19일 전

H Company, 단일 타워 멀티모달 인코더 NeoMME 공개

IMP

6/10

핵심 요약

H Company가 비전 타워와 인과 디코더를 제거한 2억 6천만/8억 파라미터 단일 타워 멀티모달 인코더 NeoMME를 공개했습니다. 하나의 트랜스포머로 다국어 텍스트 토큰과 원시 32×32 이미지 패치를 처리하며, 마스크 기반 이산 확산 사전학습과 밀도(dense)·후기 상호작용(late-interaction) 이중 검색 헤드를 사용합니다. ViDoRe v3에서 260M 모델이 nDCG@10 0.523을 달성했고, 255배 인덱스 압축과 L40S GPU 하나에서 초당 51.3페이지의 인덱싱 처리량을 보여주지만 텍스트 검색 성능의 한계는 저자들도 인정하고 있습니다.

번역된 본문

이번 글에서는 H Company의 2억 6천만(260M) 및 8억(800M) 파라미터 크기의 양방향 인코더 패밀리인 NeoMME를 살펴봅니다. ColPali 스타일의 검색기와 달리, NeoMME는 다국어 텍스트 토큰과 원시 32×32 이미지 패치를 사전학습된 비전 타워(vision tower)와 인과적(causal) 디코더 없이 단일 트랜스포머에서 처리합니다. 우리는 마스크 기반 이산 확산(masked discrete-diffusion) 사전학습 목표 함수, 밀도(dense) 검색과 후기 상호작용(late-interaction) 검색을 위한 이중 헤드, 그리고 260M 모델이 nDCG@10 0.523을 기록한 ViDoRe v3 벤치마크 결과를 다룹니다. 또한 255배에 달하는 인덱스 압축률, L40S GPU 한 장에서 초당 51.3페이지의 인덱싱 처리량, 그리고 저자들이 스스로 인정한 텍스트 검색 성능의 한계에 대해서도 자세히 분석합니다.

원문 보기

원문 보기 (영어)

We look at NeoMME, a family of 260M and 800M bidirectional encoders from H Company. Unlike ColPali-style retrievers, it processes multilingual text tokens and raw 32×32 image patches in a single Transformer, with no pretrained vision tower and no causal decoder. We cover the masked discrete-diffusion pretraining objective, the dual dense and late-interaction retrieval heads, and the ViDoRe v3 results where the 260M model reaches 0.523 nDCG@10. We also break down the 255× index compression, the 51.3 pages per second indexing throughput on one L40S, and the text-retrieval gaps the authors acknowledge. The post H Company Releases NeoMME: A Family of 260M and 800M Single-Tower Multimodal Encoders That Drop the Vision Tower and Causal Decoder appeared first on MarkTechPost.

멀티모달 인코더 문서 검색 확산 모델 오픈소스