#인코더

H Company, 단일 타워 멀티모달 인코더 NeoMME 공개

H Company가 비전 타워와 인과 디코더를 제거한 2억 6천만/8억 파라미터 단일 타워 멀티모달 인코더 NeoMME를 공개했습니다. 하나의 트랜스포머로 다국어 텍스트 토큰과 원시 32×32 이미지 패치를 처리하며, 마스크 기반 이산 확산 사전학습과 밀도(dense)·후기 상호작용(late-interaction) 이중 검색 헤드를 사용합니다. ViDoRe v3에서 260M 모델이 nDCG@10 0.523을 달성했고, 255배 인덱스 압축과 L40S GPU 하나에서 초당 51.3페이지의 인덱싱 처리량을 보여주지만 텍스트 검색 성능의 한계는 저자들도 인정하고 있습니다.

리퀴드 AI, CPU에서 8K 컨텍스트 처리에 강한 양방향 인코더 2종 공개

리퀴드 AI가 LFM2 하이브리드 백본 기반의 오픈웨이트 양방향 인코더인 LFM2.5-Encoder-230M과 350M을 공개했습니다. 350M 모델은 GLUE, SuperGLUE 등 다국어 벤치마크에서 대형 모델들에 이어 우수한 성능을 보였으며, 230M 모델은 일반 CPU 환경에서도 8,192 토큰 처리를 약 28초 만에 빠르게 수행합니다.