BL
MarkTechPost • 7일 전
링컵리서치, 1.49억 파라미터 오픈소스 희소 임베딩 모델 'SPARSEUP' 공개
IMP 6/10
핵심 요약
링컵리서치(Linkup Research)가 1억4,900만 파라미터의 ModernBERT 기반 오픈소스 희소 임베딩 모델 SPARSEUP을 공개했습니다. BEIR-13 벤치마크에서 nDCG@10 56.4점을 기록해 1.5억 파라미터 미만 공개 희소 인코더 중 최고 성능으로 알려져 있으며, Seismic 인덱스와 결합 시 쿼리당 약 380마이크로초 만에 97% 이상의 재현율을 달성합니다. Apache 2.0 라이선스로 배포됩니다.
번역된 본문
링컵리서치(Linkup Research)가 오픈소스 희소 임베딩 모델 SPARSEUP을 공개했습니다. 이 모델은 1억4,900만 파라미터의 ModernBERT 백본을 기반으로 하며, BEIR-13 벤치마크에서 nDCG@10 56.4점을 기록했습니다. 링컵리서치는 이를 1억5,000만 파라미터 미만의 공개 희소 인코더 중 자신들이 아는 최고 성적이라고 밝혔습니다. 이 모델은 로짓 시프트(logit shift), 토큰당 상위 12개 확장(top-12 expansion), 대소문자 접기(case folding) 기법을 사용해 벡터의 희소성을 유지합니다. Seismic 인덱스와 함께 사용하면 쿼리당 약 380마이크로초 만에 97% 이상의 재현율을 달성하며, Apache 2.0 라이선스로 배포됩니다.
이 글 '링컵리서치, 1.49억 파라미터 오픈소스 희소 임베딩 모델 SPARSEUP 공개'는 MarkTechPost에 처음 게재되었습니다.
원문 보기 (영어)
Linkup Research has released SPARSEUP, an open-source sparse embedding model built on a 149M-parameter ModernBERT backbone. It scores 56.4 nDCG@10 on BEIR-13, which Linkup calls the best result it knows of for a public sparse encoder under 150M parameters. The model uses a logit shift, top-12 expansion per token and case folding to keep its vectors sparse. With the Seismic index, it reaches over 97% recall in about 380 microseconds per query, and it ships under Apache 2.0.
The post Linkup Research Releases SPARSEUP: A 149M-Parameter Open-Source Sparse Embedding Model appeared first on MarkTechPost.