BL
MarkTechPost • 31일 전
리퀴드 AI, 온디바이스 최적화 초소형 모델 공개
IMP 8/10
핵심 요약
Liquid AI가 다양한 추론 프레임워크(llama.cpp, vLLM 등)를 지원하는 초소형 오픈웨이트 모델 LFM2.5-230M을 공개했습니다. 이 모델은 스마트폰과 라즈베리파이 같은 저사양 기기에서도 매우 빠른 속도로 구동되며, 파라미터 수가 더 많은 기존 모델들을 능가하는 성능을 보여줍니다. 향후 네트워크 연결 없이 구동되는 모바일 기기 및 엣지 디바이스의 AI 도구 활용 및 데이터 처리 능력을 크게 향상시킬 수 있다는 점에서 실무자들에게 중요한 의미를 갖습니다.
번역된 본문
Liquid AI가 자사의 가장 작은 모델인 LFM2.5-230M을 출시했습니다. 2억 3천만 개의 파라미터를 가진 이 오픈웨이트(Open-weight) 모델은 온디바이스(On-device) 환경에서 실행되며, 갤럭시 S25 울트라에서는 초당 213토큰(tok/s), 라즈베리파이 5(Raspberry Pi 5)에서는 초당 42토큰의 속도를 기록합니다. LFM2 아키텍처를 기반으로 구축된 이 모델은 도구 사용(Tool use) 및 데이터 추출에 최적화되었으며, 명령어 수행(Instruction following) 부문에서 Qwen3.5-0.8B 및 Gemma 3 1B와 같은 더 큰 규모의 모델들을 성능으로 압도합니다.
llama.cpp, MLX, vLLM, SGLang 및 ONNX를 지원하여 온디바이스 추론을 강화하는 Liquid AI의 LFM2.5-230M 출시 소식은 MarkTechPost를 통해 처음으로 공개되었습니다.
원문 보기 (영어)
Liquid AI released LFM2.5-230M, its smallest model yet. The 230M-parameter, open-weight model runs on-device at 213 tok/s on a Galaxy S25 Ultra and 42 on a Raspberry Pi 5. Built on the LFM2 architecture, it targets tool use and data extraction, beating larger models like Qwen3.5-0.8B and Gemma 3 1B on instruction following.
The post Liquid AI Ships LFM2.5-230M with llama.cpp, MLX, vLLM, SGLang, and ONNX Support for On-Device Inference appeared first on MarkTechPost.