메뉴

#Liquid AI

MP
MarkTechPost • 36일 전
IMP 6

리퀴드 AI, 최대 3.18배 빠른 디코딩 LFM2.5-DSpark 드래프트 모델 공개

Liquid AI가 약 3억 파라미터(300M) 규모의 드래프트 모델 3종 'LFM2.5-DSpark'를 공개했습니다. 이 모델들은 LFM2.5에 스페큘러티브 디코딩(speculative decoding)을 적용해 최대 3.18배 빠른 디코딩 속도를 제공하면서도 그리디(greedy) 출력 결과는 기존 모델과 완전히 동일합니다. 추론 비용 절감과 지연시간 단축이 중요한 실무 관점에서 주목할 만한 릴리스입니다.

추론 가속 스페큘러티브 디코딩 LFM2.5
MP
MarkTechPost • 90일 전
IMP 8

리퀴드 AI, 온디바이스 최적화 초소형 모델 공개

Liquid AI가 다양한 추론 프레임워크(llama.cpp, vLLM 등)를 지원하는 초소형 오픈웨이트 모델 LFM2.5-230M을 공개했습니다. 이 모델은 스마트폰과 라즈베리파이 같은 저사양 기기에서도 매우 빠른 속도로 구동되며, 파라미터 수가 더 많은 기존 모델들을 능가하는 성능을 보여줍니다. 향후 네트워크 연결 없이 구동되는 모바일 기기 및 엣지 디바이스의 AI 도구 활용 및 데이터 처리 능력을 크게 향상시킬 수 있다는 점에서 실무자들에게 중요한 의미를 갖습니다.

온디바이스 AI 소형 언어 모델 엣지 컴퓨팅