리퀴드 AI는 엣지 환경에 최적화된 혼합 전문가(MoE) 구조의 새로운 언어 모델 'LFM2.5-8B-A1B'를 발표했습니다. 이번 모델은 기존 대비 3배 이상 확장된 38조 개의 토큰으로 사전 학습되었으며, 컨텍스트 윈도우가 128K로 늘어났고 추론 성능이 대폭 향상되었습니다. 특히 어휘량을 두 배로 늘려 비 라틴어권 언어의 토크나이징 효율을 높이고, 대규모 강화 학습을 적용해 가벼운 소비자용 하드웨어에서도 강력한 온디바이스 성능을 발휘하는 것이 가장 큰 특징입니다.
서로 다른 세대(RDNA4, RDNA3)의 AMD 그래픽 카드 두 장을 결합해 총 48GB VRAM 환경을 구축한 사례입니다. 호환성 문제로 인해 로존(ROCm) 대신 벌칸(Vulkan) 백엔드를 사용하여 성공적으로 llama-cpp 서버를 실행했습니다. 이는 추가 그래픽 카드와 파워서플라이 정도의 적은 비용으로 대규모 로컬 AI 모델 구동을 위한 막대한 VRAM을 확보할 수 있음을 보여줍니다.
미스트랄이 지시어 준수, 추론, 코딩 능력을 결합한 128B 밀집형 플래그십 모델 'Mistral Medium 3.5'를 공개했습니다. 이와 함께 코딩 에이전트 'Vibe'를 클라우드로 확장하여 비동기 방식의 병렬 작업을 지원하며, 'Le Chat'에는 복잡한 다단계 작업을 수행하는 새로운 'Work mode(작업 모드)'를 도입했습니다.
큐웬(Qwen) 3.6 모델의 35B-a3b(MoE 구조)에서 27B(Dense 구조)로 전환해 코딩 및 디버깅 능력이 크게 향상된 로컬 AI 개발자의 사용기입니다. VRAM 한계로 압축률이 높은 IQ3 모델을 사용했음에도 불구하고 기존 모델보다 복잡한 버그를 더 잘 찾아냈으며, 전체적인 처리 속도도 안정적이었습니다.
오픈소스 로컬 LLM 유저가 새로운 큐웬(Qwen) 2.5 모델이 오프라인 환경에서도 실용적인 성능을 발휘한다고 평가했습니다. 클로드 오푸스(Claude Opus)나 코덱스(Codex) 급은 아니지만, 애플 M5 Max 환경에서 매우 빠른 속도로 작동하며 유의미한 작업이 가능한 수준이라고 언급했습니다. 단, 모델의 추론 기능을 끄지 않는 `preserve_thinking` 설정을 반드시 켜야 최적의 성능을 얻을 수 있습니다.