BL
MarkTechPost • 16일 전
딥시크, 100만 토큰 컨텍스트 'DeepSeek-V4.1-Flash' 공개
IMP 8/10
핵심 요약
딥시크(DeepSeek) AI가 100만 토큰 컨텍스트 윈도우를 지원하는 멀티모달 MoE(전문가 혼합) 모델 'DeepSeek-V4.1-Flash'를 공개했습니다. 552B 백본 파라미터와 196B Engram 파라미터로 구성된 이 모델은 장기 실행 에이전트(Long-horizon agent) 환경에서 반복적인 프리필(prefill)과 대규모 KV 캐시가 유발하는 HBM·SSD 메모리 병목을 해결하는 데 초점을 맞췄다는 점에서 주목됩니다. FP4 KV 캐시와 크로스 레이어 어텐션 재사용 등 서비스 효율화 기술이 핵심입니다.
번역된 본문
장기 실행 에이전트(Long-horizon agent)의 등장으로 LLM 서빙 환경은 입력 중심의 워크로드로 변화하고 있습니다. 반복되는 프리필(prefill)과 수백만 토큰에 달하는 컨텍스트는 거대한 KV 캐시를 생성하여 HBM 메모리, SSD 용량, 그리고 대역폭에 큰 부담을 주고 있습니다. DeepSeek AI는 이번 신규 릴리스를 바로 이 병목 지점을 해결하는 데 초점을 맞춰 설계했습니다. DeepSeek-V4.1-Flash는 552B의 백본(Backbone) 파라미터와 196B의 추가 Engram 파라미터, 그리고 100만 토큰의 컨텍스트 윈도우를 갖춘 멀티모달 전문가 혼합(Mixture-of-Experts) 모델입니다. [계속]
원문 보기 (영어)
Long-horizon agents have turned LLM serving into an input-heavy workload. Repeated prefills and million-token contexts leave KV caches that strain HBM, SSD capacity, and bandwidth. DeepSeek AI built its newest release around that exact bottleneck. DeepSeek-V4.1-Flash is a multimodal Mixture-of-Experts model with 552B backbone parameters, 196B additional Engram parameters, and a 1M-token context window. It […]
The post DeepSeek AI Released DeepSeek-V4.1-Flash with 1M Context, FP4 KV Cache, and Cross-Layer Attention Reuse appeared first on MarkTechPost.