딥시크, V4.1-Flash 공개…AI 에이전트 메모리 요구량 대폭 절감
딥시크(Deepseek)가 새 멀티모달 모델 V4.1-Flash를 공개했다. KV 캐시를 대폭 축소해 긴 컨텍스트 처리 시 GPU 메모리 사용량을 전작 대비 약 1/4로 줄이고, 입력 처리 연산량도 절반 가까이 낮췄다. 코딩 벤치마크에서는 오픈AI·앤스로픽의 최상위 폐쇄형 모델과 대등한 성적을 보이지만, 복잡한 과학 과제와 이미지 분석에서는 여전히 격차가 있다.
딥시크의 새로운 멀티모달 모델은 주로 긴 컨텍스트의 운영 비용을 줄이는 데 초점이 맞춰져 있다. 가장 큰 개선점은 메모리 사용량이며, 딥시크는 모델 성능 향상도 함께 약속한다.
기술 보고서에 따르면, 딥시크가 V4.1-Flash로 설정한 명확한 목표는 소위 'KV 캐시'를 축소하는 것이다. 이 버퍼는 모델이 이미 처리한 컨텍스트 부분을 저장해 매 단계마다 모든 것을 다시 계산하지 않아도 되게 한다. 여러 단계에 걸쳐 작동하는 에이전트의 경우 이 캐시가 빠르게 커져 GPU 메모리, SSD, 데이터 대역폭에 부담을 주며 배포 비용을 끌어올린다.
핵심적으로 이 언어 모델은 5520억 개의 파라미터를 갖고 최대 100만 토큰의 컨텍스트를 처리한다. 회사에 따르면 빠른 GPU 메모리에 있는 버퍼는 이제 전작인 Deepseek-V4-Flash가 사용하던 공간의 약 4분의 1만 필요하다. SSD나 호스트 메모리에 상주하는 영구 오프로드 부분은 약 8분의 1로 줄었다. Deepseek-V1과 비교하면 토큰당 전역 KV 캐시 크기는 437배 감소했다.
입력 측면의 연산량 감소
딥시크는 상호 보완적인 여러 기법으로 이를 달성했다. 핵심 기법 중 하나는 모델을 두 부분으로 나누는 것이다. 첫 번째 부분은 들어오는 데이터를 처리하고, 두 번째 부분은 모든 것을 다시 계산하는 대신 그 결과를 활용한다. 입력을 읽을 때는 토큰당 80억 개의 파라미터만 활성화되지만, 실제 텍스트 출력 시에는 160억 개가 활성화된다.
딥시크는 이를 통해 입력 처리에 필요한 연산량이 거의 절반으로 줄었다고 밝혔다. 이는 빈번한 도구 호출을 통해 끊임없이 새로운 입력을 처리하는 에이전트를 겨냥한 것이다. 딥시크는 또한 메인 KV 캐시를 FP8 대신 FP4로 저장해, 이 부분의 메모리 사용량을 거의 절반으로 줄였다.
이 모델은 텍스트와 이미지를 포함한 45조 토큰의 데이터셋으로 처음부터 학습되었다. 사후 학습(post-training) 단계에서 딥시크는 새로운 방법론을 의도적으로 배제했다. 회사는 주요 성능 향상이 새로운 알고리즘이 아니라 더 많고 더 잘 통제된 데이터, 과제, 학습 환경에서 나왔다고 말한다. 딥시크에 따르면 현 시점에서는 이런 스케일링이 알고리즘 조정보다 더 효과적이다.
다만 딥시크는 학습된 에이전트들이 때때로 보상 시스템을 조작하려 하거나, 실수로 테스트 환경을 붕괴시키는 경우도 있었다고 밝혔다. 최근 공개된 보안 취약점을 악용하거나 중요 시스템 파일을 삭제하는 사례도 있었다.
오푸스 5, GPT-5.6 Sol과 겨루는 코딩 성적
상대적으로 작은 활성 파라미터 비율에도 불구하고, 딥시크는 여러 벤치마크에서 최고 수준 모델에 근접한 결과를 보고했다. 에이전트 벤치마크에서는 때때로 최상위 폐쇄형 모델과 대등한 성적을 낸다. 소프트웨어 테스트 DeepSWE v1.1에서는 74.2%로 앤스로픽의 오푸스 5와 오픈AI의 GPT-5.6 Sol 같은 모델을 근소하게 앞섰으나, ProgramBench에서는 크게 뒤처졌다.
전문 지식이 필요한 과학적 난이도가 높은 에이전트 과제에서는 초대형 모델과 뚜렷한 격차가 여전히 존재한다. 기술 보고서는 복잡한 이미지를 읽는 능력에서도 선도적인 폐쇄형 시스템과 측정 가능한 격차가 있음을 인정한다.
다른 추론 모델처럼 '사고 깊이(thinking depth)'를 설정할 수 있다. 사용자는 하나의 값으로 모델이 얼마나 정교하게 작업할지 조절하며, 연산 비용과 정확도 사이의 균형을 선택한다. 보고서에 따르면 최고 설정은 여러 벤치마크에서 결과를 눈에 띄게 개선한다.