독일 컨소시엄, 영어·독일어 벤치마크 1위 오픈소스 30B 모델 'Soofi S' 공개
독일 연구 컨소시엄이 도이체 텔레콤의 AI 클라우드 인프라에서 완전히 학습된 오픈소스 언어 모델 'Soofi S'를 공개했습니다. 이 모델은 316억 개의 파라미터 중 토큰당 32억 개만 선택적으로 활성화하는 하이브리드 아키텍처를 채택해 긴 문맥에서도 처리 속도 저하 없이 높은 효율성을 보여줍니다. 결과적으로 영어 및 독일어 벤치마크에서 기존 완전 오픈소스 모델들을 모두 제치고 최고 성능을 달성하며 의미 있는 성과를 기록했습니다.
독일 연구 컨소시엄이 영어와 독일어 벤치마크에서 1위를 차지한 오픈소스 30B 모델 'Soofi S'를 공개하다
Jonathan Kemper / 2026년 7월 13일 / THE DECODER
핵심 요약:
- 독일 연구 컨소시엄가 도이체 텔레콤(Deutsche Telekom)의 AI 클라우드 인프라에서 완전히 학습된 오픈소스 언어 모델 'Soofi S'를 공개함.
- 이 모델은 리소스 효율적인 하이브리드 아키텍처를 사용하여 토큰당 316억 개의 파라미터 중 32억 개만 활성화하므로, 매우 긴 텍스트를 입력해도 처리 속도를 일정하게 유지함.
- 독일어 학습 데이터에 강력하게 초점을 맞춘 결과, 독일어, 영어 및 프로그래밍 작업 벤치마크에서 Olmo 3 32B 및 Apertus 70B와 같은 기존 완전 오픈소스 모델들을 능가하는 성능을 보여줌.
Soofi S는 뮌헨에 위치한 도이체 텔레콤의 산업용 AI 클라우드(Industrial AI Cloud)에서 전적으로 학습된 최초의 대형 언어 모델 중 하나입니다. 이 오픈소스 30B 모델은 간결한 하이브리드 아키텍처와 의도적으로 독일어 비중을 높인 학습 데이터를 활용합니다.
독일 AI 협회(KI Bundesverband)가 조율하는 독일 연구 컨소시엄는 사전 학습 보고서에 따르면 완전한 오픈소스 모델 중 영어 및 독일어 벤치마크에서 최고 점수를 기록하며 이전 최고 모델이었던 OLMo 3 32B 및 Apertus 70B를 뛰어넘은 오픈소스 언어 모델 'Soofi S 30B-A3B'를 공개했습니다.
장문 컨텍스트에 최적화된 간결한 아키텍처 Soofi S는 전문가 혼합(Mixture-of-Experts) 모델입니다. 총 316억 개의 파라미터를 포함하고 있지만, 생성되는 토큰당 약 32억 개의 파라미터만 활성화합니다. 따라서 연산 비용 측면에서 기존의 30B 모델보다는 3B 모델에 더 가깝습니다. 이 컨소시엄은 엔비디아의 Nemotron 3 Nano 아키텍처를 수정 없이 그대로 도입했는데, 이는 Mamba-2 레이어와 표준 어텐션(attention) 레이어를 결합한 하이브리드 설계입니다.
일반적인 트랜스포머(Transformer) 모델과의 핵심적인 차이점은 메모리 처리 방식에 있습니다. 기존 모델에서는 어텐션 연산을 위해 이전 토큰들을 저장하는 KV 캐시가 컨텍스트 길이에 비례하여 선형적으로 증가합니다. 긴 텍스트가 입력되고 많은 병렬 요청이 들어올 경우, 이 캐시를 다시 로드하는 과정이 병목 현상의 원인이 됩니다. 반면 Soofi S의 52개 레이어 중 단 6개의 레이어만 이러한 캐시를 유지합니다.
이러한 구조의 실질적인 이점은 텍스트 생성 처리량(throughput)에 나타납니다. 4만 토큰 길이의 컨텍스트에서 32개의 병렬 요청을 처리할 때, Soofi S는 140억~240억 개 파라미터 범위의 기존 밀집(dense) 모델들에 비해 GPU당 초당 생성하는 토큰 수가 약 8배 더 많습니다. 컨텍스트가 길어질수록 기존 모델들의 처리량은 크게 떨어지지만, Soofi S는 4,000 토큰에서 256,000 토큰 구간까지 처리량이 거의 일정하게 유지됩니다. 측정 결과에서 비슷한 거동을 보인 유일한 모델은 하이브리드 아키텍처를 사용하는 알리바바의 Qwen3.5 35B-A3B뿐이었습니다.
독일어 중심의 학습 데이터 구성 이 컨소시엄은 총 3단계에 걸쳐 약 27조 개의 토큰을 처리했습니다. 첫 번째 단계에서는 웹, 코드, 수학, 특정 도메인 텍스트 등 다양한 출처에서 추출한 약 20조 개의 토큰을 통해 모델이 언어의 기초를 학습합니다. 이어지는 두 번째 단계에서는 더 높은 품질의 데이터로 구성된 약 6조 개의 토큰을 사용하여 앞서 학습한 패턴을 정교하게 다듬습니다. 마지막으로 짧은 세 번째 단계에서는 최대 100만 토큰 길이의 매우 긴 문서들을 통해 학습하며 컨텍스트 윈도우를 확장합니다.
의도적으로 독일어에 초점을 맞춘 것이 이 모델의 핵심입니다. 첫 번째 학습 단계에서 독일어는 전체 데이터의 7.2%를 차지하며, 두 번째 단계에서는 그 비중이 15.3%로 증가합니다. 참고로 엔비디아의 Nemotron 참조 레시피에서는 영어를 제외한 모든 언어를 합쳐도 약 5% 수준에 불과합니다. 데이터 소스 측면에서는 HPLT의 독일어 웹 텍스트, 오픈 라이선스 기반의 독일어 커먼즈 말뭉치, FinePDFs 및 FineWiki의 독일어 부분, 그리고 916개의 독일 출판물에서 수집된 1억 9,300만 건의 신문 기사가 포함된 상용 라이선스 Genios 말뭉치를 결합하여 사용했습니다. 여기에 기계 번역 및 합성으로 생성된 독일어 텍스트가 더해져 데이터 세트를 완성했습니다.
영어 및 독일어 부문에서 최고의 오픈소스 모델 성능 달성 16개의 다른 오픈소스 모델들과의 평가 결과, Soofi S는 독일어 부문 종합 점수를 포함한 완전한 오픈소스 모델들 사이에서 부동의 1위를 차지했습니다.