앨런 AI 연구소와 UC 버클리 연구진이 개발한 'EMO' 모델은 문서 경계를 활용해 전문가(Expert)들이 특정 도메인(의료, 정치 등)을 전문적으로 학습하도록 유도합니다. 실험 결과, 전체 전문가 모듈의 12.5%만 남기고 제거해도 성능 하락이 약 3% 포인트에 그쳐 기존 MoE 모델들의 한계를 뛰어넘는 효율성을 입증했습니다. 이를 통해 스토리지 절약 및 특정 작업에 맞춘 모델의 유연한 배포가 가능해져 산업계에 큰 의미를 갖습니다.
Gemma 4와 Qwen 3.6 모델의 메모리 절약 기법인 KV 캐시 양자화(q8_0, q4_0) 결과를 비교한 벤치마크입니다. Gemma 모델은 흔히 '무손실'로 알려진 q8_0 양자화에서도 품질 저하가 크게 발생하며, 특히 MoE 모델에서 민감도가 극심합니다. 반면 Qwen 모델은 q8_0은 물론 q4_0 수준에서도 뛰어난 안정성을 보여주어, 로컬 환경 등에서 메모리 최적화를 고려할 때 모델 선택의 중요한 기준이 됩니다.
테일슬레이어(Tailslayer)는 DRAM 리프레시(refresh) 지연으로 인해 발생하는 RAM 읽기의 꼬리 지연 시간(tail latency)을 줄여주는 C++ 라이브러리입니다. 이 라이브러리는 여러 독립적인 DRAM 채널에 데이터를 복제하고, 가장 먼저 응답하는 결과를 활용하는 헤지드 리드(hedged read) 방식을 사용합니다. 이를 통해 실무자들은 시스템의 메모리 읽기 지연과 관련된 성능 병목을 해결할 수 있어 매우 중요합니다.