#어텐션

미니맥스, 연산량 28배 줄인 희소 어텐션(MSA) 공개

미니맥스(MiniMax)는 그룹드 쿼리 어텐션(GQA) 기반의 새로운 희소 어텐션 기술인 MSA를 발표했습니다. 이 기술은 가벼운 인덱스 브랜치를 통해 핵심 데이터 블록만 처리하여 연산량을 크게 줄이면서도 기존 모델과 동등한 성능을 유지합니다. 이를 통해 100만 토큰의 긴 컨텍스트를 처리할 때 토큰당 어텐션 연산량을 28.4배나 획기적으로 감소시킬 수 있습니다.

대형언어모델을 위한 효율적 온라인 메모리 δ-Mem

대형언어모델(LLM)의 장기 기억 및 에이전트 시스템에서 과거 정보를 효율적으로 재사용하기 위한 경량 메모리 메커니즘인 δ-Mem(델타-맴)이 제안되었습니다. 이 기술은 고정된 크기의 8x8 온라인 메모리 상태 행렬만 사용해 기존 모델의 성능을 평균 1.10배, 메모리 집약적 벤치마크에서는 최대 1.31배 향상시켰습니다. 전체 파인튜닝이나 모델 교체 없이 어텐션(Attention) 연산에 저위상 보정을 적용하는 방식으로 효율적인 메모리 활용을 입증했다는 점에서 실무적 가치가 높습니다.