#사카나 AI

사카나 AI·엔비디아, LLM 최대 21.9% 속도 향상 기술 공개

사카나 AI와 엔비디아 연구진은 L1 정규화를 적용해 피드포워드 레이어의 99% 이상을 희소화(Sparsity)하면서도 모델 성능 저하를 최소화하는 기법을 선보였습니다. 이를 새로운 희소 데이터 포맷과 융합된 CUDA 커널(CUDA Kernels)을 통해 실제 GPU 처리량 향상으로 연결하여, LLM의 학습 속도를 최대 21.9%, 추론 속도를 20.5% 각각 향상시켰습니다.

사카나 AI, 지연 없는 실시간 음성 AI 'KAME' 공개

사카나 AI가 대규모 언어 모델(LLM)의 지식을 실시간으로 주입할 수 있는 새로운 음성 대 음성(Speech-to-Speech) 아키텍처 'KAME'를 소개했습니다. 이 기술은 기존 시스템의 한계를 넘어 응답 지연 시간(Latency)을 전혀 추가하지 않으면서도 고도화된 지식 기반 대화를 가능하게 합니다. 실무자 관점에서 실시간성과 정확성이 필수적인 차세대 AI 음성 비서 개발에 매우 중요한 돌파구로 평가됩니다.