메뉴

#성능 향상

TD
The Decoder 4일 전
IMP 6

사카나 AI, '퓨구 울트라 v1.1' 라우터로 페이블 5 압도 선언

사카나 AI(Sakana AI)는 각 쿼리를 최적의 퍼블릭 AI 모델로 분산시키는 라우터인 '퓨구 울트라(Fugu Ultra) v1.1'을 발표했습니다. 이번 업데이트는 이전 대비 성능이 크게 향상되었으며, 라우터 모델 풀(pool)에 포함되지 않은 경쟁사인 페이블 5(Fable 5)마저 능가한다고 주장합니다. 다만, 이러한 성능 수치는 아직 사카나의 자체 측정 결과이므로 독립적인 검증이 필요한 상태입니다.

AI 모델 라우터 사카나 AI 퓨구 울트라
TD
The Decoder 18일 전
IMP 7

메타 '뮤즈 스파크 1.1', 코딩 성능 강화 및 비용 절감

메타가 새롭게 선보인 '뮤즈 스파크 1.1(Muse Spark 1.1)' 모델은 코딩 분야에서 GLM 5.2를 앞질렀으며, 작업당 비용 측면에서도 더 저렴합니다. 지능 지수는 선두권 모델들과 동등한 수준이며, 환각(Hallucination) 현상은 크게 감소하고 컨텍스트 윈도우(Context Window)는 100만 토큰으로 확장되었습니다. 현재 이 모델은 메타 자체 API를 통해서만 이용할 수 있습니다.

메타 AI 모델 코딩
HN
Hacker News 83일 전
IMP 8

Unsloth와 엔비디아, 소비자용 GPU에서 LLM 학습 25% 속도 향상 달성

Unsloth와 NVIDIA는 소비자용 GPU에서 LLM 파인튜닝 시 발생하는 숨겨진 병목 현상을 해결하여 학습 속도를 약 25% 향상시켰습니다. 반복적인 메타데이터 구축을 캐싱하고, 그래디언트 체크포인팅 시 버퍼를 2개 사용해 연산을 겹치게 하며, MoE 라우팅을 최적화하는 세 가지 핵심 기술을 도입했습니다. 이는 개발자들이 기존 하드웨어의 한계를 뛰어넘어 최대치의 성능을 끌어낼 수 있게 해준다는 점에서 실무적으로 매우 중요합니다.

LLM 파인튜닝 GPU 최적화 Unsloth
HN
Hacker News 110일 전
IMP 8

연구 중심 에이전트: 코딩 전 논문을 읽을 때

코드만 분석하던 기존 AI 에이전트에 '논문 및 경쟁 프로젝트 리서치' 단계를 추가했더니, 사람이 놓칠 수 있는 핵심 최적화(OOM 문제 해결 등)를 찾아냅니다. 실제로 llama.cpp 프로젝트에 적용해 약 3시간 만에 x86 환경에서 15%, ARM에서 5%의 속도 향상을 달성하며 그 성능을 입증했습니다. 이는 단순한 코딩 도구를 넘어, 도메인 지식을 활용하는 시니어 엔지니어처럼 동작하는 에이전트의 가능성을 보여줍니다.

AI 에이전트 코드 최적화 LLM 추론