메뉴

#추론모델

TC
TechCrunch AI • 10일 전
IMP 7

세일즈포스·엔비디아의 추론 모델 '코아', AI 랩들이 두려워할 존재

세일즈포스가 드림포스 컨퍼런스에서 엔비디아의 오픈 웨이트 모델 네모트론(Nemotron) 기반으로 자체 추론 모델 '코아(Koa)'를 발표했습니다. 코아는 영업·마케팅·고객지원 업무에 특화되도록 사후 학습(post-training)되었으며, 실제 고객 데이터를 사용하지 않고 합성 데이터로 훈련되어 데이터 유출 우려가 없고, 토큰 효율이 높아 비용도 절감됩니다. 이는 기업용 AI 수요가 프론티어 랩들의 폐쇄형 모델과 점점 달라지고 있음을 보여주는 사례입니다.

세일즈포스 엔비디아 엔터프라이즈AI
HN
Hacker News • 24일 전
IMP 6

쿼사르 438B: 유럽 최고 성능 AI 모델 등장

멀티버스 컴퓨팅이 기업용 에이전트와 코딩을 위한 438B 규모 추론 모델 '쿼사르 438B'를 공개했습니다. Artificial Analysis 지능 지수에서 43점을 기록하며 유럽 모델 중 최고 성능을 달성했고, 500토큰 응답에 15.3초 만에 완료하는 프론티어급 속도도 갖췄습니다. CompactifAI API를 통해 인프라 구축 없이 테스트할 수 있습니다.

대형언어모델 추론모델 유럽AI
MP
MarkTechPost • 139일 전
IMP 8

엔비디아, 12B~30B 크기 자유자재로 조절되는 '스타 일래스틱' 출시

엔비디아가 단 하나의 체크포인트(Checkpoint)에서 120억(12B), 230억(23B), 300억(30B) 파라미터 크기의 추론(Reasoning) 모델을 자유롭게 추출할 수 있는 '스타 일래스틱(Star Elastic)'을 공개했습니다. 제로샷 슬라이싱(Zero-Shot Slicing) 기술을 적용하여 모델을 처음부터 다시 학습할 필요 없이, 필요에 따라 즉각적으로 모델의 크기를 조절해 배포할 수 있다는 점이 가장 큰 특징입니다. 이는 다양한 하드웨어 환경과 예산에 맞춰 AI 모델을 유연하고 효율적으로 운영해야 하는 실무자들에게 배포 비용과 저장 공간을 혁신적으로 절감할 수 있는 중요한 돌파구가 될 것입니다.

엔비디아 스타일래스틱 제로샷슬라이싱