#전력 효율

와트당 지능: 로컬 AI의 지능 효율성 측정

스탠퍼드 등 연구진이 로컬 AI 추론의 성능과 전력 효율을 함께 측정하는 '와트당 지능(IPW)' 지표를 제안했습니다. 2023~2025년 분석 결과 로컬 모델의 IPW가 5.3배 향상되었으며, 실제 쿼리의 88.7%를 로컬 모델이 성공적으로 처리할 수 있는 것으로 나타났습니다. 로컬 가속기는 동일 모델 기준 클라우드보다 최소 1.4배 높은 전력 효율을 보여, 클라우드 중심 AI 인프라의 수요 분산 가능성을 제시합니다.

전 데이터브릭스 AI 책임자, AI 전력 소비 1000분의1로 줄인다

데이터브릭스(DataBricks) 출신의 나빈 라오(Naveen Rao)가 이끄는 스타트업 언컨벤셔널 AI(Unconventional AI)가 발진자 기반의 새로운 컴퓨팅 아키텍처를 제안하며, AI 추론(Inference) 시의 전력 소비를 기존 대비 최대 1/1000 수준으로 줄일 수 있다고 주장했습니다. 회사는 이 혁신적인 아키텍처를 적용해 스테이블 디퓨전(Stable Diffusion)과 같은 기존 최고 수준 이미지 생성 모델들과 동등한 성능을 내는 첫 모델 'Un0'를 공개했습니다. AI 확장의 가장 큰 걸림돌로 꼽히는 막대한 전력 소모와 인프라 비용 문제를 근본적으로 해결할 수 있는 파괴적 기술로 평가받습니다.