Hacker News • 12일 전

와트당 지능: 로컬 AI의 지능 효율성 측정

IMP

8/10

핵심 요약

스탠퍼드 등 연구진이 로컬 AI 추론의 성능과 전력 효율을 함께 측정하는 '와트당 지능(IPW)' 지표를 제안했습니다. 2023~2025년 분석 결과 로컬 모델의 IPW가 5.3배 향상되었으며, 실제 쿼리의 88.7%를 로컬 모델이 성공적으로 처리할 수 있는 것으로 나타났습니다. 로컬 가속기는 동일 모델 기준 클라우드보다 최소 1.4배 높은 전력 효율을 보여, 클라우드 중심 AI 인프라의 수요 분산 가능성을 제시합니다.

번역된 본문

컴퓨터 과학 > 분산·병렬·클러스터 컴퓨팅

arXiv:2511.07885 (cs) [2025년 11월 11일 최초 제출(v1), 2026년 9월 6일 최종 수정(현재 버전 v6)]

제목: Intelligence per Watt: Measuring Intelligence Efficiency of Local AI(와트당 지능: 로컬 AI의 지능 효율성 측정)

저자: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré 외

초록: 대규모 언어 모델(LLM) 쿼리는 대부분 프론티어(최고 성능급) 모델이 중앙화된 클라우드 인프라에서 처리하고 있습니다. 수요 증가로 이 패러다임에 가해지는 부담이 공급자들의 확장 속도보다 빠르게 커지고 있습니다. 두 가지 발전이 이 구조를 재고할 기회를 만들고 있습니다. 첫째, 소형 로컬 언어 모델(활성 파라미터 20B 이하)이 이제 많은 작업에서 프론티어 모델과 경쟁 가능한 성능을 달성했고, 둘째, 로컬 가속기(예: Apple M4 Max)가 이러한 모델을 대화형 응답 속도(인터랙티브 레이턴시)로 구동할 수 있게 되었습니다. 이로써 다음 질문이 제기됩니다: 로컬 추론이 중앙화된 인프라의 수요를 실질적으로 분산시킬 수 있는가? 이를 확인하려면 로컬 모델이 실제 쿼리에 정확히 답할 수 있는지, 그리고 전력이 제한된 기기(예: 노트북)에서 효율적으로 그렇게 할 수 있는지 함께 측정해야 합니다.

본 논문은 단위 전력당 작업 정확도를 뜻하는 '와트당 지능(Intelligence per Watt, IPW)'을 모델-가속기 조합 전반에서 로컬 추론의 능력과 효율을 통합해 측정하는 지표로 제안합니다. 20개 이상의 최신 로컬 언어 모델, 8종의 하드웨어 가속기(로컬 및 클라우드), 100만 건의 실제 싱글턴(single-turn) 채팅·추론 쿼리를 평가했습니다. 각 쿼리마다 정확도(프론티어 모델 대비 로컬 모델 승률), 에너지, 레이턴시, 전력을 측정했습니다.

세 가지 핵심 결과를 발견했습니다. 첫째, 로컬 모델은 이 쿼리들의 88.7%를 성공적으로 답변했으며, 정확도는 도메인별로 차이가 있었습니다. 둘째, 2023~2025년 종단 분석 결과 IPW는 알고리즘과 가속기 양측의 발전에 힘입어 5.3배 향상되었으며, 로컬에서 처리 가능한 쿼리 비율은 23.2%에서 71.3%로 상승했습니다. 셋째, 동일한 모델을 구동할 때 로컬 가속기가 클라우드 가속기보다 IPW가 최소 1.4배 낮은(즉 효율이 높은) 수준으로, 로컬 가속기 최적화에 상당한 개선 여지가 있음을 보여주었습니다.

이러한 결과는 로컬 추론이 상당한 비율의 쿼리에 대해 중앙화된 인프라의 수요를 의미 있게 분산시킬 수 있으며, IPW가 이 전환을 추적하는 핵심 지표 역할을 함을 보여줍니다.

주제 분류: 분산·병렬·클러스터 컴퓨팅(cs.DC); 인공지능(cs.AI); 계산 언어학(cs.CL); 머신러닝(cs.LG)

인용: arXiv:2511.07885 [cs.DC] (해당 버전: arXiv:2511.07885v6 [cs.DC]) https://doi.org/10.48550/arXiv.2511.07885

제출 이력: v1) 2025년 11월 11일 (5,373 KB) v2) 2025년 11월 14일 (5,538 KB) v3) 2026년 2월 26일 (5,538 KB) v4) 2026년 5월 21일 (5,134 KB) v5) 2026년 8월 7일 (5,621 KB) v6) 2026년 9월 6일 (5,608 KB) 제출자: Jon Saad-Falcon

원문 보기

원문 보기 (영어)

--> Computer Science > Distributed, Parallel, and Cluster Computing arXiv:2511.07885 (cs) [Submitted on 11 Nov 2025 ( v1 ), last revised 6 Sep 2026 (this version, v6)] Title: Intelligence per Watt: Measuring Intelligence Efficiency of Local AI Authors: Jon Saad-Falcon , Avanika Narayan , Hakki Orhun Akengin , J. Wes Griffin , Herumb Shandilya , Adrian Gamarra Lafuente , Medhya Goel , Rebecca Joseph , Shlok Natarajan , Etash Kumar Guha , Shang Zhu , Ben Athiwaratkun , John Hennessy , Azalia Mirhoseini , Christopher Ré View a PDF of the paper titled Intelligence per Watt: Measuring Intelligence Efficiency of Local AI, by Jon Saad-Falcon and 14 other authors View PDF HTML (experimental) Abstract: Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Demand growth strains this paradigm faster than providers can scale. Two advances create an opportunity to rethink it: small, local LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) can host these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? This requires measuring both whether local LMs can accurately answer real-world queries and whether they can do so efficiently on power-constrained devices (e.g., laptops). We propose intelligence per watt (IPW), task accuracy per unit of power, as a unified metric for the capability and efficiency of local inference across model-accelerator configurations. We evaluate 20+ state-of-the-art local LMs, 8 hardware accelerators (local and cloud), and 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy (local LM win rate against frontier models), energy, latency, and power. We find three key results. First, local LMs successfully answer 88.7% of these queries, with accuracy varying by domain. Second, longitudinal analysis from 2023-2025 shows IPW improved 5.3x, driven by both algorithmic and accelerator advances, with locally-serviceable query coverage rising from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for local accelerator optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure for a substantial subset of queries, with IPW serving as the critical metric for tracking this transition. Subjects: Distributed, Parallel, and Cluster Computing (cs.DC) ; Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Machine Learning (cs.LG) Cite as: arXiv:2511.07885 [cs.DC] (or arXiv:2511.07885v6 [cs.DC] for this version) https://doi.org/10.48550/arXiv.2511.07885 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Jon Saad-Falcon [ view email ] [v1] Tue, 11 Nov 2025 06:33:30 UTC (5,373 KB) [v2] Fri, 14 Nov 2025 00:53:12 UTC (5,538 KB) [v3] Thu, 26 Feb 2026 17:09:14 UTC (5,538 KB) [v4] Thu, 21 May 2026 03:40:21 UTC (5,134 KB) [v5] Fri, 7 Aug 2026 02:40:27 UTC (5,621 KB) [v6] Sun, 6 Sep 2026 05:29:37 UTC (5,608 KB) Full-text links: Access Paper: View a PDF of the paper titled Intelligence per Watt: Measuring Intelligence Efficiency of Local AI, by Jon Saad-Falcon and 14 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.DC < prev | next > new | recent | 2025-11 Change to browse by: cs cs.AI cs.CL cs.LG References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

로컬 AI LLM 추론 전력 효율 온디바이스 AI 벤치마크