메뉴

#NPU

HN
Hacker News • 14일 전
IMP 7

애플 뉴럴 엔진(ANE)을 되돌아보며 리버스 엔지니어링하다

개발자가 3년 전 중단했던 M1의 애플 뉴럴 엔진(ANE) 리버스 엔지니어링을 M5에서 ANE가 GPU 코어에 통합되며 독립 NPU의 종말이 가시화된 것을 계기로 다시 시작한 기술 분석 글입니다. ANE는 CNN 시대의 예측 가능한 데이터 재사용 패턴에 최적화된 16개 연산 코어와 2048개 병렬 MAC 레인으로 구성되어 있으며, 이러한 설계가 트랜스포머 워크로드와 맞지 않아 독립 NPU가 쇠퇴하게 되었음을 보여줍니다. 하드웨어 설계 결정이 ML 워크로드의 패러다임 변화를 어떻게 반영하는지 이해하는 데 중요한 글입니다.

애플실리콘 뉴럴엔진 리버스엔지니어링
HN
Hacker News • 177일 전
IMP 7

AMD 레모네이드: GPU·NPU 활용 오픈소스 로컬 LLM 서버

AMD가 GPU와 NPU를 모두 활용하여 매우 빠르고 프라이빗한 로컬 AI 환경을 제공하는 오픈소스 서버 '레모네이드(Lemonade)'를 공개했습니다. 이 도구는 단 2MB 크기의 가벼운 C++ 백엔드 기반으로 작동하며, Windows, Linux, macOS 모두를 지원하고 표준 OpenAI API와 호환되어 수많은 앱과 즉시 연동됩니다. 텍스트, 이미지 생성, 음성 인식 및 생성까지 아우르는 통합 API를 제공함으로써, 누구나 자신의 PC에 부담 없이 고성능 로컬 AI를 구축할 수 있는 실용적인 솔루션을 제안합니다.

오픈소스 로컬 AI AMD