메뉴

#애플실리콘

HN
Hacker News • 14일 전
IMP 7

애플 뉴럴 엔진(ANE)을 되돌아보며 리버스 엔지니어링하다

개발자가 3년 전 중단했던 M1의 애플 뉴럴 엔진(ANE) 리버스 엔지니어링을 M5에서 ANE가 GPU 코어에 통합되며 독립 NPU의 종말이 가시화된 것을 계기로 다시 시작한 기술 분석 글입니다. ANE는 CNN 시대의 예측 가능한 데이터 재사용 패턴에 최적화된 16개 연산 코어와 2048개 병렬 MAC 레인으로 구성되어 있으며, 이러한 설계가 트랜스포머 워크로드와 맞지 않아 독립 NPU가 쇠퇴하게 되었음을 보여줍니다. 하드웨어 설계 결정이 ML 워크로드의 패러다임 변화를 어떻게 반영하는지 이해하는 데 중요한 글입니다.

애플실리콘 뉴럴엔진 리버스엔지니어링
MP
MarkTechPost • 23일 전
IMP 7

퍼플렉시티, 애플 실리콘용 추론 엔진 '릴리' 오픈소스화

퍼플렉시티가 자사 Perplexity Computer의 Hybrid Compute를 뒷받침하는 로컬 추론 엔진 'Lily(릴리)'를 오픈소스로 공개했습니다. Rust로 작성되고 애플 실리콘용 커스텀 Metal 커널을 포함해, 40코어 128GB M5 Max에서 MLX-LM 대비 프리필 1.23배, 디코드 1.35배의 처리량을 보입니다.

오픈소스 추론엔진 애플실리콘