Liquid AI가 엣지 디바이스에서 파운데이션 모델을 벤치마킹하는 오픈소스 플랫폼 'Pipette'를 공개했습니다. 모델 카드의 서버급 풀 정밀도 수치가 실제 스마트폰에서의 성능을 예측하지 못하는 문제를 해결하기 위해, 모델·양자화·런타임·하드웨어를 통합적으로 측정합니다. Artificial Analysis가 독립적으로 방법론 검증을 담당해 신뢰성을 높였습니다.
해커뉴스(Hackernews)에서는 Go 언어가 AI 기반 소프트웨어 엔지니어링 환경에서 가진 장점에 대한 토론이 활발히 진행 중입니다. 본문에서는 구글 클라우드(Google Cloud)와 엔비디아(NVIDIA) 개발자 커뮤니티의 성장 및 라즈베리 파이(Raspberry Pi) 환경의 엣지 AI 구축 등 최신 기술 동향을 함께 조명합니다. 이는 개발자들이 AI 시대에 맞춰 효율적인 언어와 도구를 선택하는 데 중요한 인사이트를 제공합니다.
구글 Gemma 모델에서 도입된 '층별 임베딩(PLE)' 기법을 활용해, 파라미터 대부분을 느린 플래시 메모리에 저장하고 연산에 필요한 최소한의 데이터만 빠른 메모리로 불러와 초소형 칩에서 구동하는 기술입니다. 이를 통해 외부 서버 연결 없이 $8짜리 ESP32-S3 칩 내장 메모리만으로 28.9M(약 2900만 개) 파라미터의 언어모델을 구동하는 놀라운 성과를 보여줍니다. 엣지 디바이스의 극단적인 메모리 제약을 극복한 하드웨어 최적화 및 경량화 연구로서 엣지 AI(Edge AI) 분야에 중요한 의미를 갖습니다.
엔비디아가 로봇과 비전 AI가 주변 환경을 이해하고 실시간으로 추론하여 기기 자체에서 동작을 생성할 수 있는 40억 매개변수(4B)의 오픈 월드 모델 '코스모스 3 엣지(Cosmos 3 Edge)'를 출시했습니다. 이번 릴리스는 로봇 공학과 자율 시스템 분야에서 네트워크 지연 없이 즉각적인 반응과 로컬 제어가 가능해진다는 점에서 매우 중요합니다.
Cactus Compute 팀이 구글의 제미나이(Gemini) 모델의 툴 콜링(Tool Calling) 기능을 단 2천6백만(26M) 파라미터를 가진 'Simple Attention Network' 모델(Needle)로 경량화하여 깃허브에 공개했습니다. 이 모델은 파인튜닝 없이도 FunctionGemma-270m, Qwen-0.6B 등 기존 경쟁 모델들을 단일 툴 콜 성능에서 뛰어넘으며, 가벼운 웨이트 덕분에 로컬 PC 및 스마트워치, 안경 등 소비자 기기에서 초당 수천 토큰을 처리할 수 있는 실용성을 갖췄습니다.