30년 경력의 임베디드 엔지니어 데이비드 서치(David Such)가 2026년 9월 출간 예정인 'Embedded AI' 책을 소개합니다. 이 책은 임베디드 기기에 AI를 추가하는 전체 엔지니어링 과정(하드웨어 선택, 데이터 수집, 모델 배포, 시스템 통합)을 25개 이상의 실습 프로젝트로 다룹니다. 웨이크워드 감지기, 실시간 노이즈 제거기, AI MIDI 신디사이저 등을 직접 만들며 리소스가 제한된 디바이스에서 AI를 동작시키는 실무 노하우를 배울 수 있습니다.
Liquid AI가 다양한 추론 프레임워크(llama.cpp, vLLM 등)를 지원하는 초소형 오픈웨이트 모델 LFM2.5-230M을 공개했습니다. 이 모델은 스마트폰과 라즈베리파이 같은 저사양 기기에서도 매우 빠른 속도로 구동되며, 파라미터 수가 더 많은 기존 모델들을 능가하는 성능을 보여줍니다. 향후 네트워크 연결 없이 구동되는 모바일 기기 및 엣지 디바이스의 AI 도구 활용 및 데이터 처리 능력을 크게 향상시킬 수 있다는 점에서 실무자들에게 중요한 의미를 갖습니다.
구글이 자체 NPU를 탑재해 AI 모델을 네트워크 없이 로컬에서 구동할 수 있는 초소형 싱글보드 컴퓨터 'Coral Board'를 공개했습니다. 이 보드는 이어폰, 스마트워치 등 초소형 기기에 적합하며 AI 가속기 파편화 문제를 해결하는 것을 목표로 합니다. 완전한 오프라인 환경에서 실시간 번역 등 다양한 엣지 AI 데모를 성공적으로 선보였다는 점에서 실무자들에게 큰 의미를 갖습니다.
Reddit 사용자가 Wi-Fi나 셀룰러 연결 없이 엔비디아 젯슨 오린 NX와 소형 언어 모델인 Gemma 3 4B만으로 완전한 오프라인 로봇을 제작했습니다. 프롬프트 구조 최적화를 통해 캐시 적용 시 첫 토큰 생성 시간(TTFT)을 약 200ms로 단축하고 30개 이상의 센서 데이터를 실시간으로 자연어로 처리하는 점이 기술적으로 주목받습니다.
라즈베리파이 5(16GB RAM)에 공식 M.2 HAT+와 NVMe SSD를 장착하고 PCIe Gen3로 설정하여 스토리지 읽기 속도를 대폭 끌어올렸습니다. 이를 통해 RAM 용량을 초과하는 대형 언어 모델 구동 시 텍스트 생성 속도가 1.5~2배 향상되었으며, Gemma 4 등 다양한 AI 모델의 실제 추론 성능을 테스트한 결과를 공유했습니다.
구글이 모바일 및 사물인터넷(IoT) 기기를 위한 최신 오픈 모델인 Gemma 4를 발표했습니다. 이 모델은 컴퓨팅 및 메모리 효율성을 극대화(E2B & E4B)하는 것을 핵심 목표로 삼고 있습니다. 제한된 하드웨어 자원을 가진 엣지 디바이스에서도 고도화된 AI 지능을 구동할 수 있게 되었다는 점에서 실무적인 의의가 큽니다.