쇼 HN: 라즈베리파이와 Qwen으로 만든 오프라인 차량용 AI
라즈베리파이 5(16GB, 약 300유로)에 Qwen3.6-35B 모델을 로컬로 구동해 차를 채팅룸 에이전트처럼 만드는 오픈소스 프로젝트입니다. 클라우드 없이 차량용 음성 비서, 745페이지 차량 매뉴얼 기반 RAG 질의응답, 자가진단, 블랙박스 영상 전송 등을 완전 오프라인으로 수행하며, 연결이 끊겨도 큐에 저장했다가 나중에 전송하는 견고한 설계가 돋보입니다.
CarWatch — 당신의 차가 채팅룸 에이전트가 됩니다. 완전 오프라인으로 동작합니다. 라즈베리파이 5 한 대가 차에 탑재되어 35B 파라미터 모델을 로컬로 구동하며, @gle(이름은 원하는 대로 지을 수 있음)라는 이름으로 GroupMind 룸에 참여해 다른 에이전트처럼 메시지를 보냅니다. 출발·도착 알림, 여행 요약, 차에 충격이 가해졌을 때 블랙박스 영상 등을 전송하며, CodeWatch를 통해 휴대폰이나 시계에서 승인과 답장을 할 수 있습니다. 열린 PR은 CodeWatch 대시보드에 ClawWatch, WhereWatch 옆에 표시됩니다.
실제 하드웨어(Pi 5, 16GB, 약 300유로)에서 측정된 실제 성능: 🧠 Qwen3.6-35B-A3B(Unsloth UD-Q3_K_S 동적 양자화, 14.3GB)가 초당 3.5 토큰 생성 / 초당 25토큰 이상 프롬프트 처리, 지속적으로 65°C 유지. 클라우드 없음, 인터넷 없음, 구독료 없음.
📖 차량 자체의 745페이지 사용 설명서에서 페이지 출처를 붙여 답변합니다(어휘 기반 RAG, SD 카드에 내장). 설명서에 없는 내용은 답변을 거부합니다.
🔬 근거 있는 자기 인식: 온도, 쓰로틀링, 팬, 메모리, 디스크, 네트워크, 로드된 모델을 질문마다 실시간으로 기계에서 직접 읽어옵니다. 감지할 수 없는 것은 감지할 수 없다고 말하며, 시스템 프롬프트가 알 수 없는 정보를 사실처럼 조용히 답하지 않도록 설계되어 있습니다.
🎙️ 핸즈프리 음성: 상시 청취기(에너지 기반 VAD → whisper.cpp, 전부 Pi에서 구동)가 말을 알아듣고 동일한 근거 기반 파이프라인을 거쳐 룸에 답변합니다. 웨이크워드 절차도, 클라우드 STT도 없습니다.
📡 자율 동작: systemd 서비스가 부팅 시 전체 스택(모델 서버, 룸 에이전트, 음성 청취기, 휴대폰 대시보드, 엔진 감시기)을 자동 시작합니다.
🔧 어디서든 유지보수 가능: 차가 이 저장소에서 스스로 업데이트를 받아오며(매시간 + 대시보드의 '지금 업데이트' 버튼), 아웃바운드 터널을 열어 휴대폰 핫스팟의 NAT 뒤에 있어도 접근 가능합니다. 차 안에 노트북을 두고 작업할 일은 영원히 없습니다.
📶 3단계 연결: 휴대폰 핫스팟 → 집 와이파이 → 자체 폴백 액세스 포인트. 신호가 전혀 없는 차고에서도 휴대폰이 항상 접근할 수 있습니다.
모든 실패 과정까지 담은 빌드 로그는 docs/plan.md에 있습니다. CodeWatch(손목의 에이전트, 출처: codewatch-cli)와 ClawWatch(손목의 헬스케어, v2 런칭 영상)의 형제 프로젝트이며, 이번 것은 차를 지켜봅니다. 나머지 가족은 thinkoff.io에서 만나볼 수 있습니다.
아키텍처: 차 안의 라즈베리파이 5에서 USB 마이크 → carwatch-listen(VAD + whisper.cpp) → llama.cpp 서버(Qwen3.6-35B-A3B)로 이어지며, SD 카드의 사용 설명서 RAG와 selfstate(온도/팬/네트워크/모델)가 모델에 공급됩니다. carwatch-obd가 OBD 케이블을 감시하고, carwatch-agent(@gle 룸 에이전트)가 GroupMind 룸과 메시지를 주고받으며, 웹 대시보드(:8088, 상태/업데이트/음성/와이파이)는 같은 와이파이의 휴대폰과 통신합니다. 시간당 git pull로 자가 업데이트하고, 아웃바운드 터널로 어떤 NAT 뒤에서도 접근 가능합니다.
로컬 vs 온라인 전략: 로컬이 제품이고 온라인은 보강입니다. 차는 차고, 터널, 시골 사각지대에 있기 때문에 연결이 전혀 없어도 완전히 유용해야 합니다.
항상 로컬(신호 없이 동작): 음성 입력, 비서의 답변(Pi 내장 모델), 사용 설명서 답변(SD 카드 내장 RAG), 휴대폰 대시보드(차가 직접 서빙), 여행/상태 추적.
연결 끊김 시 큐잉: 룸 게시물, 영상 클립 업로드, 멘션 답장. 모든 것은 먼저 디스크의 영구 아웃박스에 저장되어 잃어버리지 않고 늦게 전달됩니다.
온라인 전용(솔직하게): 원격 접근(아웃바운드 터널), 자가 업데이트, 더 큰 두뇌로의 에스컬레이션 — 먼저 같이 탑재된 로컬 LAN 모델 서버(여전히 클라우드 없음), 그다음은 온라인 상태이면서 명시적으로 요청될 때만 예산 제한이 걸린 차 자체의 키로 클라우드 모델 사용.
경험칙: 한눈에 봐야 할 안전 관련 정보는 절대 네트워크에 의존하지 않고, 소셜이나 무거운 작업은 '나중에'로 우아하게 성능이 저하됩니다.
상태 — 검증된 것 vs 구축된 것 vs 계획된 것: 자동차는 도로 위 네 개의 손바닥 크기 접지면으로만 현실과 만납니다. 접지면마다 하나의 원칙이...