WebLLM은 서버 없이 웹 브라우저 안에서 WebGPU 하드웨어 가속을 통해 대규모 언어 모델(LLM) 추론을 직접 실행할 수 있는 오픈소스 엔진입니다. OpenAI API와 완전 호환되어 스트리밍, JSON 모드 등을 로컬에서 사용할 수 있으며, Llama 3, Phi 3, Gemma, Mistral, Qwen2 등 다양한 모델을 지원합니다. 프라이버시 보호와 GPU 가속을 동시에 누릴 수 있어 브라우저 기반 AI 어시스턴트 개발에 중요한 프로젝트입니다.
고가의 GPU나 데이터센터 없이도, 단 8달러하는 마이크로컨트롤러(ESP32-S3) 자체에서 트랜스포머 모델을 처음부터 끝까지 직접 학습(Training)할 수 있음을 증명한 실험입니다. 사전 학습된 모델을 단순히 실행(추론)하는 것을 넘어, 현장에 설치된 기기가 주변 환경 데이터를 실시간으로 학습해야 하는 '온디바이스(On-device) 학습'의 가능성을 여는 중요한 사례입니다.
macOS 26(Tahoe)에 새롭게 추가된 온디바이스 음성 인식 프레임워크를 활용해 별도의 AI 모델 다운로드 없이 매우 빠르고 가벼운 음성 입력(Dictation)을 제공하는 오픈소스 앱입니다. 기존 무거운 모델을 다운로드해야 하거나 웹 엔진 기반으로 무거웠던 타 앱들과 달리, 4MB 크기의 네이티브 앱으로 메모리와 네트워크를 절약하면서도 Apple 자체 모델을 통해 뛰어난 인식률을 제공하는 것이 특징입니다.
구글이 웹 브라우저에서 직접 .tflite 모델을 실행할 수 있는 자바스크립트 라이브러리인 LiteRT.js를 공개했습니다. WebGPU 및 WebNN을 활용하여 기존 대비 최대 60배 향상된 압도적인 추론 성능을 제공하므로, 웹 환경에서 고성능 AI 모델을 서비스하려는 실무자에게 매우 중요한 소식입니다. 단, 텐서(Tensor) 객체를 수동으로 삭제해야 하는 메모리 관리상의 주의점이 존재합니다.
애플이 iOS 26과 macOS 26부터 기존 SFSpeechRecognizer 대신 새로운 SpeechAnalyzer API를 도입했습니다. 벤치마크 결과, 이 새로운 온디바이스 엔진은 오류율을 대폭 낮추며 OpenAI의 Whisper Small 모델보다 정확도와 처리 속도 양면에서 뛰어난 성능을 보여주었습니다. 영어 음성 인식이 필요한 애플 플랫폼 개발자들에게는 현재 가장 강력한 선택지로 평가됩니다.
오픈AI가 텍스트 내 개인 식별 정보(PII)를 탐지하고 마스킹하는 오픈 웨이트 모델인 '오픈AI 프라이버시 필터(OpenAI Privacy Filter)'를 공개했습니다. 이 소형 모델은 문맥을 깊이 이해하여 기존 룰 기반 도구들이 놓치던 민감 정보를 정확히 찾아내며, 최대 12만 8천 토큰의 긴 문맥을 한 번의 빠른 처리로 해결합니다. 특히 로컬 환경에서 완벽하게 구동되어 데이터 유출 위험 없이 강력한 개인정보 보호 파이프라인을 구축하려는 개발자들에게 필수적인 인프라를 제공합니다.