Hacker News • 51일 전

로컬 AI 앱 개발용 오픈소스 JS SDK 공개

IMP

8/10

핵심 요약

데스크톱과 모바일 환경을 모두 아우르는 범용 로컬 AI 애플리케이션 개발 키트인 'QVAC SDK'가 Apache 2.0 라이선스로 오픈소스 공개되었습니다. 이 SDK는 LLM, 비전, 음성 인식 등 다양한 모델을 지원하며, BitTorrent 방식의 P2P 모델 분배 기능을 제공하는 것이 특징입니다. 개발자가 복잡한 환경 설정 없이도 로컬 환경에서 강력한 AI 앱을 쉽게 구축할 수 있도록 돕는 것이 목표입니다.

번역된 본문

안녕하세요, 오늘 저희는 데스크톱과 모바일 환경을 모두 아우르는 범용 JavaScript/TypeScript 기반 로컬 AI 애플리케이션 개발 키트인 QVAC SDK [0]를 출시합니다.

이 프로젝트는 Apache 2.0 라이선스를 따르며 완전한 오픈소스입니다. 저희의 목표는 개발자가 다양한 엔진, 런타임 및 플랫폼별 통합 기능을 복잡하게 조합할 필요 없이, 유용한 '로컬 우선(local-first)' AI 앱을 더 쉽게 구축할 수 있도록 돕는 것입니다. 내부적으로 이 SDK는 저희의 크로스 플랫폼 추론 및 파인튜닝 엔진인 QVAC Fabric [1]을 기반으로 구축되었습니다.

QVAC SDK는 Pear ecosystem [3]의 일부인 가벼운 크로스 플랫폼 JavaScript 런타임인 Bare [2]를 사용합니다. 이는 거의 모든 환경에서 워커로 사용될 수 있으며, Node, Bun 및 React Native (Hermes)를 위한 내장 도구를 제공합니다.

현재 지원하는 주요 기능은 다음과 같습니다:

데스크톱, 모바일 및 서버 환경에서의 로컬 추론
LLM, OCR, 번역, 음성 텍스트 변환(Transcription), 텍스트 음성 변환(TTS) 및 비전(Vision) 모델 지원
Holepunch 스택 [4]을 통한 P2P 모델 분배 (누구나 시더(Seeder)가 될 수 있는 BitTorrent와 유사한 방식)
새로운 엔진과 모델 유형을 쉽게 추가할 수 있는 플러그인 기반 아키텍처
완전한 P2P 위임 추론(Delegated inference)

또한 문서화 [5]에도 많은 노력을 기울였습니다. 문서는 사람과 AI 코딩 도구 모두가 읽기 쉬운 구조로 작성되었기 때문에, 실제로는 즐겨 사용하는 코딩 어시스턴트를 통해 아주 빠르게 작업을 진행할 수 있습니다.

개선이 필요하다고 파악된 몇 가지 사항은 다음과 같습니다:

현재 Bare 애드온의 패키징이 아직 최적화되지 않아 번들 크기가 원하는 수준보다 큽니다.
플러그인 워크플로우를 더 간소화할 수 있습니다.
트리 셰이킹(Tree-shaking)은 이미 가능하지만 현재는 CLI 단계를 거쳐야 하므로, 이를 더 자동화하여 빌드 과정에 자연스럽게 통합하고자 합니다.

이번 출시는 시작에 불과합니다. 저희는 훨씬 더 큰 규모에서 로컬 AI를 구축할 수 있도록 돕고자 합니다. 여러분의 피드백은 정말 소중합니다! 감사합니다.

원문 보기

원문 보기 (영어)

Hi folks, today we're launching QVAC SDK [0], a universal JavaScript/TypeScript SDK for building local AI applications across desktop and mobile.The project is fully open source under the Apache 2.0 license. Our goal is to make it easier for developers to build useful local-first AI apps without having to stitch together a lot of different engines, runtimes, and platform-specific integrations. Under the hood, the SDK is built on top of QVAC Fabric [1], our cross-platform inference and fine-tuning engine.QVAC SDK uses Bare [2], a lightweight cross-platform JavaScript runtime that is part of the Pear ecosystem [3]. It can be used as a worker pretty much anywhere, with built-in tooling for Node, Bun and React Native (Hermes).A few things it supports today:<pre><code> - Local inference across desktop, mobile and servers - Support for LLMs, OCR, translation, transcription, text-to-speech, and vision models - Peer-to-peer model distribution over the Holepunch stack [4], in a way that is similar to BitTorrent, where anyone can become a seeder - Plugin-based architecture, so new engines and model types can be added easily - Fully peer-to-peer delegated inference </code></pre> We also put a lot of effort into documentation [5]. The docs are structured to be readable by both humans and AI coding tools, so in practice you can often get pretty far with your favorite coding assistant very quickly.A few things we know still need work:<pre><code> - Bundle sizes are larger than we want right now because the current packaging of Bare add-ons is not as efficient as it should be yet - Plugin workflow can be simpler - Tree-shaking is already possible, but at the moment it still requires a CLI step, and we'd like to make that more automatic and better integrated into the build process </code></pre> This launch is only the beginning. We want to help people build local AI at a much larger scale. Any feedback is truly appreciated! Ful

오픈소스 로컬-ai javascript-sdk p2p dev-tools