HN
Hacker News • 16시간 전
IMP 6
Ollaya – 오픈소스 Jev 스타일 의사결정 모델의 로컬 실행 도구
Ollaya는 Ollama처럼 자체 하드웨어에서 의사결정 모델을 로컬로 실행할 수 있는 오픈소스 도구입니다. 텍스트나 JSON에 대해 타입화된 질문을 던지면 토큰 생성 없이 단일 순전파로 밀리초 단위의 캘리브레이션된 답변을 얻을 수 있습니다. RTX 4090 기준 5개 질문 처리에 약 10ms가 걸리며, TypeSafe API와 호환되고 데이터가 외부로 나가지 않아 프라이버시가 중요한 업무에 유용합니다.
오픈소스 로컬LLM 의사결정모델