퍼플렉시티가 자사 Perplexity Computer의 Hybrid Compute를 뒷받침하는 로컬 추론 엔진 'Lily(릴리)'를 오픈소스로 공개했습니다. Rust로 작성되고 애플 실리콘용 커스텀 Metal 커널을 포함해, 40코어 128GB M5 Max에서 MLX-LM 대비 프리필 1.23배, 디코드 1.35배의 처리량을 보입니다.
webAI가 영어 문장을 1차 논리(first-order logic)로 번역하고 논리적 타당성을 검증할 수 있는 17억(1.7B) 및 30억(3B) 매개변수 크기의 형식 논리 모델 패밀리인 TwIL-LM을 공개했습니다. 이 모델은 4GB VRAM 또는 CPU 환경에서도 구동되어 온디바이스(로컬) 환경에서의 활용이 가능하다는 점에서 중요합니다. 다만, 공개된 가중치는 비상업적 용도로만 제공되며 공식 벤치마크 점수는 미공개 버전 기준임에 유의해야 합니다.
회의 실시간 음성을 텍스트로 변환하고 요약해 주는 오픈소스 AI 도구인 Meetily가 소개되었습니다. 이 도구는 월 구독료를 내지 않아도 되며, 오디오 파일을 클라우드에 업로드하지 않고 로컬 기기에서 처리하여 보안을 강화할 수 있다는 점에서 실무자에게 매우 유용합니다.
오픈AI가 텍스트 내 개인정보를 자동으로 탐지하고 삭제하는 오픈소스 모델 '프라이버시 필터(Privacy Filter)'를 공개했습니다. 이 모델은 15억 파라미터(요청당 5천만 개 활성)의 가벼운 크기로, 클라우드 연결 없이 로컬 노트북이나 브라우저에서도 빠르고 안전하게 구동되어 상업적 활용이 가능합니다. 단, 영어 외 언어 처리 성능이 다소 떨어지며 법적 준법을 완벽히 보장하지 않으므로 의료, 법무 등 민감한 분야에서는 반드시 인간의 검토가 병행되어야 합니다.