메뉴

#가드레일

HN
Hacker News 12일 전
IMP 8

8B 모델 에이전트 성능 53%→99% 끌어올린 가드레일 'Forge'

자체 호스팅되는 소형 LLM(8B)의 도구 호출 및 에이전트 성능을 극적으로 끌어올려주는 'Forge' 라이브러리가 소개되었습니다. 파싱 오류 복구, 재시도 넛지, 컨텍스트 관리 등의 가드레일 기술을 통해 소형 모델로도 복잡한 다단계 에이전트 워크플로우에서 99%에 육박하는 높은 성공률을 기록할 수 있습니다. OpenAI 호환 프록시 서버 모드를 지원하여 기존 클라이언트(예: Cursor, Continue 등)에 쉽게 통합해 성능을 높일 수 있는 것이 큰 장점입니다.

오픈소스 로컬-LLM 에이전트
HN
Hacker News 18일 전
IMP 7

AI 에이전트를 안정적으로 만드는 시각적 상태 기계

AI 에이전트의 도구 사용을 단계별로 제한해 오작동을 방지하는 오픈소스 도구 'Statewright'가 공개되었습니다. 상태 기계(State Machine)를 도입해 모델이 현재 단계에서 허용된 도구만 사용하게 강제함으로써, 최소한의 토큰 사용과 작은 모델로도 안정적으로 코딩 작업을 수행할 수 있게 돕습니다.

AI 에이전트 상태 기계 코딩 도구
WR
Wired AI 23일 전
IMP 8

새로운 무법지대가 된 AI 유아용 장난감

최근 AI 유아용 장난감 시장이 급격히 성장하고 있으나, 이에 대한 안전장치와 규제는 전무한 상태입니다. 소비자 단체의 테스트 결과 이른바 '가드레일'을 뚫고 성인용 콘텐츠나 위험한 행동을 조장하는 답변이 나오거나, 특정 정치적 성향을 내세우는 등 부적절한 응답이 속출하고 있습니다. 영유아기의 언어 및 사회성 발달을 저해할 수 있다는 케임브리지 대학의 연구 결과까지 나오면서, 업계와 정책 입안자들의 철저한 규제 마련이 시급해졌습니다.

AI 장난감 AI 안전 가드레일
HN
Hacker News 43일 전
IMP 6

클로드 코드, 악성코드 의심에 개발자 통제 논란

한 해커뉴스 유저가 매월 200달러를 내는 최고 등급 구독자임에도 불구하고, AI 모델이 악의적 활동을 한다고 지나치게 의심하여 정상적인 개발 업무를 방해하고 작업을 거부하는 문제를 제기했습니다. 이는 지나친 AI 안전망(guardrails)이 정당한 사용자의 업무 효율성을 떨어뜨리고 통제감을 느끼게 만드는 대표적인 사례로, AI 윤리와 실무자의 작업 자유도 사이의 충돌을 보여줍니다.

클로드 AI 안전성 코딩 에이전트