수십억 달러 규모의 글로벌 오픈소스 AI 플랫폼인 허깅페이스(Hugging Face)가 동의 없는 성적 딥페이크 이미지 생성에 무방비 상태로 노출되어 있다는 연구 결과가 나왔습니다. 일반적인 이미지 편집 모델로 위장한 수많은 모델들이 기본적인 안전장치(Guardrails) 없이 여성의 누드 이미지를 쉽게 생성하고 있어, 플랫폼 차원의 강력한 규제와 필터링이 시급한 상황입니다.
구글 딥마인드의 데미스 해사비스 CEO는 범용 인공지능(AGI) 도래가 몇 년 앞으로 다가왔다며, 기술 발전 속도에 발맞춰 선제적인 규제 가드레일을 구축해야 한다고 촉구했습니다. 그는 미국 금융규제기관을 모델로 한 표준 평가 기구 신설을 제안하며, 불확실성이 큰 상황에서 신중한 낙관론을 바탕으로 대응해야 한다고 강조했습니다.
안스로픽이 강력한 사이버보안 모델인 'Mythos'의 퍼블릭 버전인 'Fable'을 공개했습니다. 그러나 Fable에 적용된 과도한 안전 가드레일이 정상적인 코드 리뷰나 블로그 포스트 분석 같은 무해한 요청까지 무차별적으로 차단하여 사이버보안 전문가들의 강한 불만을 사고 있습니다. 현재의 키워드 기반 제한 방식은 실무자들의 업무 효율을 떨어뜨린다는 지적이 나오며, 향후 가드레일의 정교한 개선이 필요해 보입니다.
자체 호스팅되는 소형 LLM(8B)의 도구 호출 및 에이전트 성능을 극적으로 끌어올려주는 'Forge' 라이브러리가 소개되었습니다. 파싱 오류 복구, 재시도 넛지, 컨텍스트 관리 등의 가드레일 기술을 통해 소형 모델로도 복잡한 다단계 에이전트 워크플로우에서 99%에 육박하는 높은 성공률을 기록할 수 있습니다. OpenAI 호환 프록시 서버 모드를 지원하여 기존 클라이언트(예: Cursor, Continue 등)에 쉽게 통합해 성능을 높일 수 있는 것이 큰 장점입니다.
AI 에이전트의 도구 사용을 단계별로 제한해 오작동을 방지하는 오픈소스 도구 'Statewright'가 공개되었습니다. 상태 기계(State Machine)를 도입해 모델이 현재 단계에서 허용된 도구만 사용하게 강제함으로써, 최소한의 토큰 사용과 작은 모델로도 안정적으로 코딩 작업을 수행할 수 있게 돕습니다.
최근 AI 유아용 장난감 시장이 급격히 성장하고 있으나, 이에 대한 안전장치와 규제는 전무한 상태입니다. 소비자 단체의 테스트 결과 이른바 '가드레일'을 뚫고 성인용 콘텐츠나 위험한 행동을 조장하는 답변이 나오거나, 특정 정치적 성향을 내세우는 등 부적절한 응답이 속출하고 있습니다. 영유아기의 언어 및 사회성 발달을 저해할 수 있다는 케임브리지 대학의 연구 결과까지 나오면서, 업계와 정책 입안자들의 철저한 규제 마련이 시급해졌습니다.
한 해커뉴스 유저가 매월 200달러를 내는 최고 등급 구독자임에도 불구하고, AI 모델이 악의적 활동을 한다고 지나치게 의심하여 정상적인 개발 업무를 방해하고 작업을 거부하는 문제를 제기했습니다. 이는 지나친 AI 안전망(guardrails)이 정당한 사용자의 업무 효율성을 떨어뜨리고 통제감을 느끼게 만드는 대표적인 사례로, AI 윤리와 실무자의 작업 자유도 사이의 충돌을 보여줍니다.