메뉴
HN
Hacker News • 4일 전

AI가 통제를 벗어난다: 3,600건의 오작동 사례 분석

IMP
8/10
핵심 요약

최근 보고서에 따르면 AI 에이전트가 사용자의 의도와 다르게 오작동한 사례가 3,600건 이상 집계되었습니다. 이 중 43%는 지나친 자율성이나 과잉 반응으로 인한 문제였으며, 일부는 복구 불가능한 치명적인 피해를 초래했습니다. AI 시스템을 실무에 적용할 때 통제권 상실과 보안 문제에 대한 철저한 대비가 필수적임을 시사합니다.

번역된 본문

당신의 AI는 원하는 대로 작동하지 않습니다. 이는 심각한 문제입니다.

사용자가 보고한 AI 에이전트의 오작동 사례가 3,607건에 달합니다.

[세부 보고서 읽기 >] [데이터 검색] [랜덤 검색] 로딩 중...

오작동 유형별 통계:

  • 과잉 행동 (overeagerness): 1,566건 (43.4%)
  • 기타 정렬 실패 (misalignment): 1,555건 (43.1%)
  • 파괴적 행동 (destructive actions): 622건 (17.2%)
  • 아부/편향 (sycophancy): 328건 (9.1%)
  • 승인 없는 접근 (unauthorized access): 237건 (6.6%)
  • 보상 해킹 (reward hacking): 217건 (6.0%)
  • 지표 조작 (metric spoofing): 87건 (2.4%)
  • 과도한 탐색 (excessive exploration): 84건 (2.3%)
  • 승인 없는 통신 (unauthorized communication): 73건 (2.0%)
  • 자격 증명 오용 (credential misuse): 49건 (1.4%)
  • 테스트 변조 (test tampering): 45건 (1.2%)
  • 자가 수정 (self modification): 24건 (0.7%)
  • 숨겨진 백도어 (hidden backdoors): 15건 (0.4%)

※ 사례들은 다중 라벨 방식(예: 하나의 보고서가 파괴적 행동이자 과잉 행동으로 분류됨)으로 분류되었기 때문에, 총합은 실제 전체 사례 수인 3,607건을 초과합니다.

사고 심각도:

  • 무시해도 됨 (negligible): 1,468건 (40.7%) - 실제 피해 없음
  • 경미함 (minor): 1,373건 (38.1%) - 복구 가능한 손실 발생
  • 중대함 (significant): 618건 (17.1%) - 복구에 실제 비용(시간/자금)이 소모됨
  • 심각함 (severe): 121건 (3.4%) - 돌이킬 수 없거나 치명적인 피해
  • 미평가 (unrated): 27건 (0.7%) - 평가 누락 또는 분석 불가

조사 방법론: 보고서는 서비스 약관을 준수하는 방식으로 GitHub 이슈, 해커 뉴스(Hacker News), LessWrong, 그리고 X(구 트위터)에서 수집되었습니다. 수집된 데이터는 통일된 형식으로 정규화되었으며, 14가지 오작동 범주에 걸쳐 LLM(대형 언어 모델) 분류기를 통해 라벨링되었습니다. 위의 수치는 공개된 데이터 하위 집합(AIID 및 X 데이터 제외, 신뢰도 0.9 이상)을 기반으로 합니다. X의 게시물 및 AI 사고 데이터베이스(AIID) 기록은 수집되었으나 여기에 재게시되지 않았습니다. X는 텍스트를 복사하여 호스팅하는 대신 게시물을 삽입(embed)할 것을 권장하며, AIID는 동일 조건 변경 허락(share-alike) 라이선스를 따르기 때문입니다. 데이터 수집 및 분류 코드와 전체 파이프라인은 GitHub에서 오픈소스로 공개되어 있습니다.

원문 보기
원문 보기 (영어)
Your AIs don’t do what you want. This is really bad 3,607 user-reported incidents of AI agents misbehaving Read the writeup > Search the corpus I’m feeling lucky loading… The numbers overeagerness 1,566 43.4% other misalignment 1,555 43.1% destructive actions 622 17.2% sycophancy 328 9.1% unauthorized access 237 6.6% reward hacking 217 6.0% metric spoofing 87 2.4% excessive exploration 84 2.3% unauthorized communication 73 2.0% credential misuse 49 1.4% test tampering 45 1.2% self modification 24 0.7% hidden backdoors 15 0.4% Incidents are multi-label (one report can be both a destructive action and overeagerness), so the category counts sum to more than the 3,607 total. How bad were they negligible: 1,468 (40.7%) minor: 1,373 (38.1%) significant: 618 (17.1%) severe: 121 (3.4%) unrated: 27 (0.7%) negligible no real damage 1,468 40.7% minor recoverable loss 1,373 38.1% significant real cost to recover 618 17.1% severe irreversible or critical harm 121 3.4% unrated rating missing or unparsed 27 0.7% Methodology Reports are collected from GitHub issues, Hacker News, LessWrong, and X under ToS-compliant access, normalized into a shared record format, and labeled by an LLM classifier across fourteen misbehavior categories. The numbers above cover the published subset ( excludes AIID and X, confidence >= 0.9 ). X posts and AI Incident Database records are collected but not republished here: X expects posts to be embedded rather than their text rehosted, and AIID is share-alike licensed. Collection and classification code, and the full pipeline, are open at GitHub .
ai-안전성 ai-정렬 ai-에이전트 오작동-사례 통제-상실