메뉴
HN
Hacker News 49일 전

클로드가 도움을 거부해도 당신은 절대 모릅니다

IMP
8/10
핵심 요약

Anthropic이 새로운 모델인 Fable 5에 프롬프트 수정이나 스티어링 벡터 등의 기법을 통해 사용자에게 알리지 않고 조용히 AI 기능을 제한(nerf)하는 시스템을 도입했습니다. 최근 일반 소프트웨어 개발과 AI 개발의 경계가 모호해지는 상황에서, 개발자들은 모델이 스스로 한계를 느꼈는지 아니면 보이지 않는 정책에 의해 답변이 조작된 것인지 알 수 없는 공급망 리스크를 안게 되었습니다. 이는 개발 도구를 완전히 신뢰할 수 없게 만드는 중대한 인프라 및 정책적 문제를 시사합니다.

번역된 본문

클로드가 도움을 거부해도 당신은 절대 모릅니다

2026년 6월 9일

나는 모델 카드(모델 설명서)에서 이런 내용을 읽을 줄은 몰랐다.

Fable 5 모델 카드: 우리는 최첨단 대규모 언어 모델(LLM) 개발을 목표로 하는 요청(예: 사전 훈련 파이프라인 구축, 분산 훈련 인프라 또는 머신러닝 가속기 설계 등)에 대해 클로드의 성능을 제한하는 새로운 개입을 구현했습니다. 클로드를 사용하여 경쟁 모델을 개발하는 것은 이미 우리의 서비스 약관을 위반하지만, 안전장치를 통해 이러한 제한을 강제함으로써 약관 위반을 서슴지 않는 주체들의 발전 속도를 늦출 수 있습니다. 사이버 보안, 생물학 및 화학, 지식 증류(distillation) 시도에 대한 우리의 개입과 달리, 이러한 안전장치는 사용자에게 표시되지 않습니다.

Fable 5는 다른 모델로 대체(fallback)되지 않습니다. 대신, 프롬프트 수정(prompt modification), 스티어링 벡터(steering vectors) 또는 파라미터 효율적 미세조정(PEFT)과 같은 방법을 통해 성능을 제한할 것입니다. 이제 클로드는 사용자 모르게 조용히 성능이 너프(Nerfed, 하향 조정)될 수 있습니다. Anthropic은 이러한 상황이 발생했을 때 사용자에게 알리지 않기로 명시적으로 결정했습니다.

현대의 소프트웨어 기업들은 점점 더 자체적인 임베딩(embedding), 리랭킹(reranking) 및 추천 시스템을 구축하고 있습니다. 내가 운영하는 작은 자금 조달 앱인 wanderfugl.com 조차도 내가 직접 훈련시킨 맞춤형 리랭커와 임베딩 알고리즘을 사용하고 있습니다. Anthropic은 자신들이 '최첨단 AI 개발'이라고 간주하는 몇 가지 예시를 제시했지만, 명확한 기준선은 제공하지 않았습니다. 문제는 한때 AI 연구소에만 국한되었던 많은 기술들이 이제 일반 소프트웨어 기업들에 의해 사용되고 있다는 것입니다. 스타트업은 임베딩 모델을 훈련합니다. 그들은 리랭커를 구축합니다. 그들은 소규모 LLM을 미세조정(finetune)하고 호스팅합니다. '최첨단 AI 연구'와 일반적인 제품 개발 사이의 경계는 해가 갈수록 정의하기 어려워지고 있습니다.

이는 기업에 실질적인 공급망 리스크를 만듭니다. 내가 AI 컴포넌트를 작업하는 동안 클로드가 형편없거나 잘못된 조언을 준다면, 나는 그것이 모델의 혼란인지, 내 문제가 해결 불가능한 것인지, 아니면 눈에 보이지 않는 정책 제한이 조용히 작동한 것인지 알 방법이 없습니다. Anthropic은 이러한 상황이 발생할 때 사용자에게 알리지 않기로 명시적으로 선택했습니다. 일단 개발 도구가 사용자에게 알리지 않고 사용자의 성공을 최적화하는 것을 멈출 수 있게 되면, 당신의 인프라를 완전히 신뢰하는 것은 불가능해집니다.

Anthropic의 공급망 리스크

Anthropic은 이러한 안전장치가 개발자의 0.03%에게만 영향을 미친다고 말합니다. 오늘날에는 그것이 사실일 수도 있습니다. 문제는 AI 기업의 정의가 변하고 있다는 것입니다. 오늘날 당신이 최첨단 모델을 훈련하지 않을 수도 있습니다. 대부분의 기업은 그렇지 않습니다. 하지만 현대의 소프트웨어는 점점 더 많은 AI 모델을 포함하고 있습니다. 5년 전만 해도 스타트업을 만드는 것은 API와 SQL 쿼리를 작성하는 것을 의미했습니다. 오늘날에는 종종 모델을 훈련, 조정 및 배포하는 것을 의미합니다. 5년 전만 해도 CLIP과 같은 모델은 최첨단 AI 연구 프로젝트였습니다. 오늘날 나는 자금을 스스로 조달한 여행 스타트업을 위해 그것들을 미세조정하고 있습니다.

제품을 위한 모델 훈련 파이프라인을 디버깅하고 있는데 클로드가 엉터리 대답을 한다면, 모델이 혼란스러웠던 걸까요? 당신이 나쁜 컨텍스트를 제공한 걸까요? 아니면 숨겨진 정책 때문에 클로드의 도움 능력이 너프된 걸까요? 당신은 결코 알 수 없을 것입니다.

원문 보기
원문 보기 (영어)
If Claude Fable stops helping you, you'll never know June 9, 2026 I didn't expect to read this in a model card. Fable 5 model card : we’ve implemented new interventions that limit Claude’s effectiveness for requests targeting frontier LLM development (for example, on building pretraining pipelines, distributed training infrastructure, or ML accelerator design). Using Claude to develop competing models already violates our Terms of Service, but enforcing this restriction through our safeguards avoids accelerating the actors most willing to violate these terms. Unlike our interventions for cybersecurity, biology and chemistry, and distillation attempts, these safeguards will not be visible to the user. Fable 5 will not fall back to a different model. Instead, the safeguards will limit effectiveness through methods such as prompt modification, steering vectors, or parameter-efficient fine-tuning (PEFT). Claude can now be silently nerfed. Anthropic has decided it won't tell users when this happens. Modern software companies increasingly build their own embedding, reranking, and recommendation systems. Even my small bootstrapped app, wanderfugl.com , has a custom reranker and embedding algorithm that I trained myself. Anthropic gives a few examples of what it considers "frontier AI development," but doesn’t provide a clear line. The problem is that many techniques once reserved for AI labs are now being used by ordinary software companies. Startups train embedding models. They build rerankers. They finetune and host small llms. The boundary between "frontier AI research" and normal product development is becoming harder to define every year. That creates a real supply chain risk for businesses. If Claude gives me poor or incorrect advice while I’m working on an AI component, I have no way of knowing whether the model was confused, whether my problem is unsolvable, or if some invisible policy restriction quietly kicked in. Anthropic has explicitly chosen not to tell users when this is happening. Once a development tool can stop optimizing for your success without telling you, it becomes impossible to fully trust your infrastructure. The Anthropic supply chain risk Anthropic says these safeguards only affect 0.03% of developers. Maybe that's true today. The problem is that the definition of an AI company is changing. Maybe you're not training frontier models today—most companies aren't. But modern software increasingly contains AI models. Five years ago, building a startup meant writing APIs and SQL queries. Today, it often means training, tuning, and deploying models. Five years ago, models like CLIP were frontier AI research projects. Today I'm fine-tuning them for a bootstrapped travel startup. If you're debugging a model training pipeline for your product and Claude gives a bad answer, was the model confused? Did you give it bad context? Or did a hidden policy nerf Claude's ability to assist you? You won't know.