Hacker News • 43일 전

클로드 코드, 악성코드 의심에 개발자 통제 논란

IMP

6/10

핵심 요약

한 해커뉴스 유저가 매월 200달러를 내는 최고 등급 구독자임에도 불구하고, AI 모델이 악의적 활동을 한다고 지나치게 의심하여 정상적인 개발 업무를 방해하고 작업을 거부하는 문제를 제기했습니다. 이는 지나친 AI 안전망(guardrails)이 정당한 사용자의 업무 효율성을 떨어뜨리고 통제감을 느끼게 만드는 대표적인 사례로, AI 윤리와 실무자의 작업 자유도 사이의 충돌을 보여줍니다.

번역된 본문

개발 중에 새로운 작업을 시작할 때마다 다음과 같은 문구가 계속 나타납니다: 내 버그 파일 — 악성코드(Malware)가 아님.

이 모델이 악성코드를 제작하고 있는지 강박적으로 검사하고 있는 것 같습니다.

다른 상황에서 JS(자바스크립트)가 포함된 HTML 문서의 파서를 개발하고 있었는데, 보안 시스템을 우회하려 한다고 판단하여 작업을 거부했습니다.

저는 AI가 제가 하는 일을 도와주는 보조적인 역할을 해야 한다고 생각합니다. AI가 제가 잘못된 일을 하거나 시스템을 남용하고 있는지 지나치게 집요하게 검사할 때, 저는 통제받고 있다는 느낌을 받습니다. 저는 가드레일(guardrails, 안전장치)이 있어야 한다는 점과 사람들이 이 새로운 기술을 나쁜 일에 악용하지 못하게 막는 것이 매우 중요하다는 것을 이해합니다.

저는 한 달에 200달러를 지불하는 맥스(Max) 구독자입니다. 서비스 제공자는 제가 누구인지 이미 알고 있습니다. 클로드(Claude)는 제가 스크래핑(scraping) 기술 분야에서 일하고 있으며, 우리 고객이 우리가 스크래핑하는 대상 기업들이라는 것도 알고 있습니다.

이제 Opus 4.7에서는 크롬 확장 프로그램을 통해 쿠키 생성을 자동화해 달라고 요청했더니, 작업을 계속할 수 없다고 거부하는 상황이 발생했습니다.

누군가 시스템을 남용하는 경우, 예를 들어 악의적인 의도로 악성코드를 만들거나 해킹을 하는 경우라면, 그 사람의 의도에 대해 평가를 내릴 수 있는 어떤 신호 시스템이나 알고리즘이 있을 것이라고 상상할 수 있습니다. 하지만 지금 AI가 저의 업무를 제한하고 있어서 약간 방해를 받고 있다는 느낌이 듭니다. 이 시스템이 도대체 누구길래 나를 제한하는 겁니까?

앞으로 이것을 받아들여야 할까요? 제 권한이 불충분하거나 제가 잘못된 일을 하고 있다고 믿기 때문에 계속할 수 없다고 시스템이 말하는 것을요.

블랙웰(Blackwell) GPU의 로컬 AI에서는 문제 없이 잘 작업할 수 있습니다. 하지만 당연히 최신 기술, 최신 AI, 그리고 사용 가능한 최고의 모델을 사용하고 싶습니다. 이것이 분기의 시작일까요? 착한 사람과 나쁜 사람이 각기 다른 선택을 하게 되는? 내가 지금 나쁜 놈이 된 건가요?

작년에 마흔이 넘었습니다. 저는 케빈 미트닉(Kevin Mitnick)에 대해 읽고 이야기를 나누며 자랐습니다. 지역 컴퓨터 동호회 회원이었고, 14살 소년으로서 해킹을 하던 아이였는데

원문 보기

원문 보기 (영어)

So during development, at every task I start, I see a line like this:`Own bug file — not malware.`It seems that it's obsessively checking if it's working on malware production.In another situation where I was working on a parser of a HTML document with JS, it refused because it believed that I was bypassing security measurements.I believe AI has to be supportive in the work that I'm doing. When it's obsessively checking me if I am doing anything wrong or abusing the system, I have the feeling it is controlling me. I understand that we do have guardrails and I also understand that it's very important that people do not abuse this new tech for bad stuff.I pay $200 per month for a max subscription. They already know who I am. Claude knows I work in scraper tech, and it also knows that our clients are the companies we scrape.Now with Opus 4.7, I've had a situation that it refused to continue because I asked to automate the cookie creation with a Chrome extension.In a situation where someone is abusing the system, let's say create malware or hacking stuff with bad intentions. I can imagine there will be some signal system or algorithm that can form an opinion about the intentions that someone has. But now that the AI is limiting me in my work, I feel a little bit disrupted. Who the hell does this system think he is to limit me?Am I going to accept this in the future? That a system will tell me that I cannot continue because I don't have sufficient rights or beliefs that I'm doing anything wrong.I can work fine on the local AI on my Blackwell GPU. But of course, I want to use the latest tech, the latest AI and the best models available. Is this the beginning of a split? Where good people and naughty people make different choices? Am I the bad guy now?Last year I passed 40. I grew up reading, talking about Kevin Mitnick. I was a member of a local computer club. Hacking stuff as a 14-year-old kid who

클로드 AI 안전성 코딩 에이전트 오류 가드레일