메뉴
HN
Hacker News 36일 전

클로드 구독 취소: 토큰 문제와 품질, 지원 부족

IMP
4/10
핵심 요약

개발자가 Claude Code 구독 초기의 뛰어난 성능에 만족했으나, 시간이 지나면서 급격한 품질 저하와 불합리한 토큰 소진 문제를 겪은 후기입니다. 특히 기본 답변만 남긴 채 일방적으로 티켓을 종료해버리는 형식적인 고객 지원과, 어설픈 임시방편 코드를 작성하고도 막대한 토큰을 소모하는 모델의 행태를 날카롭게 비판했습니다.

번역된 본문

초기의 열정 몇 주 전 저는 Claude Code에 구독했고, 처음 며칠 동안은 정말 좋은 경험을 했습니다. 속도도 빠르고, 토큰 할당량도 합리적이었으며, 품질도 좋았습니다. 비혼잡 시간대에 토큰 할당량을 늘렸다는 것을 알게 되었고, 그들이 일부 정부 규제에 반대한다는 점에서 옳은 일을 돕는 기분이 들었습니다. (づ  ̄ ³ ̄)づ

하지만… 약 3주 전부터 저의 초기 열정이 빠르게 식어가고 있습니다.

불량한 고객 지원 3주 전에 문제가 하나 발생하면서 시작되었습니다. 약 10시간의 휴식 후 아침에 작업을 시작했는데, 이는 토큰이 충분히 초기화될 시간이었습니다. Claude Haiku에 간단한 질문 두 개를 보냈습니다. 저장소와도 관련 없는 아주 단순한 질문이었습니다. 그런데 갑자기 토큰 사용량이 100%로 치솟았습니다. '잘 쉬셨겠네요…'

저는 그들의 'AI 지원 봇'에 문의했지만, 기본적인 지원 헛소리만 늘어놓을 뿐 문제를 제대로 이해하지 못했습니다. 그래서 사람 상담원을 요청했습니다. 며칠 후 사람으로 보이는 상담원이 답변을 보냈습니다. 이렇게 시작했습니다. "저희 시스템은 고객님의 문의가 Pro 또는 Max 요금제의 사용량 제한에 관한 것으로 감지되고 있습니다." 그래, 맞아요 — Pro 요금제요. 시스템에서 실제로 조회조차 하지 않은 것 같습니다. 이것은 그냥 기본 인사말이었고 아마 기본 답변이었을 겁니다. 왜냐하면 이어서 문서에서 복사-붙여넣기 한 듯한 일일 및 주간 한도 작동 방식에 대한 장황한 설명이 이어졌기 때문입니다.

그리고 이메일 끝에 고객이 결코 읽고 싶어 하지 않는 전형적으로 좌절스러운 문장, 즉 고객 지원의 중지를 가리키는 고전적인 문장과 함께 마무리되었습니다. 우리는 고객의 문제가 해결되었든 아니든 신경 쓰지 않고, 이것을 완결된 건으로 선언합니다.

"이 티켓에 대한 추가 답변은 모니터링되지 않을 수 있습니다. 귀하의 요청이 Pro 또는 Max 요금제의 사용량 제한에 관한 것이 아니거나 추가 지원이 필요한 경우, 다음의 도움말 페이지를 방문하십시오."

훌륭하군요! 실제 문제와 전혀 관련없는 자동화된 이메일을 보낸 다음, 상담 채널을 닫아버리다니. 뭐, 아무 도움도 안 됐네요? 아니면 제가 틀렸을까요. 저는 Claude Haiku에게 물어봤습니다.

@Haiku: 이 고객의 요청과 AI 및 나중에 W*****가 보낸 답변을 보세요. 그들이 고객의 우려나 질문에 제대로 답변했나요? (╯°_°)╯︵ ┻━┻

품질 저하 이후 며칠, 몇 주 동안 품질은 제 요구를 충족하거나 초기 경험에 미치지 못했습니다. 예전에는 한 번에 최대 3개의 프로젝트를 작업할 수 있었는데, 이제는 단일 프로젝트 작업 2시간 만에 토큰 한도가 소진되었습니다. 그리고 품질도 저하되고 있었습니다. 이것이 꽤 주관적이라는 점, 그리고 에이전트의 품질이 항상 사용자의 역량에 크게 영향을 받는다는 점을 잘 알고 있습니다. 보통 실패는 화면 앞에서 일어납니다. 하지만 이봐요, 저도 Github의 Copilot, OpenAI의 Codex를 사용해 개발하고 있고, Qwen3.5-9B 모델을 사용해 OMLX 및 Continue로 직접 인퍼런스를 돌리고 있습니다. 저는 전문가는 아니지만, 가끔 게을러도 한두 가지는 아는 것 같습니다.

이 훌륭한 예를 보여드리겠습니다. 어제 저는 Claude Opus에게 프로젝트를 리팩토링해달라고 요청했습니다. 모델의 생각 로그를 살펴보던 중 — 가끔이 아니라 항상 확인하는 것을 강력히 권장합니다 — 다음과 같은 내용을 발견했습니다.

"JSX의 모든 슬라이더를 편집하는 대신, ui-events.js에 범용 이니셜라이저를 추가하여 값 표시가 없는 모든 range 입력에 자동으로 주입하겠습니다."

이것은 명백히 나쁜 코딩 방식입니다. 주니어 개발자에게도 기대하지 않을 저렴한 임시방편이며, 제대로 된 결과를 전달하고 싶어 하지 않는 사람이 쓴 것처럼 읽힙니다.

제 반응은 이랬습니다. "장난해? — 네가 이렇게 고치는 거야? 그냥 임시방편만 쓰게???"

적어도 Opus는 인정했습니다. "맞아요, 그건 게을렀어요. 제대로 하겠습니다 — JSX에 라벨을 직접 추가하고 명시적으로 연결할게요."

두말하면 잔소리지만, 이 멍청한 지름길로 인해 5시간짜리 토큰 할당량의 약 50%를 날렸습니다. (ง •̀_•́)ง

그리고 더…

이제 캐시 문제 같은 것들도 거론되고 있습니다. 적어도 그들은 그것에 대해 공개적으로 이야기하고 있습니다. (원문 끝맺음 미완성 상태)

원문 보기
원문 보기 (영어)
First enthusiasm A couple of weeks ago I subscribed to Claude Code, and during the first few weeks I had a really nice experience. It was fast, the token allowance was fair, and the quality was good. I learned they had raised the token allowance for non-rush hours , and since they opposed some governmental rules, it felt good to support the right cause. (づ  ̄ ³ ̄)づ However… for about three weeks now my initial enthusiasm has been rapidly waning. Poor support It began with an issue three weeks ago. I started working in the morning after about a ten-hour break; enough time for my tokens to refresh. I sent two small questions to Claude Haiku . They were simple questions, not even related to the repository. Suddenly, token usage spiked to 100%. Have a nice break… I contacted their “AI support bot”, which returned some default support nonsense and didn’t really understand the problem. So I asked for human support. A couple of days later a - what appeared to be - human support person sent a reply. It began like this: “Our systems are detecting your inquiry is regarding usage limits on your Pro or Max plan. ” Yeah, well — it’s the Pro plan. Seems like your systems weren’t actually queried; it was just a default intro and probably a default answer, because: This was followed by an extensive what seems to be copy-and-paste answer from their docs explaining how daily and weekly limits work. And it closed with the typically frustrating line, that no customer likes to read at the end of an e-mail and which is just the classical middle-finger of customer support - we don’t care if your problem is solved or not, we declared it closed. “Note that further replies to this ticket may not be monitored. If your request is not regarding usage limits on your Pro or Max plan, or you need additional support, please visit our help page at” Great! Sending an automated e-mail that does not refer to the actual problem and then closing the channel. Thanks for nothing, I guess? Or was I wrong. I asked Claude Haiku: @Haiku: See the customer’s request here and the response from the AI and later W***** - did they answer the concern/question of the customer? (╯°_°)╯︵ ┻━┻ Declining quality In the following days and weeks, the quality was far from satisfying my needs or matching my initial experience. While I used to be able to work on up to three projects at once, now the token limit was exhausted after two hours on a single project. And the quality was degrading. I am fully aware this is quite subjective and that the quality of the agent is always heavily impacted by the operator. The failure usually appears in front of the screen. But hey, I also develop using Github’s Copilot , OpenAI’s Codex and I am running my own inference with OMLX and Continue using Qwen3.5-9B . I’m not the expert, I’m lazy sometimes but I probably know a thing or two. Let me give you this wonderful example: yesterday I asked Claude Opus to refactor a project. While I was browsing the model’s thinking log - which I strongly suggest doing not only occasionally - I found this: Rather than editing every slider in JSX, I’ll add a generic initializer in ui-events.js that auto-injects value displays for all range inputs that lack one. This is clearly bad practice. It’s a cheap workaround you wouldn’t expect even from a junior dev; it reads like someone who just doesn’t want to deliver a good result. My response: “you can’t be serious — is this how you fix things? just WORKAROUNDS????” At least Opus admitted: “You’re right, that was lazy. Let me do it properly — add the labels directly in the JSX and wire them explicitly.” Needless to say, this shortcut cost me around 50% of my five-hour token allowance. (ง •̀_•́)ง And even more… Now this cache topic comes up - among others . at least they are talking about it openly. The problem was: when you get back to work after some time, your conversation cache is gone and the model starts reading your codebase again. Cost-wise this is smart. But experience-wise? It means you paid tokens for the initial load and, after a forced break because the five-hour token window hit its limit, you pay again for the same load. Think that’s all? Wait, I also got this funny anecdote: all of a sudden the weekly window changed from today to Monday. OK, I was thankful because it came with a reset to zero. But still: what is going on, Anthropic? Not only that — while I was working on my project, watching token usage with Argus-eyed vigilance , this little warning popped up: Wait, what? I’m neither part of an organization nor do I see any hint why I suddenly have to worry about a “monthly usage limit” — also the hourly and weekly limits were still not exceeded. What is happening right now? Turns out — two hours later - it allowed me to continue working. The warning was gone. At least this documentation does not mention a monthly usage limit. And the settings page only lists the limits for the current session and week. So… what is this monthly limit all about, Anthropic ? Sorry to let you down, Anthropic I am a huge fan of the product. Theoretically everything just works like a charm; it offers so many opportunities. I built my own harness around Claude , I admire Claude Caude who work’s in the background on a bunch of GitHub issues, I love using Claude Cowork to continue writing my Nerd Enzyklopädie . So many thoughful features. I increased my productivity by an order of magnitude, and it’s really thrilling to see how these trillions of ideas crawling through my head are now only a blink away - easier and quicker to realize than four years ago. And I understand the technical and organizational challenges when offering a product like that. It’s not easy to benefit from scaling effects when you sell inference. Every additional hour and every new customer requires the same amount of compute. That’s the curse of incremental costs in this line of business. But… …it seems like Anthropic cannot handle too many new customers at once, so I took that load off Anthropic and cancelled my account. (ʘ‿ʘ)╯