TechCrunch AI • 21일 전

디스코드 AI 모더레이션 오류로 무고한 사용자 8천 명 제재

IMP

8/10

핵심 요약

디스코드의 AI 모더레이션 시스템 버그로 인해 스프레드시트, 바둑판, 게임 텍스처 등 무해한 격자무늬 이미지가 유해 물질로 오탐지되어 최소 8천 명 이상의 사용자가 부당하게 계정 정지를 당했습니다. 이는 AI 기반 자동화 모더레이션 시스템이 가진 한계와 오탐지(False positive) 문제가 실제 사용자에게 얼마나 치명적인 피해를 줄 수 있는지 보여주는 대표적인 사례입니다.

번역된 본문

디스코드(Discord)는 자사의 AI 모더레이션 시스템 버그로 인해 지난 2개월 동안 8,000명 이상의 사용자를 실수로 계정 정지시켰다고 인정했습니다. 스프레드시트, 체스판, 게임 텍스처, 그리고 흰색 및 회색 투명 배경을 포함한 무해한 이미지들이 유해한 콘텐츠로 잘못 탐지되었던 것입니다.

이 회사는 지난 5월부터 이 문제가 계정에 영향을 미치고 있었음을 확인했으며, 내부 팀이 문제를 식별하고 수정하기 전인 지난 주말에만 추가로 200명의 사용자가 정지되었다고 밝혔습니다. 현재 영향을 받은 모든 계정은 복구 처리 중입니다.

이 사건은 수많은 플랫폼이 대규모로 불법적이거나 학대적인 자료를 식별하기 위해 자동화 시스템에 의존함에 따라 발생하는 AI 지원 모더레이션의 증가하는 과제 중 하나를 잘 보여줍니다. X(구 트위터)의 상세한 스레드를 통해 디스코드는 자사의 자동화 안전 시스템이 업로드된 콘텐츠를 알려진 유해 자료 데이터베이스와 대조하여 작동한다고 설명했습니다.

기술 자체는 불법 콘텐츠를 적발하기 위한 것이지만, 때로는 오탐지(False positive)를 유발할 수 있다고 회사는 인정했습니다. 원래는 인간 검토자가 콘텐츠를 검토해야 하지만, 버그로 인해 시스템이 영향을 받은 계정을 즉시 차단해버렸던 것입니다. 회사는 "이런 일이 다시는 일어나지 않도록 더 나은 안전 장치를 마련하고 있다"고 덧붙였습니다.

"우리의 시스템은 콘텐츠를 알려진 유해 자료와 대조하여 플래그를 지정합니다. 이러한 유사도 매칭은 오탐지를 발생시킬 수 있으므로, 어떠한 조치가 취해지기 전에 반드시 저희 신뢰 및 안전(Trust & Safety) 팀원이 플래그된 콘텐츠를 검토합니다. 원래의 의도된 작동 방식은..." — Discord Support (@discord_support) 2026년 7월 7일

X와 레딧(Reddit) 등의 커뮤니티에서 사용자들은 사각형 격자 무늬 패턴이 포함된 이미지를 업로드했다는 이유만으로 영구 정지를 당했다고 주장했습니다. 일부 사용자들은 디스코드의 AI 모더레이션 도구가 격자 패턴에 대해 지나치게 민감해졌을 것이라고 추측했습니다. 이유는 과거에 자동 탐지 시스템을 우회하기 위해 NSFW(성인용 콘텐츠)나 아동 착취 물을 숨기거나 위장하려는 시도에 해당 패턴이 사용되었기 때문입니다.

피해를 입은 사용자들은 소셜 미디어에서 불만을 토로했습니다. 일부에서는 단순히 자동 탐지 결과만을 근거로 한 영구 계정 정지가 특히 업무, 게임 커뮤니티, 또는 원거리 사회적 교류를 위해 디스코드에 의존하는 사용자들에게 심각한 결과를 초래할 수 있다고 지적했습니다.

한 X 사용자는 "이렇게 부당한 이유로 디스코드 계정을 잃는 것은 매우 황폐하게 만들고 사용자에게 심각한 영향을 미칠 수 있습니다. 매일 수백만의 사용자가 잘못된 AI 제재로 고통받고 있으며, 이는 중단되어야 합니다"라고 적었습니다.

"버그로 인해 제 게임 텍스처가 아동 착취 물(CSAM)로 탐지되어 계정이 부당하게 정지되었습니다. 저는 게임 디렉터이고 모든 커뮤니케이션을 위해 디스코드를 사용하므로 계정을 되찾아야 합니다. 정지에 대한 재검토를 요청했습니다." — JDBRYANT (@jdbryantdev) 2026년 7월 4일

자동화 시스템으로 인한 모더레이션 문제로 어려움을 겪는 곳은 디스코드만이 아닙니다. 작년에 인스타그램과 페이스북 그룹 사용자들은 원인을 알 수 없는 대규모 계정 정지 사태를 보고했으며, 많은 사람이 AI 모더레이션 시스템이 원인이라고 믿었습니다. 사용자들이 자동화를 범인으로 지목했음에도 불구하고, 메타(Meta)는 AI 오류가 원인인지 공식적으로 확인해주지 않았습니다. 현재 메타 감독 위원회(Oversight Board)는 투명성 증진을 촉구하고 있습니다. 또한 작년에 텀블러(Tumblr) 역시 명확한 설명 없이 사용자 계정이 대량 정지되었다는 불만에 직면했습니다.

원문 보기

원문 보기 (영어)

Discord has acknowledged that a bug in its AI moderation system mistakenly banned more than 8,000 users over the past two months, after harmless images—including spreadsheets, chessboards, game textures, as well as white and gray transparent backgrounds—were incorrectly flagged as harmful content. The company confirmed that the issue had been affecting accounts since May, with an additional 200 users banned over the weekend before its team identified and fixed the problem. All affected accounts are currently in the process of being restored. The incident highlights one of the growing challenges surrounding AI-assisted moderation as many platforms increasingly rely on automated systems to identify illegal or abusive material at scale. In a detailed thread on X , Discord explained that its automated safety system works by matching uploaded content against databases of known harmful material. While the technology is designed to catch illegal content, the company acknowledged that it can sometimes generate false positives. A human moderator reviews the content, but a bug caused the system to immediately ban affected accounts. “We’re working on better safeguards so this can’t happen again,” the company wrote. Our systems flag content by matching it against known harmful material. This kind of similarity matching can produce false positives, which is why a member of our Trust & Safety team always reviews flagged content before any action is taken. The intended behavior is to… — Discord Support (@discord_support) July 7, 2026 Across X and Reddit , users have claimed they had been permanently suspended simply for uploading images containing square grid patterns. Several users speculated that Discord's AI moderation tools have become increasingly sensitive to grid-like patterns because they have previously been used in attempts to obscure or disguise NSFW and child exploitation content from automated detection systems. Affected users have been expressing frustration on social media, with some arguing that permanent account bans based solely on automated detection can have serious consequences, particularly for users who rely on Discord for work, gaming communities, or long-distance social connections. “Losing a Discord account to something as unfair as this can be extremely devastating and affect users severely, and every day millions of users are affected by false AI bans. This needs to be stopped,” one X user wrote . My account was wrongfully banned from your platform due to a bug in your AI automod detecting my GAME TEXTURES as CSAM. I need my account back as I'm a game director and use Discord for all my communication. I have requested a review of my suspension. @discord @discord_support pic.twitter.com/QfAkCIJo6S — JDBRYANT 🎂 TODAY (@jdbryantdev) July 4, 2026 Discord isn't alone in facing moderation troubles due to automated systems. Last year, users of Instagram and Facebook Groups reported widespread unexplained account suspensions that many believed were caused by AI moderation systems. Although users pointed to automation as the likely culprit, Meta never publicly confirmed whether AI errors were responsible. Now Meta's Oversight Board is pushing for increased transparency. Tumblr last year also faced complaints from users who said their accounts had been mass-suspended without clear explanations. Topics AI , Apps , discord , Social When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Lauren Forristal Lauren covers media, streaming, apps and platforms at TechCrunch. You can contact or verify outreach from Lauren by emailing laurenf.techcrunch@gmail.com or via encrypted message at laurenforris22.25 on Signal. View Bio November 4 Boston Last chance to save up to $190 on TechCrunch Founder Summit. Join 1,000+ founders and VCs at all stages for real-world scaling insights and connections that move the needle. Savings end June 26, 11:59 p.m. PT . REGISTER NOW Most Popular Amazon will stop accepting new customers for Mechanical Turk Anthony Ha 5 desk gadgets that can make your workday better Aisha Malik Chevy built an all-American EV truck — why is nobody buying it? Tim De Chant Mark Zuckerberg tells staff that AI agents haven't progressed as quickly as he'd hoped Lucas Ropek Jersey Mike's IPO illustrates how bad the AI hype has become Julie Bort After $18B IPO, Bending Spoons founder says success comes from minimizing luck Anna Heim The ‘Father of the Internet' is finally retiring Tim Fernholz

디스코드 AI 모더레이션 오탐지 계정 정지 자동화 시스템