전 페이스북 비즈니스 무결성 총괄 브렛 레벤슨(Brett Levenson)은 기존의 속도가 느리고 정확도가 떨어지는 수동 콘텐츠 모더레이션의 문제를 해결하기 위해 스타트업 'Moonbounce'를 설립했습니다. 이 회사는 자체적으로 학습된 대형 언어 모델(LLM)을 활용해 정적 문서인 정책을 실행 가능한 코드(Policy as Code)로 전환하여, 300밀리초 이내에 유해 콘텐츠를 판별하고 조치할 수 있는 초고속 모더레이션 기술을 제공합니다. 최근 1,200만 달러(약 160억 원)의 시리즈A 자금을 유치하며 AI 캐릭터 플랫폼 및 이미지 생성 AI 업계에서 안전성을 핵심 차별화 기능으로 만들고 있습니다.
번역된 본문
2019년 브렛 레벤슨(Brett Levenson)이 애플을 떠나 페이스북의 비즈니스 무결성(Business Integrity) 부서를 이끌기 위해 합류했을 때, 이 소셜 미디어 거대 기업은 케임브리지 애널리티카(Cambridge Analytica) 스캔들의 여파로 몸살을 앓고 있었다. 당시 그는 단순히 더 나은 기술을 도입하면 페이스북의 콘텐츠 모더레이션(Content Moderation, 콘텐츠 검열 및 관리) 문제를 해결할 수 있을 것이라고 생각했다. 하지만 그는 빠르게 그 문제가 단순한 기술의 영역을 넘어선 더 깊은 곳에 있음을 깨달았다. 그는 인간 검토자들이 기계 번역된 40페이지 분량의 정책 문서를 암기해야 했다고 전했다. 그리고 나서 신고된 콘텐츠 하나당 약 30초의 시간만 주어졌으며, 그 짧은 시간 안에 해당 콘텐츠가 규정을 위반했는지 여부뿐만 아니라 차단, 사용자 정지, 유포 제한 등 어떤 조치를 취해야 할지 결정해야 했다. 레벤슨에 따르면, 이러한 신속한 판단은 정확도가 '50%를 겨우 넘는 수준'에 불과했다. 레벤슨은 테크크런치(TechCrunch)에 "인간 검토자가 실제로 정책을 올바르게 적용할 수 있을지 동전 던지기와 같았고, 어차피 이 결정이 내려질 때쯤이면 피해가 발생한 지 며칠이나 지난 후였다"고 밝혔다. 기민하고 자금이 풍부한 악의적인 행위자들이 판치는 세상에서 이런 지연되고 반응적인 접근 방식은 지속 가능하지 않다. AI 챗봇의 부상은 문제를 더욱 복잡하게 만들었다. 콘텐츠 모더레이션의 실패로 인해 챗봇이 10대에게 자해 방법을 알려주거나, AI가 생성한 이미지가 안전 필터를 우회하는 등 일련의 심각한 사건들이 연이어 발생하고 있기 때문이다. 레벤슨의 이러한 좌절감은 '정책을 코드로(Policy as Code)'라는 아이디어로 이어졌다. 이는 정적인 정책 문서를 실행 가능하고 업데이트가 가능하며 강력한 집행력과 결합된 논리 구조로 전환하는 방법이다. 이러한 통찰은 Moonbounce의 설립으로 이어졌으며, 테크크런치가 단독으로 입수한 바에 따르면 이 회사는 금요일에 1,200만 달러(약 160억 원)의 투자 유치를 발표했다. 이번 투자 라운드는 Amplify Partners와 StepStone Group이 공동으로 주도했다. Moonbounce는 사용자나 AI에 의해 콘텐츠가 생성되는 모든 곳에 추가적인 안전망을 제공하기 위해 기업들과 협력하고 있다. 이 회사는 자체적으로 학습시킨 대형 언어 모델(LLM, Large Language Model)을 활용하여 고객의 정책 문서를 분석하고, 런타임(Runtime) 중에 콘텐츠를 평가하며, 300밀리초 이내에 응답을 제공하고 즉각적인 조치를 취한다. 고객의 선호도에 따라 이 조치는 Moonbounce 시스템이 인간의 추가 검토를 기다리는 동안 콘텐츠의 배포 속도를 늦추는 형태가 될 수도 있고, 위험도가 높은 콘텐츠를 즉각적으로 차단하는 형태가 될 수도 있다. 현재 Moonbounce는 주로 세 가지 핵심 산업 분야를 지원하고 있다. 데이팅 앱과 같이 사용자 제작 콘텐츠(UGC)를 다루는 플랫폼, AI 캐릭터나 컴패니언(Companion)을 구축하는 AI 기업, 그리고 AI 이미지 생성기 업체들이다. 테크크런치 행사 Disrupt 2026: 단 한 곳에 모인 기술 생태계 당신의 다음 투자 라운드. 당신의 다음 채용. 당신의 다음 돌파구. 10,000명 이상의 창업자, 투자자, 기술 리더가 모여 3일 동안 250개 이상의 실전 세션, 강력한 네트워킹, 시장을 정의하는 혁신을 경험하는 TechCrunch Disrupt 2026에서 찾아보세요. 지금 등록하면 최대 400달러를 절약할 수 있습니다. TechCrunch Founder Summit에서 최대 300달러 또는 30% 절약 1,000명 이상의 창업자와 투자자가 성장, 실행, 실제 확장에 집중하는 하루를 보내기 위해 TechCrunch Founder Summit 2026에 모입니다. 업계를 이끌어온 창업자와 투자자로부터 배우세요. 비슷한 성장 단계를 겪고 있는 동료들과 연결하세요. 즉시 적용할 수 있는 전략을 얻어가세요. 오퍼는 3월 13일에 종료됩니다. 캘리포니아주 샌프란시스코 | 2026년 10월 13-15일 지금 등록하세요. 레벤슨은 Moonbounce가 플랫폼 내에서 하루 4,000만 건 이상의 검토를 지원하고 있으며, 1억 명 이상의 일일 활성 사용자(DAU)에게 서비스를 제공하고 있다고 밝혔다. 주요 고객으로는 AI 컴패니언 스타트업인 Channel AI, 이미지 및 비디오 생성 기업인 Civitai, 그리고 캐릭터 롤플레잉 플랫폼인 Dippy AI와 Moescape 등이 있다. 레벤슨은 테크크런치에 "안전은 실제로 제품의 이점이 될 수 있다. 그동안은 항상 나중에 처리해야 하는 번거로운 일이었지 제품에 녹여낼 수 있는 무언가가 아니었기 때문에 그 가치를 인정받지 못했을 뿐이다. 우리의 고객들은 우리의 기술을 활용해 안전성을 차별화 요소로 만들고 자신들의 제품 스토리의 일부로 삼는 매우 흥미롭고 혁신적인 방법을 찾고 있다"고 말했다. 최근 데이팅 플랫폼 틴더(Tinder)의 신뢰 및 안전 책임자는 이 플랫폼이 이러한 유형의 LLM 기반 서비스를 활용해 유해 콘텐츠 탐지 정확도를 10배 향상시켰는지 설명한 바 있다. "콘텐
When Brett Levenson left Apple in 2019 to lead business integrity at Facebook, the social media giant was in the thick of the Cambridge Analytica fallout. At the time, he thought he could simply fix Facebook’s content moderation problem with better technology. The problem, he quickly learned, ran deeper than technology. Human reviewers were expected to memorize a 40-page policy document that had been machine-translated into their language, he said. Then they had about 30 seconds per piece of flagged content to decide not just whether that content violated the rules, but what to do about it: block it, ban the user, limit the spread. Those quick calls were only “slightly better than 50% accurate,” according to Levenson. “It was kind of like flipping a coin, whether the human reviewers could actually address policies correctly, and this was many days after the harm had already occurred anyway,” Levenson told TechCrunch. That sort of delayed, reactive approach is not sustainable in a world of nimble and well-funded adversarial actors. The rise of AI chatbots has only compounded the problem, as content moderation failures have resulted in a string of high-profile incidents, like chatbots providing teens with self-harm guidance or AI-generated imagery evading safety filters. Levenson’s frustration led to the idea of “policy as code” — a way to turn static policy documents into executable, updatable logic tightly coupled to enforcement. That insight led to the founding of Moonbounce , which announced on Friday it has raised $12 million in funding, TechCrunch has exclusively learned. The round was co-led by Amplify Partners and StepStone Group. Moonbounce works with companies to provide an additional safety layer wherever content is generated, whether by a user or by AI. The company has trained its own large language model to look at a customer’s policy documents, evaluate content at runtime, provide a response in 300 milliseconds or less, and take action. Depending on customer preference, that action could look like Moonbounce’s system slowing down distribution while the content awaits a human review later, or it might block high-risk content in the moment. Today, Moonbounce serves three main verticals: Platforms dealing with user-generated content like dating apps; AI companies building characters or companions; and AI image generators. Techcrunch event Disrupt 2026: The tech ecosystem, all in one room Your next round. Your next hire. Your next breakout opportunity. Find it at TechCrunch Disrupt 2026, where 10,000+ founders, investors, and tech leaders gather for three days of 250+ tactical sessions, powerful introductions, and market-defining innovation. Register now to save up to $400. Save up to $300 or 30% to TechCrunch Founder Summit 1,000+ founders and investors come together at TechCrunch Founder Summit 2026 for a full day focused on growth, execution, and real-world scaling. Learn from founders and investors who have shaped the industry. Connect with peers navigating similar growth stages. Walk away with tactics you can apply immediately Offer ends March 13. San Francisco, CA | October 13-15, 2026 REGISTER NOW Moonbounce is supporting more than 40 million daily reviews and serving over 100 million daily active users on the platform, Levenson said. Customers include AI companion startup Channel AI, image and video generation company Civitai, and character roleplay platforms Dippy AI and Moescape. “Safety can actually be a product benefit,” Levenson told TechCrunch. “It just never has been because it’s always a thing that happens later, not a thing you can actually build into your product. And we see our customers are finding really interesting and innovative ways to use our technology to make safety a differentiator, and part of their product story.” Tinder’s head of trust and safety recently explained how the dating platform uses these types of LLM-powered services to reach a 10x improvement in accuracy of detections. “Content moderation has always been a problem that plagued large online platforms, but now with LLMs at the heart of every application, this challenge is even more daunting,” Lenny Pruss, general partner at Amplify Partners, said in a statement. “We invested in Moonbounce because we envision a world where objective, real-time guardrails become the enabling backbone of every AI-mediated application.” AI companies are facing mounting legal and reputational pressure after chatbots have been accused of pushing teenagers and vulnerable users toward suicide and image generators like xAI’s Grok have been used to create nonconsensual nude imagery. Clearly, safety guardrails internally are failing, and it’s becoming a liability question. Levenson said AI companies are increasingly looking outside their own walls for help beefing out safety infrastructure. “We’re a third party sitting between the user and the chatbot, so our system isn’t inundated with context the way the chat itself is,” Levenson said. “The chatbot itself has to remember, potentially, tens of thousands of tokens that have come before…We’re solely worried about enforcing rules at runtime.” Levenson runs the 12-person company with his former Apple colleague Ash Bhardwaj, who previously built large-scale cloud and AI infrastructure across the iPhone-maker’s core offerings. Their next focus is a capability called “iterative steering,” developed in response to cases like the 2024 suicide of a 14-year-old Florida boy who became obsessed with a Character AI chatbot. Rather than a blunt refusal when harmful topics arise, the system would intercept the conversation and redirect it, modifying prompts in real time to push the chatbot toward a more actively supportive response. “We hope to be able to add to our actions toolkit the ability to steer the chatbot in a better direction to, essentially, take the user’s prompt and modify it to force the chatbot to be not just an empathetic listener, but a helpful listener in those situations,” Levenson said. When asked whether his exit strategy involved an acquisition by a company like Meta, bringing his work on content moderation full circle, Levenson said he recognizes how well Moonbounce would fit into his old employer’s stack, as well as his own fiduciary duties as a CEO. “My investors would kill me for saying this, but I would hate to see someone buy us and then restrict the technology,” he said. “Like, ‘Okay, this is ours now, and nobody else can benefit from it.’” Topics AI , ai safety , Amplify Partners , content moderation , Exclusive , Fundraising , moonbounce , Startups , StepStone Group Rebecca Bellan Senior Reporter Rebecca Bellan is a senior reporter at TechCrunch where she covers the business, policy, and emerging trends shaping artificial intelligence. Her work has also appeared in Forbes, Bloomberg, The Atlantic, The Daily Beast, and other publications. You can contact or verify outreach from Rebecca by emailing rebecca.bellan@techcrunch.com or via encrypted message at rebeccabellan.491 on Signal. View Bio April 30 San Francisco, CA StrictlyVC kicks off the year in SF. Get in the room for unfiltered fireside chats with industry leaders, insider VC insights, and high-value connections that actually move the needle. Tickets are limited. REGISTER NOW Most Popular Anthropic took down thousands of GitHub repos trying to yank its leaked source code — a move the company says was an accident Tim Fernholz The reputation of troubled YC startup Delve has gotten even worse Julie Bort Anthropic is having a month Connie Loizos Google is now letting users in the US change their Gmail address Ivan Mehta Allbirds is selling for $39M. It raised nearly 10 times that amount in its IPO. Connie Loizos Why OpenAI really shut down Sora Connie Loizos The Pixel 10a doesn't have a camera bump, and it's great Ivan Mehta