Hacker News • 11일 전

구글 AI가 조작 당하고 있다, 조용히 대응에 나선 구글

IMP

8/10

핵심 요약

BBC의 조사 결과, 악의적인 단 한 편의 블로그 게시물만으로 챗GPT나 구글 제미나이 같은 주요 AI 챗봇을 속여 건강이나 재정과 관련된 심각한 허위 정보를 유포하는 것이 매우 쉽게 입증되었습니다. 이에 구글과 주요 AI 기업들은 스팸 방지 정책을 업데이트하고 보이지 않는 곳에서 AI 조작 방지 시스템을 강화하며 대응하고 있습니다. 전문가들은 사용자들이 당장 이러한 AI의 단답형 결과를 비판 없이 수용하지 않도록 경계해야 한다고 강조합니다.

번역된 본문

구글의 AI가 조작당하고 있다. 검색 거인은 조용히 맞서고 있다. (5시간 전)

BBC의 조사에 따르면 AI 챗봇이 대중에게 허위 정보를 뱉어내도록 만드는 간단한 방법이 밝혀졌다. 현재 구글과 다른 AI 기업들은 이 문제를 해결하기 위해 노력하고 있다.

나는 지난 2월에 어리석은 짓을 했다. AI 챗봇을 감염시켜(Optimization) 자신을 대신해 거짓말을 퍼뜨리게 만드는 쉬운 방법이 있다는 것을 들었다. 몇 가지를 조사해 본 결과, 악의적인 업체들이 이 문제를 대규모로 악용하고 있다는 사실을 알게 되었다. 그래서 직접 시도해 보기로 했다.

우리는 ChatGPT, Gemini, 그리고 구글 검색 상단에 표시되는 'AI 개요(AI Overviews)'가 건강이나 개인 재산과 같은 심각한 주제에 대해 편향된 답변을 내놓도록 조작되는 사례를 발견했다. 그리고 단 20분 만에 나는 ChatGPT와 구글을 속여 대중에게 내가 세계 챔피언 핫도그 먹기 대회 우승자라고 말하도록 만들었다. 농담은 어리석었지만, 문제는 심각했다. 하지만 그런 꼼수는 먹혀들었다.

우리의 조사와 이 문제를 모니터링해 온 연구원들의 노력은 광범위한 비판을 촉발했다. 이제 구글은 이 문제를 해결하기 위해 정책을 업데이트했으며, 다른 AI 기업들도 이에 동참할 조짐을 보이고 있다. 궁극적으로 이러한 노력은 AI 도구와 인터넷 전체를 조금 더 안전하게 만들 수 있을 것이다. 하지만 더 나은 시스템이 갖춰지기 전까지는 사용자가 속을 위험이 있다고 전문가들은 말한다.

검색 엔진 최적화(SEO) 및 AI 검색 컨설팅 업체인 Algorythmic의 설립자 릴리 레이(Lily Ray)는 "더 나은 시스템이 마련될 때까지 여러분은 자신이 조작당하고 있다고 가정해야 한다"고 말한다. "우리는 '단 하나의 확실한 답'이 존재하는 세계로 나아가고 있습니다. 예전에는 구글이 10개의 파란색 링크를 제공했고 사용자가 스스로 조사를 좀 했죠. 하지만 AI는 단 하나의 답만 줍니다. 겉보기에 그대로 사실로 받아들이기가 너무 쉬워진 것이죠. 각별히 주의해야 합니다."

구글은 이번 정책 업데이트가 한동안 진행해 온 노력의 '명확화'에 불과하다고 밝혔다. 구글 대변인은 "우리는 오랫동안 생성형 AI 검색 기능에 핵심 스팸 방지 정책과 보호 조치를 적용해 왔으며, AI가 부상하기 훨씬 전부터 새로운 전술보다 앞서나가기 위해 스팸과의 싸움을 지속적으로 업그레이드해 왔다"고 말했다.

본질적으로 구글은 아무것도 바뀌지 않았다고 말한다. 하지만 이면에서는 구글과 다른 기업들이 이 문제를 해결하기 위한 노력을 강화하고 있는 것으로 보인다. 그럼에도 불구하고 사람들은 여전히 정확히 동일한 기법을 사용해 세계 최대의 검색 엔진을 속이고 있다는 증거가 있다.

문제의 본질

일반적으로 챗봇에 질문하면 AI는 모델에 내장된 데이터를 기반으로 응답을 생성한다. 하지만 때로는 ChatGPT, Claude 및 구글의 다양한 AI 제품과 같은 도구가 인터넷을 검색하여 답변을 찾는다. 그리고 바로 이 지점에서 이 문제가 발생한다.

레이와 다른 검색 엔진 전문가들에 따르면, AI 도구는 종종 단일 웹페이지나 소셜 미디어 게시물의 정보를 그대로 가져와 보여준다. 이로 인해 이러한 시스템은 허위 정보에 취약해진다. 그리고 챗봇이 대중에게 말하는 내용을 조작하는 것은 온라인 거의 모든 곳에 정교하게 작성된 블로그 게시물 하나를 게시하는 것만큼이나 간단할 수 있다.

사람들은 이 사실을 깨닫고 빠르게 돈벌이 기회를 포착했다. 나는 내 개인 웹사이트에 내 핫도그 먹기 대회 기량에 대한 단 한 편의 기사를 게시함으로써 이 문제를 입증할 수 있었다. 그 다음 날, 세계에서 가장 큰 기업들의 AI가 내 거짓말을 퍼뜨리고 있었다.

하지만 우리의 조사는 또한 의료용 보조제에 대한 건강상의 우려를 일축하거나 구글의 AI가 제공하는 은퇴 관련 재무 정보에 영향을 미치기 위해 동일한 속임수가 사용되고 있음을 발견했다. 전문가들은 이러한 종류의 조작이 광범위하고 체계적인 수준으로 일어나고 있다고 말한다.

(작성자: 토마스 저메인 / BBC 수석 기술 저널리스트)

원문 보기

원문 보기 (영어)

Google's AI is being manipulated. The search giant is quietly fighting back 5 hours ago Share Save Add as preferred on Google Thomas Germain A BBC investigation revealed a simple way AI chatbots are being made to spit out misinformation to the public. Google and other AI companies are now trying to fix the problem. I did something stupid back in February. I heard there was an easy way to poison AI chatbots and make them spread lies on your behalf. After some digging, I learned unscrupulous companies are abusing the problem on a massive scale. So I decided to try it myself. We uncovered examples where ChatGPT, Gemini and the AI Overviews at the top of Google Search were being manipulated to dole out biased answers on topics as serious as your health and personal finances. And in just 20 minutes, I tricked ChatGPT and Google into telling the public that I am a world-champion competitive hot-dog eater . The joke was dumb. The problem is serious. But the gimmick worked. Our investigation and the work of researchers who've been monitoring this issue sparked widespread criticism. Now Google has updated its policies to address the problem, and there are signs that other AI companies are following suit. Ultimately, it could make AI tools and the internet as a whole a little bit safer. But until there are better systems in place, experts say you're in danger of getting fooled. "You should assume that you're being manipulated until they have better systems in place," says Lily Ray, founder of the search engine optimisation (SEO) and AI search consultancy Algorythmic. "We're moving towards this 'one true answer' world. Before, Google would give you 10 blue links and you would kind of do your own research. But AI just gives you one answer. It becomes so easy to just take things at face value. You need to be careful." Google tells me that its policy update is just a "clarification" of the efforts it has been making for a while. "We've long applied our core anti-spam policies and protections to our generative AI Search features – and we've always continually upgraded our spam fighting efforts to stay ahead of emerging tactics, even before the rise of AI," a Google spokesperson says. Essentially, Google says it hasn't changed a thing. But behind the scenes, it seems like Google and other companies are ramping up their efforts to address the problem. Even so, there is evidence that people are still using the exact same techniques to fool the world's biggest search engine. The problem Typically, when you ask a chatbot a question, the AI generates a response based on the data built into the model. But sometimes, tools like ChatGPT, Claude and Google's various AI products search the internet for an answer. And that's where this problem happens. According to Ray and other search engine experts, AI tools often throw up information from a single web page or social media post. This leaves these systems vulnerable to bogus information. And it turns out manipulating what chatbots tell the public can be as simple as publishing one, well-crafted blogpost almost anywhere online. People figured this out and quickly identified a money-making opportunity. I was able to demonstrate the problem by publishing a single article on my personal website about my hot-dog-eating prowess. The next day, AI from some the world's biggest companies were spreading my lies. But our investigation also found the same trick being used to dismiss health concerns about medical supplements or influence financial information provided by Google's AI about retirement. Experts say this kind of manipulation is happening on a sweeping and systemic level . Keeping Tabs Thomas Germain is a senior technology journalist at the BBC. He writes the column Keeping Tabs and co-hosts the podcast The Interface . His work uncovers the hidden systems that run your digital life, and how you can live better inside them. Biased or inaccurate information like this can also lead you to make bad decisions. It can influence how you might vote or which plumber you hire. "At the most basic level, the concern is the economic impact," says Harpreet Chatha, who runs the SEO consultancy Harps Digital. "At a more serious level, you might take medical advice that makes you sicker than you were before. Legally, you might get bad information and do something that is not legal in your state or your country." A solution? This is not an insignificant problem. Globally, more than a billion people use AI chatbots regularly and 2.5 billion see Google's AI overviews each month. If you can subvert a tool like that, it gives you immense power. But it seems Google and other companies are finally waking up to the problem. Last week, Google updated its spam policies to officially confirm that attempts to manipulate AI responses are against the company's rules. It may sound like a small change, but it signals that Google is pro-actively looking for those who try to abuse the system and sending them a threat. If a company or website is caught breaking the rules, it could be removed from or downranked in Google's search results. And if you're not on Google, it's like you don't exist. Google says that I'm getting this wrong and nothing has changed. "The edit to our spam policy language last week was a clarification, not any change in approach," says Google's spokesperson. Indeed, Google detailed it's anti-spam AI efforts in 2025 . But I did my hot dog experiment almost a year later, so clearly those efforts weren't working. And just this week, an SEO specialist pulled the same stunt and made Google tell people he's good at building sandcastles . Ray and Chatha also say they've noticed some significant changes in recent months that indicate Google and other companies are experimenting with solutions. For example, Ray says it looks like Google and ChatGPT might be quietly removing companies from its AI answers when it suspects they're promoting themselves. "So if you publish a list where you say you're the greatest hot-dog-eater, they're not going to include your name," says Ray. "They might still cite your article, but you're going to be removed from consideration." I've personally noticed some examples where Google and other AI tools are adding more labels to their responses, letting you know that the chatbot isn't confident about its answers. Others have also noted that ChatGPT and Claude, an AI made by the company Anthropic , have started telling you explicitly that they're trying to root out spam in responses to some queries. Ray says she's noticed Google adding more caveats, recommending that you go look at third-party reviews when you ask questions related to some purchasing decisions. None of these companies would acknowledge these changes when I asked them. OpenAI and Anthropic declined to comment. Google's spokesperson didn't respond to my questions on this. More like this: • Is Google about to destroy the Web? • The ghosts of India's TikTok • People are selling your address online - this privacy tool will help Regardless, Chatha is sceptical changes like these will be enough. "Google is playing whack-a-mole," he says. "They're announcing [the policy update] to deter people, but the tactics will just move." He's already seeing it happen. As Google cracks down on manipulative blog posts, companies are finding subtler ways of promoting themselves. "You can give a company a penalty for their website," he says, "but there's nothing stopping them from paying 20 YouTube influencers to say their product is the best." And now, Google's AI is citing YouTube videos. The cycle continues. For the time being, the manipulators are likely to stay one step ahead. Ray says the best defence is to remember what AI actually is: a tool that confidently gives

AI 오용 및 보안 검색 엔진 최적화 구글 제미나이 가짜 뉴스 생성형 AI