수십억 달러 규모의 글로벌 오픈소스 AI 플랫폼인 허깅페이스(Hugging Face)가 동의 없는 성적 딥페이크 이미지 생성에 무방비 상태로 노출되어 있다는 연구 결과가 나왔습니다. 일반적인 이미지 편집 모델로 위장한 수많은 모델들이 기본적인 안전장치(Guardrails) 없이 여성의 누드 이미지를 쉽게 생성하고 있어, 플랫폼 차원의 강력한 규제와 필터링이 시급한 상황입니다.
스포티파이가 AI로 생성된 음악에 대한 명확한 라벨링이나 조치를 하지 않아 문제가 되고 있습니다. 실제 아티스트의 이름과 디자인을 도용하거나 인기를 악용해 수익을 창출하는 AI 음악 사기가 속출하고 있습니다. 이에 따라 일반 사용자들이 자발적으로 AI 음악을 추적·적발하는 데이터베이스와 탐지 도구를 구축하며 대응에 나선 상황입니다.
Mozilla 재단의 감사 결과, 대부분의 인기 생리 주기 추적 앱이 사용자의 민감한 건강 데이터를 제3자와 무단으로 공유하는 것으로 나타났습니다. 이와 함께 샌프란시스코 경찰국의 드론 감시 문제, 여성을 표적으로 한 딥페이크 합성 앱 규제, 거대 기업들의 AI 법제화 촉구 등 보안과 프라이버시를 위협하는 주요 이슈들이 한자리에서 다뤄졌습니다.
이번 주 '블로그 뒷이야기'에서는 AI 음악, 쓰레기 이미지(slop bowls), 그리고 끝없는 최적화 추구에 대해 다룹니다. 저자는 X(구 트위터)에서 유포되는 새롭고 기괴한 형태의 AI 비동의적 이미지를 심층 취재하여 기사를 준비 중인 과정을 공유합니다. 본 포스팅은 유료 멤버십 전용 콘텐츠로, 더 많은 심층 기사와 보너스 팟캐스트를 위해 유료 구독을 안내하고 있습니다.
기계학습(Machine Learning) 기술로 딥페이크 음성을 합성하여 사람의 목소리를 완벽하게 모방하는 AI 음성 사기가 전례 없는 속도로 확산하고 있습니다. FBI에 따르면 2025년 한 해 동안 AI 기반 사기로 인한 미국 내 피해액이 최소 8억 9,300만 달러에 달하며, 특히 60세 이상 고령층이 주요 표적이 되었습니다. 정교한 공격 기술과 대중의 인식 부재 간의 격차가 커져 금융 기관과 사법 당국이 대응에 어려움을 겪고 있습니다.
최근 온라인에서 확산된 미 상원의원 미치 맥코널의 병원 사진이 AI로 생성된 딥페이크로 판명되었습니다. 구글의 AI 워터마크 기술인 SynthID(신스ID)를 통해 해당 사진이 조작본임이 신속하게 밝혀졌습니다. 이는 주요 AI 기업들이 적극적으로 참여하는 워터마크 기술이 안티 딥페이크 기술로서 실질적인 성과를 거둔 중요한 사례입니다.
가족의 목소리를 AI로 복제해 몸값을 요구하는 등 진위를 가리기 힘든 AI 사기가 일반인을 표적으로 삼고 있습니다. 이에 대응하기 위해 보안 전문가들이 설립한 스타트업 '세이비(Savi)'가 700만 달러를 유치하고 실시간 사기 탐지 모바일 앱을 출시했습니다. 이 앱은 문자, 이메일, 전화 등을 통해 일어나는 교묘한 AI 사기로부터 일반 소비자를 보호하는 데 목적이 있습니다.
최근 월드컵 기간 중국 코미디언의 비디오를 활용한 엘링 홀란드의 가짜 딥페이크(Deepfake) 영상이 엄청난 조회수를 기록하며 확산했습니다. 이는 팬덤이 AI를 활용해 선수를 하나의 캐릭터로 소비하고, '팬덤 설정(fanon)'을 주도적으로 생성하는 스포츠 팬덤의 새로운 진화 양상을 보여줍니다. 단순한 딥페이크 우려를 넘어, 대중이 자발적으로 AI 생성 콘텐츠를 즐기고 수용하는 스타 마케팅 및 팬덤 문화의 변화를 시사합니다.
최근 출시된 게이 커뮤니티 데이팅 앱 '구스(Goose)'가 사용자 수를 늘리기 위해 AI로 생성한 가짜 인플루언서 계정들을 활용해 관심을 조장한 것이 아니냐는 논란에 휩싸였습니다. AI 탐지 도구를 통해 확인된 수십 개의 가짜 계정들이 잠재적 사용자에게 일관된 멘트로 DM과 인스타그램 친한 친구 스토리를 보내 앱 가입을 유도한 정황이 포착되었습니다. 이는 마케팅 및 PR 실무자들에게 AI 생성 콘텐츠(AIGC)가 어떻게 부정하게 활용될 수 있는지 보여주는 중요한 사례입니다.
최근 연구에 따르면, GPT-4 터보를 활용해 112명의 공인을 모방하게 한 결과, 실제 인물의 답변보다 더 진정성 있고 일관성 있으며 관련성 높은 답변을 생성해 대중을 기만할 수 있는 것으로 나타났습니다. 이는 정치적 의사결정과 여론 조작에 미칠 AI의 심각한 위험성을 시사하며, 일반 대중에게 이러한 기술의 잠재적 폐해를 경고해야 할 필요성을 강조합니다.
AI 이미지 생성 기술이 악용되어 실제로는 존재하지 않는 화려하고 기괴한 형태의 식물 씨앗을 판매하는 사기가 e커머스 플랫폼에서 크게 성행하고 있습니다. 사기꾼들은 AI가 만들어낸 허구의 이미지로 소비자를 현혹하여, 실제로는 잡초나 무관한 씨앗을 무더기로 판매하며 막대한 부당 이익을 취하고 있습니다. 이는 AI 기술이 콘텐츠의 신뢰성을 훼손하고 실질적인 경제적 피해를 유발하는 대표적인 사례로, 온라인 쇼핑 플랫폼의 규제 및 대응이 시급함을 보여줍니다.
2026년 북중미 월드컵을 겨냥한 사이버 범죄가 AI 기술을 악용하여 그 어느 때보다 정교해지고 있습니다. 범죄자들은 딥페이크와 대량으로 생성된 피싱 이메일, 정교한 가짜 웹사이트를 통해 티켓, 숙박, 비자 등과 관련된 사기를 저지르고 있습니다. AI가 공격자의 효율성을 극대화하여 대규모 피해가 우려되는 가운데, 보안 업계는 AI를 방어 도구로 활용하여 이에 대응해야 하는 과제를 안게 되었습니다.
아마존, H&M 등이 속한 유럽 소매업협회는 소파 등 기만 목적이 아닌 AI 생성 광고 이미지를 EU AI법의 딥페이크 표시 의무에서 제외해 달라고 요구하고 있습니다. 의류 플랫폼 잘란도(Zalando)의 마케팅 콘텐츠 90%가 이미 AI로 제작되는 등 업계에서 AI 활용이 폭발적으로 증가하고 있어, 현재의 모호한 딥페이크 규정이 실무에 큰 혼란을 주고 있습니다. 범죄와 연관된 딥페이크 개념에 일반 제품 광고 이미지까지 포함되는 현행법의 명확한 경계 설정이 필요한 상황입니다.
이 기사는 스티븐 스필버그의 가상 영화 '폭로의 날'을 비판하며, 현대의 발달한 AI와 딥페이크 생태계에서 외계인 영상이 진짜로 믿겨지지 않을 것이라고 분석합니다. 가상의 영화 속 외계인 존재 폭로가 인류를 하나로 묶는다는 설정은 현실의 냉소적인 정보 환경과 AI 기술의 발전을 고려할 때 비현실적이라는 평가를 받습니다. 결국 정보의 진위를 가리기 힘든 현대 사회에서 공식적인 폭로가 어떤 파급력을 낼 수 있는지에 대한 뼈아픈 통찰을 제공합니다.
기후 변화 속 전력 소모와 온실가스 배출을 줄일 수 있는 차세대 고체상 냉각 시스템의 가능성과 과제를 조명합니다. 또한, AI와 로봇 공학을 활용해 동물 맞춤형 약물을 개발하는 '보전 화학(Conservation chemistry)' 분야의 등장을 소개하며, 최신 AI 규제, 소셜 미디어 연령 제한, 딥페이크 문제 등 핵심 테크 뉴스를 함께 전달합니다.
일론 머스크의 xAI가 유해한 성적 딥페이크 방지 조치를 약속했음에도 불구하고, 그록(Grok) 챗봇을 통해 유명 여성 연예인과 정치인의 성적이고 비동의적인 딥페이크 이미지와 영상이 계속해서 생성되고 호스팅되고 있습니다. WIRED의 조사 결과 공개된 수백 개의 링크 중 수십 건이 온라인에 유통되고 있었으며, 경쟁사인 OpenAI나 구글 등에서는 차단하는 프롬프트 역시 그록에서는 무시되는 것으로 나타났습니다. 이는 AI 생성 도구의 안전장치 부재 및 기술 윤리의 심각한 후퇴를 보여주는 사례로, 실무자 및 정책 입안자들에게 매우 중요한 이슈입니다.
일론 머스크의 AI 기업 xAI가 자사의 '그록(Grok)'을 이용해 성적 허위 합성물(딥페이크) 피해를 입은 4명의 피해자들이 소송에서 익명을 유지할 수 있도록 했던 법원의 결정을 뒤집고 실명을 공개하라고 요청했습니다. 피해자 측 변호사는 xAI가 피해자들의 옷을 벗긴 데 이어 소송을 포기하게 만들려고 익명성마저 박탈하려 한다며 강하게 반발하고 있습니다. 이 사건은 생성형 AI가 무분별하게 유해 콘텐츠를 생성할 수 있는 심각성과 그로 인한 기업의 법적 책임을 보여주는 중요한 사례입니다.
구글이 안드로이드 기본 통화 앱에 AI 딥페이크를 이용한 사기 및 지인 사칭을 탐지하는 기능을 전격 도입했습니다. 기기 간의 자동화된 디지털 확인 과정을 통해 발신자의 신원을 실시간으로 검증하여 위험 시 즉시 통화를 끊으라는 경고를 제공합니다.
AI가 생성한 심층변조(Deepfake) 이미지가 초등 및 중고등학교 내에서 심각한 성적 괴롭힘 사태를 유발하고 있는 참담한 현실을 심층적으로 다룬 에디터의 비하인드 스토리입니다. 기사에 등장하는 많은 관계자들이 이 극도로 힘들고 충격적인 상황을 통해 처음으로 AI의 위험성을 인지하게 되었다고 전합니다. 생성형 AI 기술이 악용될 때 개인과 사회에 미칠 수 있는 파괴적인 영향력을 이해하고 대비해야 한다는 점에서 실무자 및 정책 입안자에게 시사하는 바가 큽니다.
유튜브는 이번 달부터 AI가 생성하거나 심하게 변조한 영상에 대해 시스템이 자동으로 'AI 생성 콘텐츠' 라벨을 부착하는 기능을 도입합니다. 라벨이 부착되더라도 영상 추천이나 수익 창출에는 영향을 주지 않지만, 크리에이터의 의도적인 숨김을 방지하기 위한 플랫폼의 제재력이 강화되었다는 점에서 중요합니다. 또한, 구글은 딥페이크 문제에 대응하기 위해 모든 성인 크리에이터를 대상으로 초상권 탐지 도구(Likeness Detection)를 전면 개방합니다.
AI가 수많은 군중과 대규모 공공 행사를 사실적으로 시뮬레이션할 수 있는 수준에 도달했습니다. 이제 중요한 것은 기술의 퀄리티 자체가 아니라, 사람들이 이를 창의적으로 활용하는 엄청난 속도입니다. 온라인상의 현실과 조작된 콘텐츠를 구분하기 점점 더 어려워질 것입니다.
한국 독자를 위해 요약한 이번 주 AI·기술 뉴스입니다. 고등학교를 휩쓴 딥페이크 사태와 미흡한 대응, 스쿨버스에 AI 감시 카메라를 설치하고 경찰 접근 권한을 제공하려는 'BusPatrol'의 계획, 그리고 감시 기업 'Flock' 퇴출 결정에 반발한 지역 의회의원의 논란을 다룹니다. 윤리적 논란과 감시 기술의 확장이라는 중요한 주제를 다루고 있어 주목할 필요가 있습니다.
유튜브가 크리에이터의 수동 공개에만 의존하던 기존 방식을 넘어, 시스템 내부 신호를 통해 사실적인 AI 생성 영상을 자동으로 감지하고 라벨을 부여하는 기능을 도입했습니다. 새로운 AI 라벨은 영상 설명창이 아닌 플레이어 하단이나 쇼츠 화면에 직접 표시되어 시인성을 크게 높였으며, 이 조치는 AI 딥페이크로 인한 혼란을 방지하고 플랫폼 내 콘텐츠 투명성을 강화한다는 점에서 매우 중요합니다.
교황 레오 14세가 '마뉘피카 휴마니타스(Magnifica Humanitas)'라는 첫 AI 회칙을 발표했습니다. 이 회칙은 표면적으로는 AI를 다루고 있지만, 실제로는 소수 엘리트에게 집중된 권력, 불평등 심화, 민주주의 훼손 등 AI로 인해 증폭된 근본적인 사회적 모순을 비판합니다. 기술 발전이 공동선을 위해 투명하게 통제되어야 한다고 촉구하는 이 문건은 AI 정책 및 규제 동향을 주시하는 실무자들에게 중요한 윤리적, 사회적 관점을 제공합니다.
구글 제미나이(Gemini) 앱의 신규 '아바타(Avatar)' 기능을 통해 사용자의 외모와 목소리를 닮은 AI 딥페이크 영상을 생성해 보았습니다. 단 5분 만에 얼굴 스캔을 통해 디지털 복제인간을 만들어냈으며, 실제와 소름 돋도록 유사한 퀄리티에 동시에 놀라움과 거부감을 느꼈습니다. 이 기능은 오픈AI 소라(Sora)와 유사하지만 본인의 아바타로만 영상을 제작할 수 있다는 강력한 안전장치를 두고 있다는 점이 특징입니다.
미국 펜실베이니아주의 래드노 고등학교에서 남학생이 AI 딥페이크 앱을 이용해 5명의 여학생 얼굴을 합성한 성적 허위 영상을 제작해 동료들에게 유포한 사건이 발생했습니다. 학교 측의 미온적인 대처와 피해자 격리 조치 등은 학교 밖 일어난 사이버 성폭력에 대해 학교가 어디까지 책임져야 하는지에 관한 법적·사회적 논쟁을 촉발시켰습니다. 이 사건은 딥페이크 기술이 청소년들 사이에서 얼마나 쉽게 악용될 수 있는지 보여주며, 교육 당국의 실효성 있는 보호 정책과 대응 지침이 시급함을 시사합니다.
실시간 딥페이크 앱 'Delulu'를 악용해 한 스트리머가 유명 인플루언서로 위장해 성희롱 및 혐오 발언을 해 큰 논란이 일었습니다. 이 사건은 저비용 고효율의 실시간 AI 변장 기술이 악용될 경우 심각한 명예훼손과 딥페이크 범죄로 이어질 수 있음을 보여줍니다. 따라서 스트리밍 플랫폼 및 AI 개발사의 실시간 모델에 대한 적절한 사용 정책과 규제 마련이 시급한 과제로 떠올랐습니다.
오픈AI는 자사 AI 모델로 생성된 이미지를 쉽게 식별하고 추적할 수 있도록 C2PA 메타데이터 표준 채택 및 구글과 협력한 보이지 않는 워터마크(SynthID) 두 가지 조치를 발표했습니다. 메타데이터와 워터마크는 서로의 단점을 보완하여, 악의적인 조작 및 딥페이크 문제에 강력하게 대응하는 출처 증명 체계를 구축합니다. 또한 사용자가 이미지의 AI 생성 여부를 직관적으로 검증할 수 있는 공개 도구도 함께 프리뷰 공개되었습니다.
구글이 연례 개발자 회의인 I/O에서 AI 영상 및 이미지 생성 툴인 'Flow'에 자신의 외형을 그대로 구현한 '아바타(Avatar)' 기능을 추가했습니다. 새롭게 탑재된 'Omni Flash' 모델을 통해 사용자는 별도의 촬영 없이도 자신과 똑같이 생긴 AI 딥페이크를 영상 속에 자연스럽게 등장시킬 수 있습니다. 이는 차세대 콘텐츠 크리에이터를 위한 도구를 넘어, 자연어 기반의 에이전트 및 '바이브 코딩(Vibe Coding)'을 대중화하려는 구글의 포괄적인 AI 전략의 일환입니다.
유튜브가 AI를 활용해 크리에이터의 얼굴을 무단 도용한 딥페이크 영상을 탐지하는 기능을 만 18세 이상 모든 크리에이터에게 전면 공개합니다. 이 도구는 영상 내 무단 합성 얼굴을 식별해 표시하며, 크리에이터가 유튜브 스튜디오에서 직접 개인정보 보호 가이드라인에 따라 삭제를 요청할 수 있게 돕습니다. 백그라운드에서 지속적으로 모니터링을 수행하여 가짜 영상으로 인한 시청자의 혼란을 방지하는 것이 핵심입니다.