스탠퍼드 대학 기숙사·식당 운영 부서(R&DE)가 광고 이미지에 AI를 사용해 학생의 인종과 성별을 바꾸고 다른 학생들의 얼굴을 더 말랐게 보이도록 변형한 사실이 드러났다. 원본 사진에서 제거된 학생은 자신의 정체성이 지워졌다며 실망감을 표했으며, 이 사건은 생성형 AI 활용의 윤리적 문제와 제도적 편향 논란을 불러일으키고 있다.
실제 사진과 AI 생성 이미지를 구별하는 60초 짜리 게임 형식의 인터랙티브 콘텐츠입니다. 이미지당 10초 안에 진짜 사진인지 AI 생성인지 판단해야 하며, 3연속 정답 시 콤보가 해금되는 등 게임적 요소가 있습니다. 생성형 AI 이미지의 사실성이 눈에 띄게 향상됨에 따라 인간의 육안 판별력이 얼마나 한계에 부딪히는지 체험하게 해주는 콘텐츠입니다.
404 Media의 'Behind the Blog' 코너로, 이번 주 주요 기사 제작 과정의 뒷이야기를 다룹니다. 기자 에마누엘은 스포티파이에서 실제 아티스트 이름으로 유포되는 AI 생성 음악 문제를 조사하며, 그 심각성과 광범위함에 다시 한번 충격을 받았다고 전합니다. AI 콘텐츠가 디지털 음악 유통 시스템을 악용하는 사례가 매우 만연하다는 점이 이번 이슈의 핵심입니다.
뉴욕 지방검사가 AI로 만든 유명인 무단 음란물(딥페이크)을 유통한 웹사이트 12곳을 압수했다. 약 1,200명의 사진이 성적 이미지·영상으로 변조된 사상 최대 규모 압수로, 뉴욕은 2023년부터 성적 딥페이크를 형사처벌하는 법을 시행 중이다. 미국 전역에서 딥페이크 단속이 강화되는 흐름을 보여주는 사건이다.
뉴욕 맨해튼 지검이 비동의 성인 딥페이크 영상을 유포·판매해 온 웹사이트 12곳의 도메인을 압수했으며, 피해자는 약 1,200명(대부분 여성)에 달합니다. 이는 2017년 딥페이크 기술 등장 이래 최대 규모의 성인 딥페이크 사이트 단속으로, 미국 'Take It Down Act' 등 법 집행 강화의 중요한 사례입니다.
WIRED가 입수한 새 연구에 따르면 최근 수년간 유럽 전역의 정치인 약 150명이 유해한 딥페이크 포르노 웹사이트에 표적이 되었으며, 압도적으로 여성 의원들이 많았다. EU 22개국 여성 의원 138명 이상이 해당 사이트에 등장했고, 남성 의원은 9명에 불과해 여성 의원이 표적이 될 확률이 33배 높은 것으로 나타났다. 연구자들은 이러한 성향의 딥페이크가 여성의 정치 진출을 위축시키고 민주주의를 훼손할 수 있다고 경고한다.
뉴욕주 공화당 지사 후보 브루스 블레이크먼이 NYC 시장 조란 맘다니와 주지사 케이시 호컬을 AI로 생성한 괴상한 영상을 SNS에 게시해 논란이 되었습니다. 뉴욕주 민주당은 '기만적 AI 콘텐츠 표시 의무' 선거법 위반으로 선거관리위원회에 조사를 요청했으나, 블레이크먼 측은 풍자·패러디 면책 조항을 근거로 반박하고 있습니다.
친크렘린 텔레그램 채널들이 우크라이나 국회의원 두 명의 AI 생성 딥페이크 영상을 유포해 전쟁을 한탄하고 평화 협상을 촉구하는 것처럼 조작했습니다. 해당 영상들은 2주 만에 13만 회 조회되며 AI가 선전 도구로 악용되는 실태를 보여줍니다. 이러한 딥페이크는 적발 여부와 관계없이 허위 메시지 확산과 공공 정보 신뢰 훼손이라는 목적을 달성한다는 점에서 더욱 위험합니다.
AI가 생성한 가짜 동물 영상과 사진이 인터넷에서 가장 큰 기쁨과 연민의 원천이던 동물 콘텐츠를 오염시키고 있습니다. 실종 반려동물 사기에 AI 이미지가 악용되는 사례와, 진짜 동물 관련 저널리즘 단체들이 신뢰를 지키기 위해 고군분투하는 상황이 소개됩니다. 가짜 콘텐츠가 더 저렴하게 대량 생산되면서 진짜 콘텐츠를 밀어내고 있어, 콘텐츠 신뢰성 검증과 출처 인증 기술의 중요성이 커지고 있습니다.
WIRED는 학생들이 생성형 AI로 만든 성적 허위 이미지(딥페이크)로 피해를 입은 여러 미국 교사들의 사례를 보도했습니다. 캘리포니아의 대리교사 루이스 데산티아고는 자신의 사진이 변조된 부적절한 이미지가 소셜미디어에 확산되며 두 학교에 걸친 괴로움을 겪었고, 안전을 느끼지 못해 근무 지역으로 복귀하지 않기로 했습니다. 이는 AI 이미지 생성 기술이 학교 현장에서 교사와 학생 모두에게 심각한 피해를 주고 있으며, 'Take It Down Act' 같은 법적 대응의 중요성을 보여줍니다.
딥페이크 이후 등장한 새로운 형태의 합성 매체인 '서틀페이크(subtlefake)'가 X(구 트위터)에서 확산하고 있습니다. 유명인의 실제 사진을 AI로 미묘하게 수정해 더 선정적으로 보이게 만든 이 이미지들은 기존 딥페이크보다 구별이 어렵고 더욱 그럴듯해 보입니다. 문제는 기술만 발전하는 것이 아니라 이를 악용하는 사람들의 수법도 정교해지고 있다는 점이며, X는 참여 유치형 계정에 노출 기반 보상을 지급하며 이러한 문제를 사실상 방치하고 있습니다.
딥페이크 탐지 전문 기업 GetReal의 공동창업자이자 PhotoDNA 개발자인 하니 파리드(Hany Farid)와 2017년 이후 딥페이크 기술의 진화와 그것이 우리의 현실 인식에 미친 영향을 돌아보고 향후 전망을 논의하는 팟캐스트 에피소드다. PhotoDNA는 온라인의 유해 이미지를 자동 탐지·삭제하는 지각적 해싱 알고리즘으로 전 세계 주요 인터넷 플랫폼에서 사용되고 있다.
인터폴(INTERPOL) 보고서에 따르면, 아프리카 전역의 사이버 범죄 중 55% 이상이 AI를 악용해 발생하고 있으며, 이로 인한 금융 피해 규모는 1년 만에 두 배 이상 급증했습니다. 범죄자들은 딥페이크, 합성 신원 생성, 정교한 비즈니스 이메일Compromise, BEC) 등에 AI를 활용하고 있어 글로벌 방어 및 보안 담당자들의 고도화된 대응이 시급합니다.
인터폴(Interpol)의 최신 보고서에 따르면, 아프리카에서 보고된 사이버 범죄의 55%가 AI와 관련이 있으며 AI는 사이버 범죄의 핵심 동력으로 자리 잡았습니다. 범죄자들은 피싱, 생체 인식 우회용 가짜 신분 생성, 딥페이크를 이용한 디지털 협박 등 사이버 공격의 모든 단계에 AI를 자동화 도구로 활용하고 있습니다. 이로 인해 지난 2024년 1억 9,200만 달러였던 재정적 피해 규모는 4억 8,400만 달러로 급증했으나, 인터폴의 강력한 단속으로 100명 이상이 체포되는 등 적극적인 대응에도 나섰습니다.
구글이 구글 어스(Earth)에 나노 바나나(Nano Banana 2) AI를 도입하여 사용자가 위성 사진을 기반으로 맞춤형 장면을 쉽게 생성할 수 있도록 했으나, 며칠 만에 가짜 위성 이미지 남용 논란으로 기능을 철회했습니다. 멕시코 국경 난민 행렬이나 가자지구 폭격 병원 등 매우 사실적인 가짜 이미지가 쉽게 만들어져 SNS에 유포되면서 신뢰도에 큰 타격을 줄 수 있음이 드러났기 때문입니다. 이 사건은 조작된 정보 생성(Disinformation)을 막기 위한 강력한 안전장치 없이 이미지 생성 AI를 도입할 경우 발생할 수 있는 심각한 리스크를 보여줍니다.
SK하이닉스의 파격적인 성과급 소식에 삼성전자 반도체 연구원들의 대규모 이탈이 시작되며, 차세대 AI 반도체 시장의 패권을 좌우할 인재 전쟁이 치열해지고 있습니다. 동시에, 딥페이크 남용 문제와 AI 수익성에 대한 투자자들의 우려로 인해 과열되었던 AI 시장의 거품이 점차 가라앉고 있습니다.
수십억 달러 규모의 글로벌 오픈소스 AI 플랫폼인 허깅페이스(Hugging Face)가 동의 없는 성적 딥페이크 이미지 생성에 무방비 상태로 노출되어 있다는 연구 결과가 나왔습니다. 일반적인 이미지 편집 모델로 위장한 수많은 모델들이 기본적인 안전장치(Guardrails) 없이 여성의 누드 이미지를 쉽게 생성하고 있어, 플랫폼 차원의 강력한 규제와 필터링이 시급한 상황입니다.
스포티파이가 AI로 생성된 음악에 대한 명확한 라벨링이나 조치를 하지 않아 문제가 되고 있습니다. 실제 아티스트의 이름과 디자인을 도용하거나 인기를 악용해 수익을 창출하는 AI 음악 사기가 속출하고 있습니다. 이에 따라 일반 사용자들이 자발적으로 AI 음악을 추적·적발하는 데이터베이스와 탐지 도구를 구축하며 대응에 나선 상황입니다.
Mozilla 재단의 감사 결과, 대부분의 인기 생리 주기 추적 앱이 사용자의 민감한 건강 데이터를 제3자와 무단으로 공유하는 것으로 나타났습니다. 이와 함께 샌프란시스코 경찰국의 드론 감시 문제, 여성을 표적으로 한 딥페이크 합성 앱 규제, 거대 기업들의 AI 법제화 촉구 등 보안과 프라이버시를 위협하는 주요 이슈들이 한자리에서 다뤄졌습니다.
이번 주 '블로그 뒷이야기'에서는 AI 음악, 쓰레기 이미지(slop bowls), 그리고 끝없는 최적화 추구에 대해 다룹니다. 저자는 X(구 트위터)에서 유포되는 새롭고 기괴한 형태의 AI 비동의적 이미지를 심층 취재하여 기사를 준비 중인 과정을 공유합니다. 본 포스팅은 유료 멤버십 전용 콘텐츠로, 더 많은 심층 기사와 보너스 팟캐스트를 위해 유료 구독을 안내하고 있습니다.
기계학습(Machine Learning) 기술로 딥페이크 음성을 합성하여 사람의 목소리를 완벽하게 모방하는 AI 음성 사기가 전례 없는 속도로 확산하고 있습니다. FBI에 따르면 2025년 한 해 동안 AI 기반 사기로 인한 미국 내 피해액이 최소 8억 9,300만 달러에 달하며, 특히 60세 이상 고령층이 주요 표적이 되었습니다. 정교한 공격 기술과 대중의 인식 부재 간의 격차가 커져 금융 기관과 사법 당국이 대응에 어려움을 겪고 있습니다.
최근 온라인에서 확산된 미 상원의원 미치 맥코널의 병원 사진이 AI로 생성된 딥페이크로 판명되었습니다. 구글의 AI 워터마크 기술인 SynthID(신스ID)를 통해 해당 사진이 조작본임이 신속하게 밝혀졌습니다. 이는 주요 AI 기업들이 적극적으로 참여하는 워터마크 기술이 안티 딥페이크 기술로서 실질적인 성과를 거둔 중요한 사례입니다.
가족의 목소리를 AI로 복제해 몸값을 요구하는 등 진위를 가리기 힘든 AI 사기가 일반인을 표적으로 삼고 있습니다. 이에 대응하기 위해 보안 전문가들이 설립한 스타트업 '세이비(Savi)'가 700만 달러를 유치하고 실시간 사기 탐지 모바일 앱을 출시했습니다. 이 앱은 문자, 이메일, 전화 등을 통해 일어나는 교묘한 AI 사기로부터 일반 소비자를 보호하는 데 목적이 있습니다.
최근 월드컵 기간 중국 코미디언의 비디오를 활용한 엘링 홀란드의 가짜 딥페이크(Deepfake) 영상이 엄청난 조회수를 기록하며 확산했습니다. 이는 팬덤이 AI를 활용해 선수를 하나의 캐릭터로 소비하고, '팬덤 설정(fanon)'을 주도적으로 생성하는 스포츠 팬덤의 새로운 진화 양상을 보여줍니다. 단순한 딥페이크 우려를 넘어, 대중이 자발적으로 AI 생성 콘텐츠를 즐기고 수용하는 스타 마케팅 및 팬덤 문화의 변화를 시사합니다.
최근 출시된 게이 커뮤니티 데이팅 앱 '구스(Goose)'가 사용자 수를 늘리기 위해 AI로 생성한 가짜 인플루언서 계정들을 활용해 관심을 조장한 것이 아니냐는 논란에 휩싸였습니다. AI 탐지 도구를 통해 확인된 수십 개의 가짜 계정들이 잠재적 사용자에게 일관된 멘트로 DM과 인스타그램 친한 친구 스토리를 보내 앱 가입을 유도한 정황이 포착되었습니다. 이는 마케팅 및 PR 실무자들에게 AI 생성 콘텐츠(AIGC)가 어떻게 부정하게 활용될 수 있는지 보여주는 중요한 사례입니다.
최근 연구에 따르면, GPT-4 터보를 활용해 112명의 공인을 모방하게 한 결과, 실제 인물의 답변보다 더 진정성 있고 일관성 있으며 관련성 높은 답변을 생성해 대중을 기만할 수 있는 것으로 나타났습니다. 이는 정치적 의사결정과 여론 조작에 미칠 AI의 심각한 위험성을 시사하며, 일반 대중에게 이러한 기술의 잠재적 폐해를 경고해야 할 필요성을 강조합니다.
AI 이미지 생성 기술이 악용되어 실제로는 존재하지 않는 화려하고 기괴한 형태의 식물 씨앗을 판매하는 사기가 e커머스 플랫폼에서 크게 성행하고 있습니다. 사기꾼들은 AI가 만들어낸 허구의 이미지로 소비자를 현혹하여, 실제로는 잡초나 무관한 씨앗을 무더기로 판매하며 막대한 부당 이익을 취하고 있습니다. 이는 AI 기술이 콘텐츠의 신뢰성을 훼손하고 실질적인 경제적 피해를 유발하는 대표적인 사례로, 온라인 쇼핑 플랫폼의 규제 및 대응이 시급함을 보여줍니다.
2026년 북중미 월드컵을 겨냥한 사이버 범죄가 AI 기술을 악용하여 그 어느 때보다 정교해지고 있습니다. 범죄자들은 딥페이크와 대량으로 생성된 피싱 이메일, 정교한 가짜 웹사이트를 통해 티켓, 숙박, 비자 등과 관련된 사기를 저지르고 있습니다. AI가 공격자의 효율성을 극대화하여 대규모 피해가 우려되는 가운데, 보안 업계는 AI를 방어 도구로 활용하여 이에 대응해야 하는 과제를 안게 되었습니다.
아마존, H&M 등이 속한 유럽 소매업협회는 소파 등 기만 목적이 아닌 AI 생성 광고 이미지를 EU AI법의 딥페이크 표시 의무에서 제외해 달라고 요구하고 있습니다. 의류 플랫폼 잘란도(Zalando)의 마케팅 콘텐츠 90%가 이미 AI로 제작되는 등 업계에서 AI 활용이 폭발적으로 증가하고 있어, 현재의 모호한 딥페이크 규정이 실무에 큰 혼란을 주고 있습니다. 범죄와 연관된 딥페이크 개념에 일반 제품 광고 이미지까지 포함되는 현행법의 명확한 경계 설정이 필요한 상황입니다.
이 기사는 스티븐 스필버그의 가상 영화 '폭로의 날'을 비판하며, 현대의 발달한 AI와 딥페이크 생태계에서 외계인 영상이 진짜로 믿겨지지 않을 것이라고 분석합니다. 가상의 영화 속 외계인 존재 폭로가 인류를 하나로 묶는다는 설정은 현실의 냉소적인 정보 환경과 AI 기술의 발전을 고려할 때 비현실적이라는 평가를 받습니다. 결국 정보의 진위를 가리기 힘든 현대 사회에서 공식적인 폭로가 어떤 파급력을 낼 수 있는지에 대한 뼈아픈 통찰을 제공합니다.