404 Media • 18시간 전

애플 아이메시지, 강아지 영상을 음란물로 오탐지

IMP

5/10

핵심 요약

애플의 아이메시지 민감한 내용 감지 기능이 강아지나 사슴 사진을 음란물로 오탐지하는 사례가 잇따라 발생하고 있습니다. 이는 기기 내부에서 작동하는 기계 학습 모델의 한계를 보여주는 사례입니다. 메시지 내용 스캔 기술이 지니는 오작동 가능성을 확인할 수 있다는 점에서 중요합니다.

번역된 본문

한 친구가 보낸 동영상 속에는 그녀의 개가 등을 대고 누워 다리를 공중에 쳐들고 있고, 친구가 개의 가슴을 쓰다듬는 장면이 담겨 있습니다. (매우 중요한 프라이버시 때문에 이름은 밝히지 않겠습니다.) 그 개의 머리부터 배까지 대부분을 볼 수 있습니다. 자세히 들여다보면 사진에 개의 젖꼭지가 일부 포함되어 있다는 것을 알 수 있습니다. 애플의 아이메시지(iMessage)는 이 동영상을 매우 부적절하다고 생각하여 노출이 포함될 수 있다고 지정하고 흐릿하게 처리했습니다.

다른 사람이 아이메시지를 통해 이 동영상을 받았을 때, 앱은 "이 항목은 민감할 수 있습니다."라는 메시지를 표시했습니다. 그들은 등을 대고 누워 쓰다듬어지는 개의 동영상을 보기 위해 일부러 눌러서 확인해야만 했습니다. 분명히 이것은 아이메시지의 노출 감지 기능이 의도한 사용 사례가 아닙니다. 이 기능은 사용자가 원치 않거나 일방적으로 발송되는 누드 사진 및 동영상을 수신하는 것으로부터 스스로를 보호할 수 있도록 설계되었습니다. 하지만 내 친구 개의 사례는 이 기능이 때때로 동영상을 잘못 분류할 수 있다는 것을 보여줍니다.

애플의 웹사이트에 따르면 "민감한 콘텐츠 경고(Sensitive Content Warning)를 사용하면 사진이나 동영상을 보기 전에 노출이 포함되어 있을 수 있다는 경고를 받을 수 있습니다." 애플은 몇 년 전 iOS 17에 이 기능을 도입했습니다. 분명히 메시지와 콘텐츠를 스캔하는 것은 논란의 여지가 있지만, 애플은 기기 자체에서 스캔을 수행한다고 밝힙니다. 사용자는 설정에서 이 기능을 끌 수도 있습니다.

웹사이트는 추가적으로 "민감한 콘텐츠 경고는 기기 내 기계 학습을 사용하여 사진과 동영상을 분석합니다. 기기에서 분석하기 때문에 애플은 노출이 감지되었다는 지표를 받지 않으며 결과적으로 사진이나 동영상에 대한 액세스 권한도 얻지 않습니다."라고 설명합니다.

개 동영상 사례가 결코 단발적인 사건이 아닙니다. 2025년 5월 애플 포럼에서 발견한 또 다른 글이 있습니다. 제목은 "왜 제 강아지 사진이 아이메시지에서 민감한 콘텐츠 경고를 트리거했나요?"라고 적혀 있습니다.

💡 비슷한 문제를 겪어보셨나요? 여러분의 제보를 기다립니다. 업무용이 아닌 개인 기기를 이용해 Signal(joseph.404)로 안전하게 메시지를 보내거나 joseph@404media.co로 이메일을 보내주세요.

게시자는 이렇게 작성했습니다. "아이메시지 그룹 챗에 사진 3장을 보내려고 했습니다. 전송 버튼을 누른 후 민감한 콘텐츠 경고를 받았습니다... 그 사진은 제 강아지 몸통이었고, 다른 두 장은 괜찮았습니다. 혼란스럽고 이 문제를 제보하고 싶습니다. 여러분께 알려드릴 점은 저는 단지 이 문제를 제보하고 싶을 뿐이라는 것입니다. 그냥 잘못된 민감한 콘텐츠 경고가 오간 것 같습니다."

2024년 10월에 올라온 게시물도 있습니다. "사슴 사진이 민감한[sic] 것으로 표시되었습니다."

게시자는 이렇게 작성했습니다. "민감할 수 있는 것으로 표시되었고, 전송 여부를 묻는 팝업이 나타났습니다. 그건 야생 동물 카메라에 찍힌 사슴 사진입니다."

애플은 논평 요청에 응답하지 않았습니다.

저자 소개: 조셉(Joseph)은 사회적 파급력을 창출하는 데 중점을 둔 수상 경력이 있는 탐사 보도记者입니다. 그의 보도는 수억 달러의 벌금을 유도하고, 기술 회사들을 폐업하게 만드는 등 다양한 영향을 미쳤습니다. 조셉의 기사 더 보기

원문 보기

원문 보기 (영어)

In a video my friend’s dog is laying on her back, her little paws in the air, while my friend rubs the dog’s chest. You can see most of the dog — who I’m not naming for very important privacy reasons — from her head to her belly. On closer inspection, you’ll notice the picture includes some dog nipples. Apple’s iMessage thought this video was so inappropriate that it flagged the video as potentially containing nudity and blurred it. When someone else received the video over iMessage, the app displayed the message “This may be sensitive.” They had to purposefully tap to reveal the video of a dog laying on her back being petted. This, obviously, is not the intended use case for iMessage’s nudity detection features. They are designed to let people protect themselves against receiving unwanted or unsolicited nude photos and videos. But the case of my friend’s dog shows how this feature can sometimes misclassify videos. “Sensitive Content Warning lets you receive warnings about photos or videos that might contain nudity before viewing them,” Apple’s website reads . Apple introduced the feature in iOS 17 a few years ago. Obviously, scanning the content of messages and content is controversial, but Apple says it performs the scan on the device. Users can also turn the feature off in the settings. “Sensitive Content Warning uses on-device machine learning to analyze photos and videos. Because they're analyzed on your device, Apple doesn't receive an indication that nudity was detected and doesn't get access to the photos or videos as a result,” its website adds. The dog video isn’t an isolated incident either. Here’s another I found on an Apple forum from May 2025: “Why did a photo of my dog trigger a sensitive content warning on iMessage?” the title reads. 💡 Have you come across similar issues? I would love to hear from you. Using a non-work device, you can message me securely on Signal at joseph.404 or send me an email at joseph@404media.co. “So I was going to send 3 photos to a group chat I had on iMessage. After I pressed the send button, I got a sensitive content warning… the photo was one of my dog’s body, the other two were fine though. I’m confused and I wanted to report this problem. Just so you all know I’m just looking to report this problem. I think it was just a false and mistaken sensitive content warning,” the poster wrote. There is also this one from October 2024: “A picture of a deer was flagged as sensetive [sic] .” “This was flagged as possibly sensitive, and a pop-up appeared asking me If I wanted to send it. That is a picture of a deer from a trail camera,” the poster wrote. Apple did not respond to a request for comment. About the author Joseph is an award-winning investigative journalist focused on generating impact. His work has triggered hundreds of millions of dollars worth of fines, shut down tech companies, and much more. More from Joseph Cox

애플 아이메시지 오탐지 민감한-콘텐츠-경고 기계학습