404 Media • 24일 전

AI 감시카메라를 속이는 '디지털 위장' 셔츠

IMP

6/10

핵심 요약

독일 예술가 지몬 베크트가 AI 감시카메라의 사람 인식을 무력화하는 '디지털 위장' 패턴 셔츠를 공개했습니다. 오픈소스 이미지 인식 알고리즘 YOLO를 반복적으로 교란시켜 패턴을 설계했으며, 베를린 경찰이 코트부서 토르역에 설치한 AI 감시카메라에 대한 대응으로 만들어졌습니다. 경찰이 사용하는 알고리즘을 공개하지 않아 실제 효과는 확인하기 어렵지만, YOLO 계열 알고리즘에는 실효성이 있는 것으로 확인됐습니다.

번역된 본문

나는 거대한 화면으로 영상을 송출하는 카메라 앞에 서 있다. 카메라에서 작동 중인 이미지 인식 AI가 내 주위에 초록색 상자를 크게 그린다. "PERSON(사람)"이라고 표시된다. 예술가 지몬 베크트(Simon Weckert)가 자신의 최신 작품을 건네주는데, 초록색과 분홍색의 흐릿한 꽃무늬 덩어리가 그려진 버튼다운 셔츠다. 셔츠를 몸 앞에 대자 상자와 "PERSON"이라는 단어가 사라진다. 셔츠를 치우면 상자가 다시 나타난다. 다시 대면 또 사라진다. 이것이 바로 '디지털 위장(digital camouflage)'이며, 알고리즘을 혼란에 빠뜨린 것이다.

베크트는 시야에 있는 사람, 차량, 동물, 자전거 등 다양한 객체를 감지하는 AI 감시카메라의 확산에 대응하여 디지털 위장을 디자인했다. 이런 AI 카메라 대부분은 사람이 누워 있는지, 배회·싸움 같은 '이상 행동(anomalous behavior)'이나 방치된 가방이 있는지 감지할 수 있으며, 이는 경찰 출동으로 이어질 수 있다.

이런 카메라는 전 세계에서 이미 상당히 보편화되어 있지만, 베크트가 이 작품을 만들게 된 직접적인 계기는 최근 베를린의 인기 지하철역인 코트부서 토르(Kotbusser Tor) 밖에 경찰이 이런 유형의 카메라를 배치했기 때문이다. 이는 이 도시에서 경찰이 운영하는 최초의 객체 인식 감시카메라다.

"사람들이 이를 싫어하는 것은 당연합니다. AI가 사람들의 움직임과 행동을 추적한다는 뜻이니까요. 카메라 뒤에서 누군가 지켜보는 것과는 다른 차원의 문제로, 이제는 AI가 이런 분석을 수행합니다"라고 베크트는 말했다. "누군가 바닥에 누워 있는지 감지할 수 있다는 것은 노숙인이 탐지되어 경찰이 출동할 수 있다는 의미입니다."

베크트는 베를린 카메라의 문제 중 하나가 어떤 이미지 인식 기술을 사용하는지 정확히 알 수 없다는 것이라고 지적한다. 하지만 많은 이미지 인식 카메라가 오픈소스 이미지 인식 알고리즘 계열인 YOLO(You Only Look Once)의 변형을 사용한다. 그래서 베크트는 자신의 카메라에 YOLO를 설치하고 다양한 랜덤 패턴을 반복 실험하며 알고리즘을 혼란시키려 했다.

그는 랜덤 패턴으로 시작해 YOLO 알고리즘에 보여주며 사람으로 인식하는지, 그리고 얼마나 확신하는지 확인한다고 설명했다. "YOLO가 100%를 반환하면 그 패턴은 작동하지 않는다는 뜻입니다. 그런 다음 단계별로 패턴을 바꾸고, 특정 부분을 회전시키고, 색상을 변경하고, 뒤집는 등의 작업을 합니다. 매번 '그래디언트 어센트(gradient ascent)'라는 기법을 활용해 이것이 사람이라는 확신도가 얼마나 되는지 물으며 '사람' 범주에서 벗어나려고 합니다. 그러다 갑자기 이 패턴을 몸에 걸친 사람이 알고리즘이 이해할 수 없어서 사람으로 탐지되지 않게 됩니다."

베크트는 이미 화제를 불러일으킨 여러 프로젝트를 진행한 바 있다. 그가 이전에 모더보드(Motherboard)에서 다뤄졌던 프로젝트 중에는 GPS가 활성화된 휴대폰 여러 대를 빨간 수레에 담아 베를린 거리를 천천히 끌고 다니며 구글 지도에 가상 교통 체증을 만든 사례가 있다.

디지털 위장은 얼굴 인식 카메라로부터 사람의 얼굴을 숨기려는 다른 예술가들의 프로젝트나, 허무한 번호판 그래픽으로 만든 셔츠로 자동 번호판 인식 카메라를 교란하려는 시도와 맥을 같이한다. 수년에 걸쳐 AI 감시 기술이 발전하면서 이런 기법들이 실제로는 더 이상 통하지 않는 경우도 많아졌지만, 적어도 현재로서는, 그리고 널리 사용되는 YOLO 알고리즘에서는 디지털 위장이 효과가 있다.

베크트는 핵심 문제 중 하나로 경찰이 어떤 알고리즘을 사용하는지 구체적으로 밝히지 않아, 코트부서 토르의 카메라에 자신의 셔츠가 효과가 있는지 말하기 어렵다는 점을 들었다. "문제는 이 카메라 시스템 뒤에 어떤 기술이 있는지 우리가 모른다는 것입니다. 그래서 이 티셔츠가 이 특정 카메라 시스템에 대해 100% 효과가 있다고 주장할 수는 없지만, 매우 공개적이고 유명한 YOLO 알고리즘에는 효과가 있다는 것은 말할 수 있습니다."

그는 패션 브랜드가 시즌별 신상을 내놓듯 자신의 디지털 위장도 계속 업데이트할 것이라고 말했다. "새로운 YOLO가 나올 때마다 새로운 패턴이 나올 겁니다. 패션의 여름·겨울 컬렉션처럼 여기서는 'YOLO 에디션'마다 새로 선보이는 겁니다."

원문 보기

원문 보기 (영어)

I am standing in front of a camera that’s streaming to a giant video screen. The image recognition AI running on the camera puts a big green box around me. “PERSON,” it says. Artist Simon Weckert hands me his newest creation, a button-down shirt with flowery, blurry globs of green and pink. I put the shirt in front of me. The box and the word “PERSON” disappears. I pull the shirt away. The box pops back up. I put the shirt in front of me. It disappears. This is “ digital camouflage ,” and it has confused the algorithm. Weckert designed digital camouflage as a response to the proliferation of AI-powered surveillance cameras that detect people, vehicles, animals, bicycles, and other objects in their field of view. Many of these AI-powered cameras can detect when a person is lying down, “ anomalous behavior ” such as people loitering, people fighting, or an abandoned package, which can lead to a police response. These cameras are already relatively commonplace around the world, but Weckert created it because police recently deployed these types of cameras outside of Kotbusser Tor , a popular subway stop in Berlin. They are the first police-run object recognition surveillance cameras in the city. “Obviously people don’t like it because it means that AI is tracking the movements and behaviors of people. It’s one thing to have somebody behind the camera watching you, but now we have AI doing this kind of analysis,” Weckert told me. “It can detect if somebody’s laying on the ground so that means homeless people could be detected and police get triggered.” Weckert says one of the problems with Berlin’s cameras is that it’s not clear exactly which image recognition it’s running. But many image recognition cameras run a variation of YOLO (You Only Look Once), a family of open source image recognition algorithms . So Weckert installed YOLO on his own camera and began trying to confuse it by iterating on different types of random patterns. He starts with a random pattern he said, and shows it to the YOLO algorithm to see if it detects a human, and with how much certainty. “When YOLO returns 100%, I know the pattern obviously isn’t working,” he said. “And then step-by-step, I change the pattern, I rotate certain parts of the pattern, change the colors, flip it so on and so forth. And every time we ask how much confidence do you have this is a person using something called gradient ascent to get away from the category of a person. And then suddenly you as a person, with the pattern on you, aren’t detected as a person because the algorithm can’t make sense of it.” Weckert has done a series of buzzy projects before. Back at Motherboard, we covered the virtual traffic jam he created on Google Maps by sticking a bunch of GPS-enabled cell phones in a red wagon and walking slowly through the streets of Berlin. Digital camouflage sits alongside projects by other artists intended to hide people’s faces from facial recognition cameras or to confuse automated license plate reader cameras with shirts made of nonsense license plate graphics. Over the years, AI surveillance has improved to a point where many of these techniques don’t actually work anymore, but for the moment, digital camouflage does, at least on the very popular YOLO algorithms. Weckert said one of the major problems is that police won’t say specifically what algorithm they’re using, making it difficult to say whether his shirts work on the cameras at Kotbusser Tor. “The problem is that we don’t know what technology is behind these camera systems, so therefore I cannot claim 100 percent that the t-shirt works against this specific camera system, but I can say I know it works for the very public and famous YOLO algorithm,” Weckert said. He said that just as fashion brands have seasonal updates, so too will his digital camouflage “Every time there’s a new YOLO, a new pattern will come out. Just like in fashion, the summer winter collection, here it’s the every YOLO edition.” He said the project is not just intended to help people avoid surveillance, but to teach people about it and to show people there’s lots of ways to protest and push back against it. “It’s to give them the feeling that there are actually certain tools we can use against surveillance. It's not like we just have to accept what the lawmakers and police are doing.” About the author Jason is a cofounder of 404 Media. He was previously the editor-in-chief of Motherboard. He loves the Freedom of Information Act and surfing. More from Jason Koebler

AI 감시 YOLO 디지털 위장 적대적 공격 프라이버시