메뉴
HN
Hacker News • 7일 전

미군, AI 환각 보고서로 중국 선박 오폐 직전

IMP
9/10
핵심 요약

미 특수작전사령부 소속 분석가가 챗봇으로 작성한情报 보고서에서 중국 선박이 핵무기 프로그램 부품을 운송한다고 잘못 식별해, 미군이 무장 병력과 항공기를 동원한 나포 작전 직전까지 갔던 것으로 밝혀졌다. 보고서는 '완전히 거짓'이었으며 '전쟁을 일으킬 뻔했다'는 증언이 나왔다. 이 사건은 전시 상황에서 AI 표적 식별 활용의 심각한 위험을 보여준다.

번역된 본문

미 육군 병사들이 2026년 4월 무인 항공 시스템 훈련을 수행하고 있다.

이란과의 전쟁이 한창이던 지난 봄, 미군 전역에 유포된 이 정보 보고서는 즉시 비상이 걸리게 만들었다: 중동의 한 중국 선박이 핵무기 프로그램의 부품을 운송하고 있다는 내용이었다. 이 사건에 익숙한 네 명의 소식통에 따르면, 미군은 해당 선박을 요격하는 계획에 따라 즉시 움직였다. 이 중 두 소식통에 따르면 무장한 미군 요원들이 선박에 승선할 준비를 하고 있었고, 군용 항공기도 이미 공중에 떠 있었다.

계획된 작전 직전에야 관리들이 특수작전사령부 소속 분석가가 작성한 보고서를 더 깊이 파고들었고, 그 결과 이 보고서가 인공지능(AI)의 도움을 받아 작성되었으며, 분석가가 사용한 챗봇이 선박이 실은 화물을 부정확하게 식별했다는 사실을 발견했다. CNN은 잘못 식별된 화물이 무엇이었는지 확인할 수 없었다. 한 소식통에 따르면 이 보고서는 '완전히 거짓'이었다. 하지만 동시에 '전쟁을 일으킬 뻔했다'고 해당 소식통은 말했다. 중국 선박에 대한 미군 작업은 두 국가 간 무력 충돌로 확전될 위험이 있었다.

미군과 정보기관 전반에서 관리들은 방대한 원시 정보 분석과 타격 표적 선정부터 예산, 물류, 공급망 관리 같은 일상적인 업무까지 거의 모든 업무에 AI를 접목하려고 노력하고 있다. 하지만 이번 사건은 전쟁 중 표적 식별에 이 강력하고 새롭고 상대적으로 잘 이해되지 않는 기술을 사용하는 것의 심각한 위험을 부각시킨다. 분석가들은 국가가 잘못되거나 오염된 데이터에 의존할 경우 AI가 재앙적인 오판으로 이어질 수 있다는 우려를 오래전부터 해왔다 — 부정확한 정보를 근거로 미국이 중국 선박에 발포하게 만들 수 있는 그런 오판 말이다.

이 특정 사례에서 분석가는 하와이에 기반을 둔 미 태평양 특수작전사령부(USSOCOM Pacific)에서 시작된 선박 적하목록 관련 정보 보고에 대해 챗봇에 질의했다. 해당 챗봇이 상업용인지 미국 정부 제품인지는 명확하지 않았다. 군 및 정보 분석가들이 사용하는 AI 시스템을 잘 아는 전직 미 고위 관리는 '내부 도구들은 대부분 상업용 제품에 립스틱만 발라놓은 복제품'이라고 말했다.

해당 봇은 공개출처정보(OSINT)와 정부가 보유한 기밀 신호정보(SIGINT)를 결합해 선박 화물에 관한 치명적인 결론에 도달했다. 분석가는 다시 AI를 사용해 이 발견사항을 군 관리들이 신뢰하는 표준 정보 보고서 형식으로 패키징해 유포했다. 미 태평양 특수작전사령부와 펜타곤은 코멘트 요청에 응답하지 않았다.

AI를 신속히 도입하는 논리는 AI가 어떤 표적을 타격할지, 어떤 군사 자산을 어디로 이동할지 같은 전장 결정을 더 빠르게 내리도록 돕는다는 것이다. 관리들은 미국이 언젠가 중국이나 잠재적으로 미국보다 한발 앞설 수 있는 다른 적과 싸워야 할 경우를 대비해 AI 통합에서 뒤처질 여유가 없다고 말한다. 1월, 피트 헤그세스 국방장관은 군의 AI 사용을 가속화하기 위해 '인공지능 가속 전략'을 발표했다. 헤그세스는 전략 발표 연설에서 '우리는 실험을 촉진하고, 관료제 장벽을 제거하고, 투자를 집중하며, 군사 AI에서 우리가 선도하도록 보장하는 데 필요한 실행 접근 방식을 입증할 것'이라고 말했다. 이 전략은 또한 군 전반에 걸친 광범위한 AI 사용을 추진하며 해당 부처에 명령한다…

원문 보기
원문 보기 (영어)
US Army soldiers conduct unmanned aerial system training in April 2026. National security AI See all topics Facebook Tweet Email Link Threads Link Copied! Follow The intelligence report, circulated across the US military this spring in the midst of the war with Iran, immediately set off alarm bells: A Chinese ship in the Middle East was transporting components of a nuclear weapons program. The US military swung into action with plans to intercept the vessel, according to four sources familiar with the episode. According to two of the sources, armed members of the US military were preparing to board the ship. Military planes were in the air, one of those sources and another source familiar with the incident said. It was only just before the planned operation that officials dug deeper into the report put together by a special operations command analyst and found it had been generated with the help of artificial intelligence (AI) — and that a chatbot the analyst had used inaccurately identified the material the ship was carrying. CNN was not able to learn what the misidentified cargo was. The report, according to one of the sources, was “entirely false.” But it also “almost started a war,” the source said. Any US operation against a Chinese vessel could have risked spiraling into an armed conflict between the two nations. Across the US military and the intelligence community, officials are pushing to weave AI into nearly every facet of their work, from analyzing the huge volumes of raw intelligence the US collects and selecting targets for strikes, to more mundane applications like managing budgeting, logistics and supply chains. But the episode underscores the profound risks of using this powerful, new and relatively poorly understood technology for targeting in the middle of a war. Analysts have long feared that AI could lead to a catastrophic miscalculation if nation states are relying on poor or corrupted data — the kind of miscalculation that might lead the United States to fire on a Chinese ship based on inaccurate information. In this particular instance, the analyst queried a chatbot about some intelligence reporting on the ship’s manifest that originated with US Special Operations Command Pacific, based in Hawaii. It was not clear whether the chatbot was a commercially available one or a US government product. “The internal tools are mostly just copies of the commercial stuff wearing lipstick,” a former senior US official familiar with the AI systems used by military and intelligence analysts. The bot fused together open-source intelligence with secret signals intelligence in government holdings and reached its fateful conclusion about the material the ship was carrying. The analyst then used AI again to package the findings into a standard intelligence report — the kind that is trusted by military officials — and disseminated it. US Special Operations Command Pacific and the Pentagon did not respond to a request for comment. The rationale for the rapid adoption of AI is that it can help the military make battlefield decisions, like which targets to strike or which military assets to move where, faster. Officials say the US can’t afford to fall behind in integrating AI in case it must one day fight China or another adversary who would potentially be able to stay one step ahead of the US. In January, Defense Secretary Pete Hegseth released his agency’s “Artificial Intelligence Acceleration Strategy” in a bid to speed up the military’s use of AI. “We will unleash experimentation, eliminate bureaucratic barriers, focus our investments and demonstrate the execution approach needed to ensure we lead in military AI,” Hegseth said in a speech announcing the strategy . Secretary of War Pete Hegseth testifies during a Senate Appropriations Committee hearing in the Dirksen Senate Office Building on Capitol Hill on July 21, 2026 in Washington, DC. The strategy also pushes for its broad use across the military, ordering the department to make AI available via several programs with the aim of “democratizing AI experimentation and transformation across the Department by putting America’s world-leading AI models directly in the hands of our three million civilian and military personnel, at all classification levels,” a memo announcing the strategy said . But the effort is decentralized, multiple US officials familiar with the dynamic said, with different parts of the government using different tools under different orders and safety standards. There’s no one set of standards for how the US verifies the information generated by these tools. The constellation of different AI systems being deployed by disparate corners of the military and intelligence community means that the relative reliability and functionality vary widely. For weeks, Washington policymakers have been intensely debating AI after a series of dire warnings from Silicon Valley engineers and tech CEOs of the possibility that AI could break free of human constraints, with potentially civilization-ending consequences. But the episode with the Chinese ship underscores a different, and more immediate risk: human beings making disastrous decisions based on inaccurate or misleading information generated by AI or other automated systems. Sources said that the military is rapidly turning to AI to help with targeting, an area which holds the obvious risk of fatal mistakes. “AI in targeting is definitely something that is ramping up and there is no real guidance for how having a human in the loop will prevent civilian casualties or fratricide,” another source familiar with the military’s current policies said. The kind of “ hallucination ” that the tool used by the analyst in this case conjured has not been an isolated incident across the intelligence community since these tools began proliferating across government, according to one of the sources. For some older intelligence officials — even those who broadly support the use of AI inside the military — AI has put pressure on analysts to produce and disseminate intelligence faster, opening the door for mistakes. Young analysts in particular, several sources said, are natives on these tools and more likely to trust them uncritically. “AI allows you to get to a bad idea faster,” one of the sources said. National security AI See all topics Facebook Tweet Email Link Threads Link Copied! Follow