메뉴
BL
MIT Tech Review 12일 전

안두릴과 메타의 전쟁용 스마트 글래스 개발

IMP
8/10
핵심 요약

방산 기업 안두릴은 메타와 협력하여 군사 작전용 증강현실(AR) 헤드셋을 프로토타입으로 개발하고 있으며, 시선 추적과 음성 명령을 통해 드론 공격을 지시하는 등 인간과 기기를 하나로 연결하는 사이보그형 전투 시스템을 구상하고 있습니다. 이 프로젝트는 구글 제미나이, 메타 라마 등 대형 언어 모델(LLM)을 탑재해 자연어 명령을 처리하고 안두릴의 소프트웨어 '래티스(Lattice)'를 통해 드론 및 전장 데이터를 통합합니다. 이 기술은 전장의 정보 과부하를 줄이고 군인의 결정을 돕는 것을 목표로 하지만, 실전 배치는 수년이 소요될 예정입니다.

번역된 본문

방산 기술 기업 안두릴(Anduril)은 메타(Meta)와 협력하여 프로토타입을 개발 중인 군사용 증강현실(AR) 헤드셋에 대한 새로운 세부 정보를 공유했습니다. 여기에는 시선 추적 및 음성 명령을 통해 드론 공격을 지시하는 비전이 포함되어 있습니다. 육군 특수작전사령부에서 복무한 후 안두릴에서 부사장으로 이 프로젝트를 이끌고 있는 쿠이 바넷(Quay Barnett)은 그의 근본적인 목표가 '인간을 무기 체계로 최적화하는 것'이라고 밝혔습니다. 이 비전은 의심할 여지 없이 사이보그에서 영감을 받았습니다. 바넷은 드론과 군인이 함께 보고, 정보를 원활하게 공유하며, 하나의 유기체처럼 의사결정을 내리기를 원합니다.

실제로 안두릴은 이와 관련된 두 가지 프로젝트를 진행 중입니다. 첫 번째는 육군의 '솔저 본 미션 커맨드(Soldier Born Mission Command, SBMC)' 프로젝트로, 안두릴은 작년에 메타와 협력하여 기존 군용 헬멧에 부착할 AR 글래스를 개발하는 1억 5,900만 달러 규모의 프로토타입 생산 계약을 따냈습니다. 하지만 안두릴은 10월에 발표한 자체 자금 조달 프로젝트를 통해 '이글아이(EagleEye)'라는 자체 헬멧 및 헤드셋 콤보를 디자인하는 작업에도 착수했습니다. 이는 군이 요청한 것은 아니지만, 안두릴은 군이 결국 이를 선호하고 구매할 것이라고 확신합니다.

현재까지 두 시스템 모두 실전 배치까지는 수년이 걸릴 예정입니다. 육군이 SBMC 프로그램의 최우선 선택을 생산 단계로 넘기는 것은 (그들이 하나를 선택한다고 가정할 때) 2028년이 되어야 할 것으로 예상됩니다. (이전에 이 프로젝트를 이끌었던 마이크로소프트는 220억 달러 규모의 생산 계약을 받을 예정이었으나, 기기의 실용성이 입증되지 않아 결국 계약이 취소되었습니다.) 하지만 바넷은 MIT 테크놀로지 리뷰와의 인터뷰에서 안두릴의 두 프로토타입이 나아갈 방향에 대해 설명했습니다.

상황에 따라 두 프로토타입의 글래스는 특정 정보를 군인의 시야에 오버레이하여 투사할 것입니다. 이는 단순한 나침반일 수도 있고, 지역의 전체 지도, 근처 드론의 비행 위치, 트럭과 같은 표적에 대한 AI 기반 인식과 같은 복잡한 정보일 수도 있습니다. 그런 다음 군인은 자연어로 인터페이스에 명령을 내릴 수 있습니다. 예를 들어 부상자의 후송을 지시하거나, 출입 금지 구역을 고려하여 이동 경로를 계획하도록 요청할 수 있습니다. 안두릴은 현재 구글의 제미나이(Gemini), 메타의 라마(Llama), 그리고 미 국방성과의 갈등에도 불구하고 앤스로픽(Anthropic)의 클로드(Claude)까지 테스트하며, 대형 언어 모델(LLM)을 사용하여 군인의 음성을 소프트웨어가 따를 수 있는 명령어로 번역하는 데 활용할 계획입니다. 이 모든 것을 작동시키는 엔진은 안두릴의 소프트웨어인 '래티스(Lattice)'가 될 것입니다. 래티스는 다양한 군사 하드웨어의 데이터를 하나의 그림으로 통합하는 역할을 합니다. 육군은 올해 3월, 기본적으로 전체 인프라에 래티스를 통합하는 데 200억 달러를 지출하겠다고 발표했습니다.

바넷의 팀은 다단계 작업을 수행할 수 있도록 헤드셋을 디자인하고 있습니다. 군인은 드론을 파견하여 특정 지역을 정찰시키고, 포병 부대로 보이는 것을 발견하면 돌아오도록 지시할 수 있습니다. 그러면 시스템은 근처 드론을 보내 타격하는 것과 같은 행동 방안을 권장하며, 이는 기존의 지휘 계통을 통해 승인을 받아야 합니다. 모든 것이 계획대로 된다면, 이 시스템을 조작할 때 음성이 필요하지 않을 수도 있습니다. 대신 군인은 추적된 시선 움직임과 미세한 터치를 통해 시스템과 소통할 수 있습니다. 어쨌든 그것이 목표입니다. 바넷은 초기 프로토타입에서는 이 방식이 작동했지만, 아직 육군이 대규모로 테스트할 수 있는 버전은 준비되지 않았다고 말합니다. 부품은 3월에 도착하기 시작했습니다. 연방 군사 조달 규정 때문에 이러한 부품들은 메타의 상업용 스마트 글래스와 달리 중국 기업에 의존하지 않는 새로운 공급망이 필요했습니다.

랜드연구소(RAND)에서 육군의 신기술 도입 노력을 연구하는 수석 정책 연구원으로 재직 중인 전직 미 해병대원 조나단 웡(Jonathan Wong)은, 이미 정보 과부하로 고통받고 있는 군인들에게 이는 너무 큰 부담이라고 말합니다. 두 스마트 글래스 프로젝트 모두 적절한 시간에 올바른 정보만 제시하는 깔끔한 인터페이스를 만드는 것을 목표로 합니다. 하지만 이 제품이 주의를 절약하는 것보다 더 많은 주의를 요구한다면 군인들은 이를 거부할 것입니다. "주변 환경을 인식하는 동시에 자신과 소속 부대 전체에 도움이 되는 방식으로 이 기술을 조작하기 위해 얼마나 많은 정신적 대역폭을 확보해야 할까요?"라고 그는 말합니다. 웡은 덧붙였습니다.

원문 보기
원문 보기 (영어)
The defense-tech company Anduril has shared new details about the augmented-reality headset for the military it’s prototyping with Meta, including a vision for ordering drone strikes via eye-tracking and voice commands. Quay Barnett, who leads the efforts as a vice president at Anduril following a career in the Army’s Special Operations Command, says his fundamental goal is to optimize “the human as a weapons system.” The vision is undoubtedly cyborg-inspired: Barnett wants drones and soldiers to see together, share information seamlessly, and make decisions as one. Anduril actually has two such projects in the works. The first is the Army’s Soldier Born Mission Command, or SBMC, for which the company won a $159 million prototyping contract last year to work with Meta on augmented-reality glasses to attach to existing military helmets. But Anduril has also embarked on a self-funded side quest, announced in October, to design its own helmet and headset combo called EagleEye. This is something the military has not asked for, but Anduril insists it will prefer it and purchase it in the end. So far, both systems are years away. The Army isn't expected to move its top choice for the SBMC program into production until 2028, if it picks one at all (the previous lead for the effort, Microsoft, was set to receive a $22 billion production contract that was ultimately cancelled when the glasses didn't prove viable). But Barnett told MIT Technology Review about where both Anduril's prototypes are headed. Depending on the situation, the glasses for either prototype will overlay certain information onto a soldier’s field of view. This might be as simple as a compass or as complex as an entire map of the area, information about where nearby drones are flying, or AI-driven recognition of a target like a truck. The soldier would then speak to the interface in plain language—for example, to order an evacuation for someone who’s been injured or to plan a route taking into account which areas are off limits. A large language model—Anduril is in tests with Google’s Gemini, Meta’s Llama, and even Anthropic’s Claude, despite the company’s conflict with the Pentagon—will be used to help translate a soldier’s speech into commands the software can follow. And the engine for it all will be Anduril’s software Lattice, which incorporates data from lots of different military hardware into one picture. The Army announced in March that it would spend $20 billion to integrate Lattice with essentially its entire infrastructure. Barnett’s team is designing the headset to carry out multi-step tasks. A soldier might send a drone to surveil an area and instruct it to come back once it’s found something that looks like an artillery unit; then the system would recommend courses of action, like sending a nearby drone to strike, that would have to be approved by the normal chain of command. Leading the system through this, if all goes to plan, might not even require speech; the soldier could instead communicate through tracked eye movements and subtle taps. That’s the idea, anyway. It's worked on early prototypes, Barnett says, but there aren’t yet versions ready for the Army to test at scale. The component parts began arriving in March. Because of federal military contracting rules, these parts—unlike Meta’s commercial smart glasses—required new supply chains that don’t rely on Chinese companies. It’s a lot for soldiers already bogged down in information overload, says Jonathan Wong, a former US Marine who works as a senior policy researcher at RAND on Army efforts to buy new tech. Both smart glasses projects aim to create a clean interface that presents only the right information at the right time. But it’s a product that soldiers will reject if it costs more of their attention than it saves. “How much mental bandwidth do you have to be both aware of your surroundings and to operate this technology in a way that makes you and your whole unit better?” he says. Wong recalls that as a platoon commander, for example, he had a radio that operated on three different channels at once. “The moment that two people were on different channels talking at the same time, I immediately couldn’t comprehend anything that either one of them was trying to tell me, and I was probably not aware of my own surroundings,” he says. “I think there are limits to what you can take in.” Ideally, Barnett says, smart glasses can ease that information overload. Anduril’s approach is to get creative with ways the user can access necessary information quickly. Voice commands and eye tracking are a piece of that strategy. But even if it’s all technically feasible, it might take years of field testing to know if the system is actually useful for soldiers, Wong says. Such a system would mark a major escalation in how closely soldiers rely on imperfect AI systems. While computer vision models used to identify objects have long been employed by militaries, and chatbots have recently entered decision-making during the war in Iran, these technologies have not yet made their way to most frontline soldiers. A smart glasses system tasked with identifying threats and recommending strikes would introduce massive new risks of errors. Anduril is not the only one competing to develop smart goggles for combat. Rivet, which specializes in wearable sensors for the military, received a $195 million prototyping contract the same time, and in March the Israeli defense-tech company Elbit received its own $120 million contract. This all comes after Microsoft lost its role leading the Army’s smart glasses effort, following a Pentagon audit that found the Army wasn't properly testing the glasses, a mistake that could have wasted $22 billion. For both Anduril's prototypes, the company is testing a new system for digital night vision, which uses electronic sensors and algorithms to boost low levels of light. It’s been a promised technology for decades but has tended to work too slowly for practical use and produce grainy images. Anduril says it has found improvements over previous prototypes through techniques rooted in both new generative AI and older machine learning. Much of the other hardware for both projects is being built by Meta, including the displays and the waveguides that send visuals to the user’s eye without blocking the view. That might be a surprise to anyone who knows the backstory: In 2017, Facebook (now Meta) ousted Anduril founder Palmer Luckey following an internal conflict involving his support for Donald Trump. The two are now back in the augmented-reality business together, while Mark Zuckerberg has also adopted a friendlier posture toward the second Trump administration. For the Army initiative, this suite of smart glasses, night vision, and sensors will be attached to the helmets and other gear soldiers already wear, with a separate battery pack. The EagleEye version will instead incorporate the tech into the helmet itself. Even if the Army doesn't prefer EagleEye in the end, Barnett says, Anduril will attempt to sell the system to foreign militaries. Multiple challenges must still be overcome. Unlike Meta’s Ray-Ban glasses, the prototypes have to operate in an environment full of dust, explosions, and smoke. Adding the computing power and battery life they need also means more weight for soldiers already carrying upwards of 100 pounds. Then the technology has to work in environments without ubiquitous 5G cell connections; powerful computer vision and AI models will need to run locally on the device. For the Army to want to buy it at scale, “it’s got to work, and it’s got to be pretty seamless,” Wong says. “It’s a high bar.” Deep Dive Artificial intelligence OpenAI is throwing everything into building a fully automated researcher An exclusive conversation with OpenAI’s chief scientist, Jakub Pachocki, about his firm's new grand challenge and the future of AI. By Will Douglas Heaven archive page Want to understand the