AI가 생물무기를 설계·제조해 인류를 위협할 것이라는 우려가 커지고 있지만, 많은 과학자들은 실제 병목은 AI가 아니라 바이러스 조립에 필요한 장비·재료·전문 지식이라고 지적한다. 스탠퍼드와 Anthropic의 연구 결과에도 불구하고, 전문가들은 완전 자율 실험실이 아직 존재하지 않고 인간의 검증 단계가 남아 있어 현실적 위험은 낮다고 본다. 다만 악의적 행위자의 AI 악용 가능성과 장기적 위험은 여전히 경계해야 한다.
번역된 본문
실리콘밸리부터 워싱턴 D.C.까지, AI가 초래할 종말론에 대한 우려가 절정에 달하고 있다. 통제를 벗어난 AI가 인류를 멸망시킬 방법에 대한 대표적 이론 중 하나는 바로 생물화학무기다. 지난여름 AI 기업 CEO들은 합성 DNA 제조를 규제하는 새로운 법률을 촉구했다. 그리고 지난달 스탠퍼드대학교와 Arc Institute의 연구진은 AI가 새로운 바이러스 유전체를 설계할 수 있음을 보여주었다. 이러한 우려는 지난주 Anthropic이 Claude를 생물무기 개발을 '지원할 수 있는' 방식으로 활용하려는 시도가 있었다는 보고서를 발표하면서 더욱 커졌다. 보고서 작성자들은 생물학적 악용을 '프론티어 AI 모델의 가장 심각한 위험 중 하나'로 꼽았다. 직후 CEO 다리오 아모데이는 정부가 AI 연구소의 '프론티어 속도를 조절'하도록 도와달라고 촉구했다.
그러나 AI가 만들어낸 치명적 전염병에 대한 경보에도 불구하고, 많은 과학자들은 이 위험이 세계가 직면한 우려 목록에서 그리 높은 순위는 아니라고 말한다. 캘리포니아 서니베일에 있는 Institute of Foundation Models의 연구과학자 데이비드 벨러미는 생물무기 창출과 관련해 AI를 근본적으로 새로운 위협으로 보지 않는다. 과학계는 수십 년 동안 잠재적으로 위험한 생물학 연구를 출판해야 하는지에 대한 문제, 즉 '이중용도 딜레마(dual-use dilemma)'를 고민해왔다. 그는 대규모 언어 모델이 등장하기 전에도 인터넷 자체, 오픈액세스 과학 저널, 구글 번역 같은 서비스가 실험 프로토콜을 포함한 생물학 정보에 대한 접근을 쉽게 만들었다고 지적한다.
그는 "AI는 본질적으로 선한 행위자(과학자)와 위협 행위자 모두가 정보를 더 빨리 훑어보고 프로토콜을 더 빨리 정의하고 확보하도록 돕는 도구"라고 덧붙인다. "하지만 그런 능력은 생물무기 제작의 진짜 병목이 아닙니다." 진짜 병목은 바이러스나 다른 생물학적 제제를 조립하는 과정과 그에 필요한 원자재, 장비, 지식이라고 그는 말한다. 악의적 행위자는 필요한 유전자 조각을 확보하고 처음부터 전체 유전체를 구축한 다음, 그 바이러스가 인간을 감염시키고 원하는 질병을 일으키며 사람 간 전파가 가능한지 검증해야 한다. 로봇 실험실 조수는 일부 작업을 자동화하고 작업 흐름을 어느 정도 가속할 수 있지만, 여전히 실험을 수행할 노하우와 자원을 갖춘 사람이 필요하다.
바이오테크 스타트업 Ginkgo Bioworks의 CEO 제이슨 켈리는 인공일반지능(AGI)이 기존 병원체를 장악해 확산시키는 것은 물론, 새로 설계해 배치하는 것조차 가능성이 낮다고 본다. Ginkgo Bioworks는 자율 실험실 구축을 전문으로 하며, 최근 OpenAI와 함께 GPT-5 모델이 실험실을 운영하는 프로젝트를 진행했다. "AI는 실험실을 장악할 수 없었다"고 그는 말한다. 그 이유 중 하나는 실험실 안에서 일하는 인간이 생물무기를 물리적으로 제조하기 위해 봇이 요청하는 물질과 장비의 제공을 거부하면 그만이기 때문이다. 이렇게 견제 역할을 하는 성가신 인간들이 존재한다는 것은, AGI가 정교한 바이러학 작업을 수행할 기계들을 배치하려면 "곳곳에 훨씬 더 많은 로봇이 있어야 한다"는 뜻이라고 그는 덧붙인다.
면역학자 데리야 우누트마즈 역시 인간이 AGI의 치명적 질병 개발 시도를 저지할 수 있다고 말한다. 설사 사악한 초지능이 어떻게든 슈퍼바이러스를 퍼뜨리더라도, 과학자들이 다른 AI 시스템을 활용해 신속히 백신을 개발할 수 있을 것이라고 그는 주장한다.
한편, 현재 AGI가 독자적으로 생물무기를 사용하는 것이 실제 위협이라고 보지 않는 사람들 중에서도 악의적 행위자의 기술 악용 가능성과 앞으로 벌어질 일에 대해 우려하는 이들이 있다. 기술 싱크탱크 Institute for Progress의 바이오테크 펠로우인 올리비아 샤프먼은 이렇게 말한다. "완전 자율 실험실이 아직 존재하지 않기 때문에 오늘날 AI가 완전 자율 실험실에 접근해 자율적으로 바이러스를 만드는 것은 불가능합니다. 하지만 저는…"
Comment Loader Save Story Save this story Comment Loader Save Story Save this story Concerns about an AI-induced apocalypse are reaching a fever pitch , from Silicon Valley to Washington, DC. One of the top theories about how a rogue AI will wipe us out ? Biological weapons. Earlier this summer, AI CEOs called for new laws to control the manufacturing of synthetic DNA. Then last month, researchers at Stanford University and the Arc Institute showed that AI can design new viral genomes . The idea gained steam last week after Anthropic released a report indicating that there had been efforts to use Claude in ways that “could support biological weapons development. “The report authors cite biological misuse as “one of the most serious risks of frontier AI models.” Shortly thereafter, chief executive officer Dario Amodei urged the government to help AI labs “pace the frontier.” Despite the alarm around an AI-created killer plague, many scientists say the risk is fairly low on the list of the world’s concerns. David Bellamy, a research scientist at the Institute of Foundation Models in Sunnyvale, California, does not see AI as a fundamentally new threat when it comes to the creation of bioweapons. The scientific community has grappled for decades with the question of whether to publish potentially dangerous biological research—known as the dual-use dilemma. Before large language models, the internet itself, open-access science journals, and translation services like Google Translate made it easier for people to access biological information, including lab protocols, Bellamy says. “AI is essentially a tool that can help both good actors, like scientists, and also threat actors to peruse information more quickly and define and source those protocols more quickly,” he adds. “But those capabilities are not really the bottleneck in the production of bioweapons.” The real bottleneck, he says, is the process of assembling a virus or other biological agent and the raw materials, equipment, and knowledge that would be needed to do so. A bad actor would need to obtain the necessary gene fragments and build a whole genome from scratch, then verify that the virus can infect humans, cause the desired illness, and be transmissible from person to person. Robotic lab assistants can automate some tasks and speed up workflows to a point, but a person would still need the know-how to run those experiments and the resources to carry them out. Jason Kelly, the CEO of the biotech startup Ginkgo Bioworks, thinks it’s unlikely an artificial general intelligence could commandeer and disseminate existing pathogens, let alone engineer new ones and deploy them. Ginkgo Bioworks specializes in creating autonomous labs and recently ran a project with OpenAI where its GPT-5 model ran a lab. “The AI could not take over the lab,” he says, in part because the humans who worked inside could simply decline to get the bot whatever substances and equipment it was requesting to physically produce a bioweapon. All those pesky humans acting as checks mean “you’d have to have dramatically more robots all over the place,” he says, for an AGI to be able to deploy machines to do the often-delicate virology work required. Immunologist Derya Unutmaz likewise says humans would be able to thwart any attempts by AGI to develop a deadly disease. Even if a nefarious super intelligence did somehow manage to unleash a supervirus, he argues that scientists would be able to use other AI systems to swiftly develop a vaccine. Still, even some people who don’t think that AGI independently siccing a bioweapon on us right now is a real threat are concerned about bad actors using the technology as well as what might happen down the line. “It is impossible for AI to access a fully autonomous lab and autonomously build a virus today because fully autonomous labs do not exist yet,” says Olivia Scharfman, a biotechnology fellow at the technology think tank Institute for Progress. “But I do think that an AI could pay someone to do it for them.” She thinks AI-assisted bioterrorism is an immediate threat and that there are some groups that might be nihilistic enough to do so, including “transhumanist AI successionists,” people who buy into a fringe ideology who hope to supplant humans with bots. Other experts aren’t so worried about an AI bioweapon because they don’t think that biological warfare makes much sense methodologically. “The risks tend to be somewhat misunderstood,” genetic biologist and professor of computational biology Francois Belloux tells WIRED, noting that people tend to “overestimate the value of pathogens as weapons.” Setting aside the AGI of it all, Belloux says that bioweapons are simply not an especially attractive choice for aspiring genocidaires, especially as it’s difficult to target certain groups and spare others, and mass-producing and distributing pathogens is logistically complicated versus, say, launching a bomb. “If you want to kill people, there are much, much, much better ways to kill them than to try to engineer some virus or bacterium and then release it,” he says—whether you’re the most sophisticated artificial mind ever created or just a regular human. With AI bringing the threat of bioweapons into focus, Scharfman says this is the right moment to push for better protections against all biological threats, including existing pathogens like H1N1. That could include high-level actions like passing legislation to enhance security protocols around DNA synthesis technology, but she also advocates for changes to mitigate risk from all viruses, like upgrading air purification systems in buildings. Whether AI demonstrably raises the risk of bioweapon development is a hard question to answer, says Steph Guerra, head of AI and bio at Rand Corporation, a policy think tank. “AI has been shown to be very good at integrating information together and being motivational to people for doing good and bad things,” she says. Even if the risk is low, Guerra says, there are still ways that society can protect against potential misuse. One is that governments can adopt laws requiring firms that sell synthetic DNA and RNA to screen customers and orders to prevent the misuse of genetic material. Many companies already use software to screen orders for so-called “sequences of concern,” but the practice is not universal or mandated. Before a bad actor could get to that point, though, most everyone agrees that models should have appropriate safeguards in place so that they don’t provide actionable, dangerous information to people. Guerra says the risk of an AI-developed biothreat can also be mitigated by strengthening global surveillance systems to detect outbreaks of new diseases and circulating pathogens to researchers as early as possible. She says data-sharing protocols across AI companies, gene synthesis providers, and the government could also help prevent misuse. “With pretty much almost any biosecurity control, there are going to be ways that they can be circumvented,” she says. “That's why we need layered approaches that provide friction across the entire pathway, from ideation to intention of a bad actor, all the way to the release of a bioweapon.” Unutmaz says there’s an even more pressing worry: that all the AI doom conversations are diverting attention from how cutting-edge systems can assist humans in vaccine development and other medical breakthroughs. “We really need to focus on the positive aspect of it,” he says.