Hacker News • 16일 전

AI가 설계한 슈퍼바이러스로 죽지 않을 것이다

IMP

6/10

핵심 요약

단백질·펩타이드 설치 AI를 개발하는 생물학 전문가가 노아 스미스의 'AI 설계 슈퍼바이러스 인류 멸망' 시나리오를 강하게 반박하는 글이다. 생물학적 시스템의 계산적 설계는 극도로 어려워 전문가들도 대부분 실패하며, 설령 완벽한 바이러스를 설계해도 제작·배포는 별도의 거대한 난관이라는 것이다. 수백~수천 명 규모의 피해는 가능해도 수백만 명을 죽이는 슈퍼바이러스는 당분간 현실적이지 않다고 결론짓는다.

번역된 본문

AI가 설계한 슈퍼바이러스로 죽지 않을 것이다. 생물학에 대해 능숙하게 말할 수 있다고 착각하는 경제학자들을 우리 곁에서 구원해 주소서.

클라우스 빌케 (Claus Wilke), 2026년 8월 30일

논평 칼럼니스트이자 경제학자인 노아 스미스(NOah Smith)가 AI가 설계한 슈퍼바이러스에 관한 글을 방금 올렸다. 이런, 젠장. 나는 예전에 스미스가 근거 있는 의견을 가진 사람이라고 생각했는데, 내 전문 분야와 가까운 주제에 대한 그의 견해를 읽고 나서 이 전제에 의문이 생긴다. 하지만 걱정할 것 없다. 내일 그의 인플레이션에 관한 글을 읽으면 고개를 끄덕이며 동의하겠지. 겔만 망각(Gell-Mann amnesia)은 실제로 존재한다.

그 글은 2029년의 불만을 품은 10대가 AI에게 치명적인 바이러스 몇 가지를 설계해 달라고 요청하고, 이를 살포해 결국 인류의 90%를 죽이는 허구의 이야기로 시작한다. 이 이야기 직후 스미스는 이렇게 쓴다: "이 시나리오가 왜 비현실적인지에 대한 그럴듯한 주장을 단 하나도 들어보지 못했다."

pro팁: 자신이 전문가가 아닌 주제에 대해 이런 문장을 쓰고 있다는 것을 깨달았다면, 가능성은 두 가지뿐이다. 1. 올바른 사람들과 대화하지 않고 있다. 2. 올바른 사람들과 대화하고 있지만 그들이 하는 말을 듣지 않고 있다.

그 점에 대해: 해당 글은 유료 결벽(paywall)이 걸려 있다. 나는 도입부 몇 문단 너머를 읽을 수 없다. 댓글도 달 수 없다. 내가 할 수 있는 건 내 블로그에 글을 쓰는 것뿐이고, 그 글이 어떤 내용일지 몇 가지 추측을 담아서 쓴다. 내가 여기서 하는 모든 논점이 스미스의 글에서 유능하게 다뤄지고 강력히 반박되었을 가능성도 있다. 만약 그렇다면 그에게 박수를 보내며, 내가 틀렸음을 인정하겠다.

Genes, Minds, Machines를 읽어줘서 고맙다! 새 글을 받아보고 내 작업을 지원하려면 무료로 구독하라.

나는 누구인가? 왜 내 말을 들어야 하는가? 우선, 노아 스미스와 달리 나는 실제로 바이러스와 다른 생물학적 시스템을 컴퓨터로 설계해 본 경험이 있다. 또한 내 본업은 단백질 및 펩타이드 설계를 위한 AI 시스템을 개발하고 평가하는 일이다. 그래서 나는 생물학 분야의 최첨단 AI 도구와 기능적인 생물학적 시스템을 설계하고 구축하는 일의 어려움에 대해선 알고 있다. 바이러스학도 조금 안다.

생물학적 시스템의 컴퓨터 설계는 상상을 초월할 정도로 어렵다. 이 주제에 평생을 바친 전문가들도 자신이 시도하는 것이 아무것도 효과가 없을 때 routinely 벽에 머리를 부딪힌다. 2026년의 박사과정 학생들은 최첨단 AI 소프트웨어를 사용해 어떤 효소를 억제하거나 어떤 단백질을 끌어내는 단순한 펩타이드 결합체(binder)를 설계하려고 몇 달, 몇 년을 보내고 있으며, 그들의 설계 대부분은 실패하거나, 발현되지 않거나, 독성이 있다. 그런데 스미스의 허구의 세계에서는 생물학에 대한 특별한 훈련이 없는 불만 품은 10대가 펩타이드 결합체 설계보다 수천 배 더 복잡한 문제를 그냥 해결해 버린다. 오늘날 우리가 있는 위치와 스미스의 이야기가 조금이라도 현실성을 가지려면 도달해야 할 위치 사이의 거리는 어마어마하다.

게다가 설령 완벽한 바이러스를 설계할 수 있다 하더라도, 그것을 조립하고 배포하는 것 자체가 결코 만만치 않은 작업일 것이다. temu.com에서 작동하는 바이러스를 주문하는 게 아니다. 예를 들어 Abi Olvera의 이 글을 참고하라.

나는 언젠가 누군가 AI가 설계한 생물학적 작용제로 피해를 일으킬 가능성을 무시하지 않는다. 하지만 규모를 고려해야 한다. 불만 품은 10대는 비료 폭탄을 손에 넣어 붐비는 쇼핑몰을 폭파할 수도 있다. AI는 필요 없다. 그래서 어쩌면 수백 명에서 수천 명 정도의 사망자 규모의 피해는 영향을 받은 개인들에게는 참혹하지만 실존적 위협은 아니다. 문제는 훨씬 더 큰 규모의 공격, 즉 수백만 명을 죽일 수 있는 공격이 가능한가 하는 것이다. 나는 이것은 적어도 앞으로 수십 년간은 걱정할 필요가 없다고 상당히 확신한다.

누구도 슈퍼바이러스를 만드는 법을 모른다

AI가 바이러스를 설계할 수 있는지, 그것을 만드는 것이 얼마나 어려운지, 그리고 마지막으로 아무것도 모르는 희생자들에게 배포하는 것이 얼마나 어려운지 등 모든 문제를 접어 두자. 이 모든 문제가 다 해결되었다고 가정하자. 그래서, 당신은 손에 [무기를] 쥐고 있다.

원문 보기

원문 보기 (영어)

I'm sorry, you're not going to die from an AI-engineered supervirus God save us from economists who think they can competently talk about biology Claus Wilke Aug 30, 2026 110 50 24 Share Opinion writer and economist Noah Smith just dropped an article about AI-designed superviruses. Oh man. I used to think Smith was a person with informed opinions, but reading his take on a topic close to my own expertise makes me question this premise. No worries though. I’m sure I’ll read his takes on inflation tomorrow and nod along. Gell-Mann amnesia is real. The article opens with a fictitious story about a disgruntled teenager in 2029 1 who asks an AI to design some lethal viruses, which he then deploys and ends up killing 90% of the human population. Immediately following this story, Smith writes: “I have yet to hear an even halfway-convincing argument as to why this scenario is far-fetched.” Pro-tip: When you find yourself writing such a statement about a topic you’re not an expert in, there are only two possibilities: 1. You are not talking to the right people. 2. You are talking to the right people but you’re not listening to what they’re saying. On that note: The article is paywalled. I can’t read beyond the first few introductory paragraphs. I also can’t post comments. All I can do is write on my own blog, making some assumptions about what the article may say. It is possible that every point I’m making here is competently addressed and strongly refuted in Smith’s article. If that’s the case, more power to him, and I’ll stand corrected. Thanks for reading Genes, Minds, Machines! Subscribe for free to receive new posts and support my work. Subscribe Who am I? Why should you listen to me? Well, for one, unlike Noah Smith, I have actually computationally designed viruses and other biological systems. 2 Also, my day job involves developing and evaluating AI systems for protein and peptide design. So I know a thing or two about state-of-the-art AI tools in biology and about the challenges of designing and building functional biological systems. I also know a bit of virology. Computational design of biological systems is unfathomably difficult. Experts who have dedicated their life to this topic routinely hit their head against the wall when nothing they try seems to work. PhD students in 2026 using state-of-the-art AI software are spending months or years trying to design simple peptide binders that inhibit some enzyme or pull down some protein, and the majority of their designs fail, or don’t express, or are toxic. 3 But in Smith’s fictitious world a disgruntled teenager with no special training in biology can just solve a problem thousands of times more complicated than designing a peptide binder. The distance between where we are today and where we would have to be for Smith’s story to have any realism is enormous. And then, even if you could design the perfect virus, assembling and distributing it would be a non-trivial task in its own right. You don’t just order a working virus from temu.com. See for example this article by Abi Olvera . I’m not discounting the possibility that at some point somebody may cause some harm with an AI-designed biological agent. But we need to consider scale. A disgruntled teenager could also get their hands on a fertilizer bomb and blow up a busy shopping mall. No AI needed. So damage on the scale of maybe a couple hundred to a couple thousand people dead, while devastating for the individuals affected, is not an existential threat. The question is whether a much larger attack is possible. Something that would kill millions of people. 4 I am quite confident this is not something we need to worry about, at least not for another few decades. 5 Nobody knows how to build a supervirus Let’s set aside all the issues of whether AI can design viruses, how hard it may be to then build them, and finally to distribute them to unsuspecting victims. Let’s assume all of these issues are solved. 6 So, you’re armed with your supervirus-generating AI and your rogue lab that will synthesize and weaponize viruses for you. What properties do you want the viruses to have? “Well, duh,” you say, “I want them to be lethal!” Ok, here you go: Ebola virus, hantavirus, rabies virus. All extremely lethal. And yet, we’re not really that worried about them. At least we don’t think of them as civilization-ending superviruses. Why is that? Hantavirus doesn’t spread human-to-human. 7 Don’t inhale infected rat droppings and you won’t get it. Similarly, rabies doesn’t transmit human-to-human, primarily because once people are becoming contagious they are so incapacitated that they’re unlikely to bite you. Now Ebola is different, it is actually quite contagious, but it requires contact with the bodily fluids of an infected person and that contact is easily avoided unless you’re a direct caregiver. “Ok then,” you may say, “I want them to spread through the air!” That’s fine, plenty of viruses spread easily, but there’s generally a tradeoff between how easy a virus spreads and how lethal it is. For a virus to spread easily, the infected patient needs to shed a lot of viral particles, and this requires a high viral load. But, the patient needs to be able to walk around and function while experiencing a high viral load, otherwise they won’t spread the virus. This generally means the virus is not that deadly. An example of a virus that spreads extremely well is measles virus. The virus can remain suspended in the air for up to two hours. If you enter a room in which two hours prior somebody with measles spent 15 minutes you may you catch the disease. But, measles kills “only” about one in a thousand infected people. It’s incredibly contagious, but it’s not that deadly. It’s really bad though. We’ll get back to it later. “I got it now,” you may say, “I want viruses that have a long incubation period, during which they can get transmitted, and then later I want the infection to turn really bad and kill the patient.” Ok, fine, such a thing would probably deserve the label “supervirus.” 8 I’m not sure what the biological mechanism would be though. How do you build this? Viruses with long incubation periods are typically not contagious during the asymptomatic period. The may integrate into the host genome and lay dormant for a while, only to reactivate later (e.g., varicella-zoster virus, the causative agent of chickenpox and shingles). Or they slowly make their way through your nervous system (e.g., rabies virus). The one virus that sort of has the properties we’re looking for is HIV. Extremely long incubation period. Patients can be contagious without showing obvious symptoms. Nearly 100% lethal without treatment. But, not easily transmitted. We commonly see this tradeoff. Viruses that hide in specific compartments of the body for long periods of time will not usually transmit easily. I’m not aware of any virus that has even remotely similar properties to HIV but spreads like a respiratory virus. In general, there are tradeoffs between how lethal a virus is and how easily it spreads. Consider the common flu (H3N2 influenza) and avian influenza (in particular, H5N1). H3N2 influenza transmits easily person-to-person because it targets a receptor that is located in the upper respiratory tract. H5N1 influenza, by contrast, targets a receptor that is located in the lower lungs. This causes more severe disease but limits spread. Epidemiologists have reasonable concerns about a potential H5N1 pandemic, but to date the tradeoff has held. We have not seen a civilization-ending H5N1 pandemic. There is simply no good reason to believe that AI will magically be able to work around these fundamental tradeoffs of biology, that it could somehow design a virus with the lethality of H5N1 influenza but the contagiousness of H3N2. The basic science required to build such a thing has not been done. When people believe that AI could figure this out on its own, without first running extensiv

AI 안전 생물보안 AI 디자인 바이러스학 의견·분석