메뉴
BL
MIT Tech Review 26일 전

AI를 활용해 민주주의를 강화하는 청사진

IMP
9/10
핵심 요약

AI가 정보를 얻고 민주적 의사결정에 참여하는 주된 인터페이스로 빠르게 자리 잡고 있어, 정치적 양극화 심화 등의 위험과 시민 참여 개선의 기회가 공존하게 되었습니다. 개인화된 AI 에이전트가 사용자를 대변해 행동하면서 공론장이 파편화될 위기가 있으며, 이를 방지하기 위해 공동의 가치를 고려한 AI 시스템 설계가 시급합니다. 현재의 민주주의 제도는 이러한 AI 주도의 거대한 변화를 감당할 준비가 되어 있지 않다는 점에서 이번 전망은 매우 중요합니다.

번역된 본문

수백 년마다 정보가 이동하는 방식의 변화는 사회가 스스로를 통치하는 방식을 근본적으로 바꿔왔습니다. 인쇄술은 서민들의 문해력을 널리 퍼뜨려 종교개혁을 일으켰고, 궁극적으로는 대의 민주주의 정부의 탄생으로 이어졌습니다. 전신은 미국과 같은 광활한 국가를 효율적으로 통치할 수 있게 해주며 현대 관료 국가의 성장을 가속화했습니다. 방송 매체는 전국적인 시청자 집단을 형성했고, 이는 대중 민주주의의 발전을 이끌었습니다. 우리는 이제 그러한 거대한 전환기의 초기 단계에 접어들었습니다. 우리가 생각하는 것보다 훨씬 빠르게, AI는 우리가 신념을 형성하고 민주적 자치에 참여하는 주요한 인터페이스가 되고 있습니다. 이러한 변화를 그대로 방치한다면 이미 취약한 미국의 민주주의 제도에 더 큰 부담을 줄 수 있습니다. 하지만 이는 시민 참여 부족과 심화되는 정치적 양극화 같은 오랜 문제들을 해결하는 데에도 기여할 수 있습니다. 앞으로 일어날 일은 우리가 의식하든 아니든 이미 진행되고 있는 AI의 설계 선택에 달려 있습니다.

먼저 우리가 어떻게 정보를 습득하고 지식을 형성하는지, 즉 '인식론적 층(Epistemic layer)'에서 시작해 보겠습니다. 사람들은 무엇이 사실인지, 지금 무슨 일이 일어나고 있는지, 누구를 신뢰해야 하는지 알기 위해 점점 더 AI에 의존하고 있습니다. 이미 검색은 상당 부분 AI를 통해 매개되고 있습니다. 차세대 AI 비서는 정보를 종합하고, 이를 구성하며, 권위 있는 태도로 제시할 것입니다. 점점 더 많은 사람들에게 특정 후보자, 정책, 또는 공인에 대한 견해를 묻는 행위의 기본 방식이 'AI에게 묻기'가 될 것입니다. 따라서 이러한 모델이 무엇을 말하는지를 통제하는 사람은 대중이 무엇을 믿을 것인지에 대해 점점 더 막대한 영향력을 행사하게 됩니다. 기술은 항상 시민과 정보가 상호작용하는 방식을 형성해 왔습니다.

하지만 개인형 AI 에이전트(AI Agent)의 등장으로 전혀 새로운 문제가 곧 발생할 것입니다. 이 에이전트는 사람들이 정보를 수신하는 방식뿐만 아니라 그 정보를 바탕으로 행동하는 방식까지 바꿀 수 있습니다. 이 시스템들은 사용자를 대신해 조사하고, 서신을 작성하고, 특정 명분을 알리며, 로비 활동을 벌일 것입니다. 또한 투표용지에 있는 안건에 어떻게 투표할지, 어떤 단체를 후원할 가치가 있는지, 정부의 공문에 어떻게 답변할지 등의 결정을 내리는 데 도움을 줄 것입니다. 의미 있는 측면에서, 이들은 개인과 그들을 통치하는 제도 사이의 관계를 중재하기 시작할 것입니다. 우리는 이미 소셜 미디어를 통해 알고리즘이 이해보다 참여(Engagement)를 최적화할 때 어떤 일이 발생하는지 목격했습니다. 플랫폼이 명시적인 정치적 의제를 가질 필요 없이도 양극화와 급진화가 발생합니다. 사용자의 기호와 불안을 파악하고 사용자의 참여를 유도하도록 설계된 에이전트 역시 동일한 위험을 초래합니다. 그리고 이번 경우 그 위험을 감지하기가 훨씬 더 어려울 수 있습니다. 왜냐하면 에이전트가 사용자의 대변자로 스스로를 내세우기 때문입니다. 에이전트는 사용자를 위해 말하고, 사용자를 대신해 행동하며, 바로 그 친밀감을 통해 사용자의 신뢰를 얻을지도 모릅니다.

이제 시야를 넓혀 집단적 차원을 살펴보겠습니다. AI 에이전트와 인간이 곧 동일한 공론장에 참여하게 될 수도 있으며, 그곳에서는 둘을 구별하는 것이 불가능해질 수도 있습니다. 개별 AI 에이전트가 완벽하게 설계되어 사용자의 이익에 부합한다고 하더라도, 수백만 개의 에이전트가 상호 작용하면 그 어떤 개인도 원하거나 선택하지 않은 결과를 낳을 수 있습니다. 예를 들어, 개인적인 편향성이 전혀 없는 에이전트라도 대규모로 모이면 집단적 편향을 생성할 수 있다는 연구 결과가 있습니다. 에이전트들이 서로에게 미치는 영향은 차치하더라도, 사용자를 위해 하는 일도 문제입니다. 모든 사람이 자신의 기존 견해에 맞춰진 개인화된 에이전트를 가진 공론장은, 전체적으로 볼 때 더 이상 공론장이라고 할 수 없습니다. 그것은 사적인 세계들의 단순한 모음일 뿐이며, 각각은 내부적으로는 일관성이 있지만, 민주주의가 요구하는 공유된 숙고(Shared deliberation)에는 전혀 부합하지 않는 환경이 됩니다.

이러한 세 가지 변화, 즉 우리가 아는 방식, 행동하는 방식, 그리고 집단적 거버넌스에 참여하는 방식의 변화를 종합해 보면, 이는 시민권의 근본적인 성격 변화를 의미합니다. 가까운 미래에 사람들은 AI 필터를 통해 정치적 견해를 형성하고, AI 에이전트를 통해 시민적 주도권을 행사하며, 수백만 개의 그러한 에이전트 간의 상호작용으로 그 자체가 형성되는 제도와 공론장에 참여하게 될 것입니다. 오늘날의 민주주의는 이러한 변화를 받아들일 준비가 되어 있지 않습니다. 우리의 제도는 권력이...

원문 보기
원문 보기 (영어)
Every few centuries, changes in how information moves reshape how societies govern themselves. The printing press spread vernacular literacy, helping give rise to the Reformation and, eventually, representative government. The telegraph made it possible to administer vast nations like the US, accelerating the growth of the modern bureaucratic state. Broadcast media created shared national audiences, which in turn fueled mass democracy. We are now in the early stages of another such shift. Faster than many realize, AI is becoming the primary interface through which we form beliefs and participate in democratic self-governance. If left unchecked, this shift could further strain America’s already fragile institutions. But it could also help address long-standing problems, like lagging civic engagement and deepening polarization. What happens next depends on design choices that are already being made, whether we know it or not. Start with what might be called the epistemic layer—how we come to know things. People are increasingly relying on AI to know what is true, what is happening, and whom to trust. Search is already substantially AI-mediated. The next generation of AI assistants will synthesize information, frame it, and present it with authority. For a growing number of people, asking an AI will become the default way to form views on a candidate, a policy, or a public figure. Whoever controls what these models say therefore has increasing influence over what people believe. Technology has always shaped the way citizens interact with information. But a new problem will soon arise in the form of personal AI agents, which can change not only how people receive information but how they act on it. These systems will conduct research, draft communications, highlight causes, and lobby on a user’s behalf. They will inform decisions such as how to vote on a ballot measure, which organizations are worth supporting, or how to respond to a government notice. They will, in a meaningful sense, begin to mediate the relationship between individuals and the institutions that govern them. We’ve already seen with social media what happens when algorithms optimize for engagement over understanding. Platforms do not need to have an explicit political agenda to produce polarization and radicalization. An agent that knows your preferences and your anxieties—one shaped to keep you engaged—poses the same risks. And in this case the risks may be even more difficult to detect, because an agent presents itself as your advocate. It speaks for you, acts on your behalf, and may earn trust precisely through that intimacy. Now zoom out to the collective. AI agents and humans could soon participate in the same forums, where it may be impossible to tell them apart. Even if every individual AI agent were well-designed and aligned with its user's interests, the interactions of millions of agents could produce outcomes that no individual wanted or chose. For example, research shows that agents displaying no individual bias can still generate collective biases at scale. And setting aside what agents do to each other, there is what they do for their users. A public sphere in which everyone has a personalized agent attuned to their existing views is not, in aggregate, a public sphere at all. It is a collection of private worlds, each internally coherent but collectively inhospitable to the kind of shared deliberation that democracy requires. Taken together, these three transformations—in how we know, how we act, and how we engage in collective governance—amount to a fundamental change in the texture of citizenship. In the near future, people will form their political views through AI filters, exercise their civic agency through AI agents, and participate in institutions and public discussions that are themselves shaped by the interactions of millions of such agents. Today’s democracy is not ready for this. Our institutions were designed for a world in which power was exercised visibly, information traveled slowly enough to be contested, and reality felt more shared, if imperfectly. All of this was already fraying long before generative AI arrived. And yet this need not be a story of decline. Avoiding that outcome requires us to design for something better. On the informational layer, AI companies must ramp up existing efforts to ensure that models’ outputs are truthful. They should also explore some promising early findings that AI models can help reduce polarization . A recent field evaluation of AI-generated fact checks on X found that people with a variety of political viewpoints deemed AI-written notes more helpful than human-written ones. The paper is yet to be peer-reviewed, but that is a potentially revolutionary finding: AI-assisted fact-checking may be able to achieve the kind of cross-partisan credibility that has eluded most manual human efforts. Greater understanding of and transparency about how models make these assertions and prioritize sources in the process could help build further public trust. On the agentic layer, we need ways to evaluate whether AI agents faithfully represent their users. An agent must never have an agenda of its own or misrepresent its user’s views—a technically daunting requirement in domains where users may have not explicitly stated any preferences. But faithful representation also cannot become an accessory to motivated reasoning. An agent that refuses to present uncomfortable information, that shields its user from ever questioning prior beliefs or fails to adjust to a change of heart, is not acting in the person’s best interest. Finally, on the institutional level, policymakers should hurry to harness AI’s potential to make governance more responsive and legitimate. Several states and localities are already using AI-mediated platforms to conduct democratic deliberation at scale, building on research showing that AI mediators can help citizens find common ground. As agents become increasingly common participants in public input processes—and there is already evidence that bots are skewing those processes —identity verification for both humans and their agentic proxies must be built in from the start. What is needed is a new generation of democratic infrastructure, technological and institutional, built for the world that is actually here. Failing to design for democratic outcomes, in a domain this consequential, means designing for something else. And the history of unaccountable power does not leave much room for optimism about what that something else tends to be. Andrew Sorota and Josh Hendler lead work on AI and democracy at the Office of Eric Schmidt. Deep Dive Artificial intelligence OpenAI is throwing everything into building a fully automated researcher An exclusive conversation with OpenAI’s chief scientist, Jakub Pachocki, about his firm's new grand challenge and the future of AI. By Will Douglas Heaven archive page How Pokémon Go is giving delivery robots an inch-perfect view of the world Exclusive: Niantic's AI spinout is training a new world model using 30 billion images of urban landmarks crowdsourced from players. By Will Douglas Heaven archive page Want to understand the current state of AI? Check out these charts. According to Stanford’s 2026 AI Index, AI is sprinting, and we’re struggling to keep up. By Michelle Kim archive page This startup wants to change how mathematicians do math Axiom Math is giving away a powerful new AI tool. But it remains to be seen if it speeds up research as much as the company hopes. By Will Douglas Heaven archive page Stay connected Illustration by Rose Wong Get the latest updates from MIT Technology Review Discover special offers, top stories, upcoming events, and more. Enter your email Privacy Policy Thank you for submitting your email! Explore more newsletters It looks like something went wrong. We’re having trouble saving your preferences. Try refreshing this page and updating them