메뉴
HN
Hacker News • 12일 전

AI의 규칙은 누가 정하는가

IMP
7/10
핵심 요약

Cohere 공동창립자 에이단 고메즈(Aidan Gomez)는 소수 실리콘밸리 대형 AI 기업들이 '안전'을 명분으로 경쟁 규칙을 왜곡하고 전 세계 AI 표준을 독점하려 한다고 비판한다. 그는 과거 신용평가사 카르텔과 유럽 자동차 독점 면제 사례를 들며, 강력한 안전 기준과 incumbent 독점은 별개임을 지적한다. AI 가드레일 자체가 아니라 누가 그 규칙을 쓰고 누구의 이익을 보호하는가가 핵심 쟁점이라는 주장이다.

번역된 본문

에이단 고메즈(Aidan Gomez), Cohere 공동창립자 겸 CEO의 관점

인공지능은 우리가 살아가는 세상을 다시 만들고 있다. 한 세대 안에 우리가 의약품을 발견하고, 전력망을 관리하고, 국가 기반시설을 보호하는 방식은 완전히 변모할 것이다. 많은 사람들이 이미 이를 깨닫고 그 미래를 책임감 있게 만들기 위해 노력하고 있다. 많은 사람들은 다가오는 변화의 규모와 속도를 과소평가하고 있다. 그러나 일부는 이러한 변화를 예견할 수 있다고 주장하며 자신들의 목적을 위해 이를 이용한다.

여기 아무도 충분히 명확하게 묻지 않는 질문이 있다. 실리콘밸리의 소수 선별된, 시장을 지배하는 AI 기업들이 세대를 바꾸는 기술의 규칙과 안전 기준을 전 세계를 위해 정할 자격이 있는가? 동시에 이 기술이 얼마나 빨리 발전할지도 결정하면서 말이다. 우리는 이전에 그런 방식을 시도했고 결과는 매우 좋지 않았다. 다시 한번 대중을 보호한다는 명분 아래 공포를 조장하며, 이 올리고폴리(과점 기업)들은 이제 경쟁 규칙을 왜곡하고 모든 다른 이들의 조건을 좌우할 권한을 요구하고 있다. 양의 탈을 쓴 늑대, 다른 이름의 카르텔이다.

나는 AI 기술이 세상에 이익을 가져올 잠재력을 믿으며, 위험을 과소평가하지도 않는다. 나는 은행, 통신망, 국방부에 배치되는 AI 시스템을 구축하는 회사를 운영하고 있다. 이들은 가장 위험도가 높은 환경들인데, 이 분야에서의 실패는 개별 사용자를 넘어 금융 시스템, 핵심 기반시설, 국가 안보, 필수 서비스를 대규모로 붕괴시킬 수 있기 때문이다. 당신의 코드에서 취약점을 찾아내는 것과 동일한 능력이 타인의 코드에서도 취약점을 찾을 수 있으며, 사이버 공격은 방어가 개선되는 속도보다 더 빠르게 저렴해지고 있다. 그 격차는 우리만큼 당신도 걱정해야 한다.

AI에는 가드레일이 필요하다. 그것이 논쟁의 대상이 아니며, 한 번도 그랬던 적이 없다. 논쟁은 누가 그것을 작성하는가, 누가 참여할 수 있는가, 그리고 그 규칙이 누구의 이익을 보호하는가에 있다. 진짜 질문은 우리가 과학적 증거에 기반해 자유롭게 선택해야 하는지, 아니면 인류 역사상 가장 중대한 기술의 고삐를 소수의 실리콘밸리 임원들에게 넘겨야 하는지에 관한 것이다.

우리는 이전에도 이 길을 걸었다

대형 연구소들이 밀어붙이는 자기 이해에 맞는 프레임워크를 분석하고 대안에 대한 아이디어를 제시하기 전에, 최근의 과거에서 몇 가지 교훈을 얻고 '카르텔'이라는 단어에 대해 생각해 보자. 그 역사는 구체적이며, 이것이 정확한 용어이기 때문이다.

1975년 미국 증권거래위원회(SEC)는 자본 규정을 위해 신뢰할 수 있는 채권 등급이 필요했다. SEC는 세 회사를 '전국공인통계등급기관(NRSRO)'으로 지정했고, 다른 회사가 그 지위를 얻을 수 있는 기준은 공개한 적이 없다. 이들은 정부의 공인을 받은 외부 평가기관이었지만, 자신들이 평가하는 증권을 발행하는 당사자에게서 돈을 받으며, 규제기관 스스로 만든 장벽 뒤에 앉아 있었다. 25년이 지나도 여전히 평가기관은 세 곳뿐이었다. 그리고 이들은 서브프라임 모기지 증권에 트리플A 등급을 부여하다 전 세계 경제를 거의 무너뜨릴 뻔했다.

유럽은 1985년 이 실험을 반복했다. 자동차 제조사들은 현대 차량은 복잡하고 안전이 중요한 기계이므로 제조사가 누가 판매·정비 자격을 갖는지 통제해야 한다며 광범위한 반독점 면제인 '자동차 블록 면제(Motor Vehicle Block Exemption)'를 로비했다. 이후의 규제는 안전하고 신뢰할 수 있는 차량이라는 명분 아래 제조사가 시설, 장비, 직원 교육 기준을 정하도록 허용했다. 그러나 그 뒤에 따라온 것은 더 안전한 자동차가 아니었다. 유럽위원회는 이를 철회하는 데 약 25년의 개혁이 걸렸고, 처음부터 자명했어야 할 것을 확립했다. 즉, 기존 기업 incumbent들에게 독점을 안겨주지 않고도 엄격한 안전 기준을 유지할 수 있다는 것이다.

어느 경우에도 카르텔을 만들려는 의도는 없었다. 두 경우 모두 명목상의 목표는 안전이었다. 하지만 결과는 기존 기업을 보호하고 경쟁을 제한하는 시장 구조였으며, 그 모든 것이 안전이라는 명분 아래 이루어졌다.

원문 보기
원문 보기 (영어)
A perspective from Aidan Gomez, Co-founder & CEO of Cohere Artificial intelligence is remaking the world we live in. Within a generation, the way we discover medicine, manage power grids, and secure our national infrastructure will be completely transformed. Many people already realize this and are working to build that future responsibly. Many people underestimate the scale and pace of change coming. Some, however, claim to foresee this change and use it to serve their own ends. Here is the question nobody is asking clearly enough: should a handful of select, market-dominant AI companies from Silicon Valley get to define the rules and safety standards of a generational technology for the entire world? All while simultaneously determining how fast this technology progresses? We have tried that before with very poor results. Once again using fear under the pretext of protecting the public, these oligopolies are now requesting to bend competition rules and be permitted to dictate the terms for everyone else. A wolf in sheep’s clothing, a cartel by any other name. I believe in the potential of AI technologies to bring benefits to our world, and I do not downplay the risks. I run a company that builds AI systems deployed inside banks, telecommunications networks, and defense ministries. These are among the most high-stakes environments because failures in these sectors can have consequences far beyond an individual user – disrupting financial systems, critical infrastructure, national security, and essential services at scale. The same capabilities that find vulnerabilities in your code can find them in someone else's, and cyber offense is getting cheaper faster than defenses are getting better. That gap should worry you as much as it worries us. AI needs guardrails. That is not the dispute and never has been. The dispute is over who writes them, who gets to participate and whose interests the rules are protecting. The question is truly about whether we should have the freedom to choose based on scientific evidence or if we should hand the reins of the most consequential technology in human existence to a few Silicon Valley executives. We’ve been here before Before I break down the self-serving framework the big labs are pushing and offer ideas for an alternative, let’s take a couple lessons from the recent past and think about the word cartel , because the history is specific and it is the accurate term. In 1975 the Securities and Exchange Commission needed reliable bond ratings for its capital rules. It designated three firms as Nationally Recognized Statistical Rating Organizations and never published criteria for how anyone else might earn the designation. These were government-blessed outside evaluators, paid by the very issuers whose securities they graded, sitting behind a barrier the regulator itself had built. Twenty five years later there were still only three of these evaluators. Then they rated subprime mortgage securities triple-A and nearly took the global economy down with them. Europe ran the experiment again in 1985. Car manufacturers lobbied for a sweeping antitrust waiver, the Motor Vehicle Block Exemption, arguing that modern vehicles were complex, safety-critical machines and that manufacturers therefore needed control over who was qualified to sell and service them. The subsequent regulation let manufacturers set the standards for premises, equipment and staff training, explicitly in the interest of safe and reliable vehicles. But what followed wasn't safer cars. It took the European Commission roughly twenty five years of reforms to unwind, and to establish what should have been obvious at the start: it is possible you can hold strict safety standards without handing the incumbents a monopoly on meeting them. Nobody set out to build a cartel in either case. In both cases, the stated goal was safety. But the result was a market structure that protected incumbents and limited competition, all under the justification of serving the public interest. I don't doubt the sincerity of the people involved: many were concerned about the risks and worked earnestly to resolve them. But complex problems aren’t always solved on the first try, and any responsible scientist, engineer, or lawmaker knows that to solve new problems you must learn from past history. What's Being Proposed This brings us to the roadmap published this week by Anthropic CEO Dario Amodei, asking governments for antitrust exemptions in the name of safety. This roadmap is the latest in a string of recent efforts by Silicon Valley incumbents to shape the regulatory landscape surrounding AI. I want to be clear about what we agree with. Independent review of highly capable AI systems is a good idea and we support it. However, many aspects of the proposal raise fundamental questions: who writes the standard those reviewers apply? Who conducts or oversees the review? Who gets to participate in the conversation that sets the rules? On these questions, the proposal is clear. A handful of the most powerful labs based in one country would agree on shared standards and the limits to how fast the technology should advance. And here’s the key point: because it’s normally illegal for competitors to agree to limit what they produce, the plan asks governments for a narrow antitrust waiver to make that coordination lawful. And it also asks governments to require every other AI developer to blindly follow whatever the participants settle on – despite those other developers and wider society not having an opportunity to voice the impact or share their perspective on the science. This is not a question of adding one or two more companies into the conversation. Adding an extra chair fundamentally doesn’t solve the issue. The problem is that there is a list at all, when the decisions being made reach every company, every government, and every citizen who never got asked. You cannot have it both ways. If this is the most consequential technology in human history, then the rules for it cannot be written by a small group of commercially aligned companies behind an antitrust waiver. There is no public comment period here. There is no consultation, and there is no vote. The public will be forced to live with the outcome regardless. A safety regime designed by a few labs will only be rigorous about the risks they have already built their safety systems to assess and completely quiet about everything else, further entrenching their market position and limiting competition. Risk in these existing frameworks gets defined as a function of scale, which makes the companies with enormous systems the only ones qualified to judge. The types of risk deemed relevant for assessment are also pre-ordained, rather than up for scientific debate and alignment. For example, there is real disagreement in the field about how much offensive capability comes from a raw model size versus the harness wrapped around it. Smaller models orchestrated well, using tools and verification steps, can do things that large models can’t. A cyber swarm is a completely different risk surface than a single model. None of that shows up in a regime built exclusively around massive compute thresholds. There's a sentence in the essay that any competition authority would find troubling. It promises that a coordinated approach would give developers time to do this safety work without sacrificing commercial advantage. But to whose advantage? The firms drafting the framework are the firms sitting at the top of the market today. A mechanism that slows everyone down while explicitly preserving existing commercial advantage does not make AI safer. It risks entrenching today’s dominant AI companies by turning their current advantages into baseline for what it takes to compete safely. Safety rules should reduce risk without regard to who leads the market or who stands to gain from the rules. The entry requirements set out in t