The Decoder • 7일 전

파키스탄 법원, AI 도입으로 적체 해소…투자 대비 38배 효과

IMP

8/10

핵심 요약

ETH 취리히 등 국제 연구진은 파키스탄 법원에 AI 어시스턴트를 도입하는 대규모 실험을 진행했습니다. 그 결과, 전문 교육을 받은 판사들이 법률 판례를 검색하고 판결문을 작성하는 데 AI를 적극 활용하여 연간 지역구별 약 1,848건의 사건을 추가로 처리했습니다. 판결의 질이나 편향성에 악영향 없이 업무 효율성만 크게 개선된 이 연구는 공공 부문에서 AI 도입의 실질적인 효과와 투자 수익률을 증명했다는 점에서 매우 중요합니다.

번역된 본문

원문 제목: AI 시스템이 파키스탄 판사들의 방대한 사건 적체 해소를 도왔다, 투자한 달러당 38.50달러의 수익률 달성

인공지능(AI)은 정부 기관의 생산성을 높일 수 있을까? ETH 취리히, 임페리얼 칼리지 런던, 뉴 이코노믹 스쿨(New Economic School) 연구진의 새로운 연구는 이에 대해 지금까지 중 가장 강력한 실험적 증거를 제시한다.

저자들에 따르면, 파키스탄은 주민 10만 명당 판사 수가 2명 미만이다. 이는 EU의 22명, 잉글랜드 및 웨일즈의 30명과 대비된다. 2024년 말 기준으로 226만 건의 사건이 미결 상태였으며, 그중 82%가 재판부에 계류 중이었다. 판사들은 초보적인 기술만으로 지원 인력 없이 일하고 있다. 실험 전에는 채팅GPT(ChatGPT)와 같은 대규모 언어 모델(LLM)을 사용해 본 판사는 약 25%에 불과했다.

연구진은 파키스탄 사법부와 함께 대규모 현장 실험을 진행했다. 이 무작위 시험은 118개 법원의 1,559명의 판사를 대상으로 진행되었으며, 이는 파키스탄 재판부 판사 전체의 약 절반에 해당한다. 사용된 도구는 오픈AI(OpenAI)의 GPT-4를 기반으로 구축되어 파키스탄 재판부를 위해 설계된 AI 어시스턴트인 '저지GPT(JudgeGPT)'였다. 이 도구는 12만 8,292건의 법원 판결문과 943개의 파키스탄 법률을 포함해 총 12만 9,235건의 문서 데이터베이스를 검색하는 검색 증강 생성(RAG, Retrieval Augmented Generation) 기술을 사용한다. 판사가 질의어를 입력하면 저지GPT는 가장 관련성이 높은 10개의 구절을 찾아 출처가 표기된 답변을 생성한다.

교육받은 판사들, 관할구역 당 연간 1,848건의 사건 추가 해소

연구진은 판사들을 세 그룹으로 나누었다. 한 그룹에는 저지GPT 접근 권한과 집중 교육을 제공했다. 집중 교육은 ETH 취리히의 엘리엇 애쉬(Elliott Ash) 교수가 폐관 시간 이후에 3주에 걸쳐 90분씩 6차례의 강의를 진행하는 방식이었다. 판사들은 이 도구가 어떤 작업에 적합하고, 어느 부분이 취약하며, 출력 결과를 어떻게 검증해야 하는지 배웠다. 두 번째 그룹에는 동일한 AI 접근 권한을 제공했지만 기술과 법률에 대한 일반적인 세미나만 제공했다. 대조군(세 번째 그룹)은 해당 세미나에 참석했지만 저지GPT 접근 권한은 없었다.

단순한 AI 접근 권한만으로는 효과가 미미했다. 집중 교육을 받은 판사들은 일반 세미나 그룹보다 저지GPT를 4배 더 많이 사용했다. 40주 후, 교육을 받은 판사들은 평균적으로 거의 60회 로그인했고 200회 이상의 프롬프트(명령어)를 입력했다. 반면 비교 그룹은 평균 약 20회 로그인에 프롬프트는 50회 미만이었다. 교육받은 판사가 많은 관할구역이 더 많은 사건을 해결했다. 중간 수준의 노출 빈도를 기준으로, 이는 관할구역 당 연간 약 1,848건의 사건을 추가로 해결한 것으로 6.3%의 증가율을 의미한다. 최하위 25% 구역에서조차도 약 616건의 사건을 더 해결했다.

판결 품질 향상, 편향성은 증가하지 않아

판결의 질은 유지되거나 오히려 향상되었다. 해결된 사건 1,000건당 항소율은 약간 감소했으며, 판사들은 동일한 시간을 일했고 일과 삶의 균형(워라밸)에도 변화가 없었다. 연구진은 동일한 실적을 내기 위해 추가 판사를 고용할 때 드는 비용을 기준으로 추정했을 때, 투자한 달러당 약 38.50달러의 비용 절감 효과가 있다고 추정했다. 보수적으로 추정해도 투자 수익률은 '최소' 달러당 10달러였다.

약 4,000건의 법원 판결문 검토 결과, 예상대로 AI가 작성한 것으로 표시된 텍스트가 더 많아졌다. 하지만 가독성, 길이, 법적 주장의 수는 안정적으로 유지되었다. 파키스탄 변호사 두 명이 검증한 LLM 기반 품질 검사에서는 약간의 품질 개선이 나타났다. 교육을 받은 판사들의 판결문은 짝꿍 비교의 59%에서 더 우수한 것으로 평가되었으며, 이는 대조군의 42%에서 상승한 수치다. 이 연구는 AI 사용이 사법 언어에서 성별이나 종교적 편향을 증가시킨다는 증거를 전혀 발견하지 못했다.

실무 중심 교육이 판사들의 AI 활용 방식을 결정

연구진은 약 1,500명의 판사에 대한 익명화된 채팅 기록을 검토했다. 법률 연구, 텍스트 편집 및 생성이 가장 일반적인 작업이었다. 질의의 약 60%는 법률, 절차 또는 법적 개념에 대한 정보를 찾는 내용이었다. 교육을 받은 판사들은 언어 모델이 더 안정적인 작업인 텍스트 편집 및 요약에 저지GPT를 더 많이 사용했다. 반면 환각(오류) 위험이 높은 포괄적인 법률 질문은 더 적게 했다. 연구진은 이러한 실무 교육이 판사들이 AI를 제한된 지원 업무에만 활용하도록 유도하고, 최종 결정은 판사의 권한으로 남겨두었다고 설명한다. 요청의 약 5분의 1만이 연구진이 말하는 '실질적인 AI 위임'과 관련이 있었다.

원문 보기

원문 보기 (영어)

An AI system helped Pakistani judges clear massive backlogs at $38.50 return per dollar invested Matthias Bastian View the LinkedIn Profile of Matthias Bastian Jul 21, 2026 Nano Banana Pro prompted by THE DECODER Can AI make government institutions more productive? A study from researchers at ETH Zurich, Imperial College London, and the New Economic School delivers the strongest experimental evidence yet. Pakistan has fewer than two judges per 100,000 residents, according to the authors. The EU has 22. England and Wales have 30. At the end of 2024, 2.26 million cases were pending, 82 percent of them in trial courts. Judges work with bare-bones tech and no support staff. Before the experiment, only about 25 percent had ever used a large language model like ChatGPT. Researchers from ETH Zurich, the New Economic School, and Imperial College London ran a large-scale field experiment with Pakistan's judiciary. The randomized trial covered 1,559 judges across 118 courts, roughly half of all Pakistani trial court judges. The tool was JudgeGPT, an AI assistant built on OpenAI's GPT-4 and designed for Pakistani trial courts. It uses retrieval augmented generation to search a database of 129,235 documents, including 128,292 court rulings and 943 Pakistani laws. When a judge enters a query, JudgeGPT picks the ten most relevant passages and generates a cited answer. Trained judges resolve 1,848 more cases per year per district The researchers split judges into three groups. One got JudgeGPT access plus targeted training: six 90-minute lectures over three weeks, taught by ETH Professor Elliott Ash after court hours. Judges learned which tasks suited the tool, where it fell short, and how to check its output. A second group got the same AI access but only a general seminar on technology and law. The control group attended that seminar with no JudgeGPT access. AI access alone did little. Judges with targeted training used JudgeGPT four times as much as those in the general seminar group. After 40 weeks, trained judges averaged nearly 60 logins and over 200 prompts. The comparison group averaged about 20 logins and fewer than 50 prompts. Districts with more trained judges resolved more cases. At moderate exposure levels, that meant about 1,848 extra cases per year per district, a 6.3 percent bump. Even districts in the bottom quartile still cleared about 616 more cases. Judgment quality ticks up without added bias Ruling quality held steady or improved. The appeal rate per 1,000 resolved cases fell slightly, and judges worked the same hours with no change in work-life balance. The researchers estimate savings of about $38.50 per dollar invested, based on what it would cost to hire enough extra judges to match the same output. Even conservative estimates put the return at "at least" $10 per dollar. A review of roughly 4,000 court judgments found more AI-flagged text, as expected. But readability, length, and the number of legal arguments held steady. An LLM-based quality check, validated by two Pakistani lawyers, showed a slight improvement. Rulings from trained judges were rated better in 59 percent of pairwise comparisons, up from 42 percent in the control group. The study found no evidence that AI use increased gender or religious bias in judicial language. Hands-on training shapes how judges use AI The researchers reviewed anonymized chat logs from about 1,500 judges. Legal research, text editing, and text generation were the most common tasks. Around 60 percent of queries sought information about laws, procedures, or legal concepts. Trained judges used JudgeGPT more for editing and summarizing text, tasks where language models are more reliable. They asked fewer broad legal questions, where hallucination risk is higher. The researchers say the training steered judges toward limited support tasks while leaving the final decisions in their hands. Only about a fifth of requests involved what the researchers call "substantive AI delegation," where judges asked JudgeGPT to evaluate decisions or draft reasoning on its own. Training made judges more likely to decide cases themselves and only use AI to write up their reasoning. The researchers stress that their findings don't support replacing judges with AI. What the experiment shows, they say, is that AI can boost public sector productivity, but only when paired with training that steers users toward the right tasks. Without it, most of the gains disappear. The productivity gains in this study are likely a floor, not a ceiling. JudgeGPT ran on GPT-4, a pre-reasoning model that was the best fit for the project at the time. Today's reasoning models write better, hallucinate less, and handle complex tasks more reliably. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Access to all THE DECODER articles. Read without distractions – no Google ads. Access to comments and community discussions. Weekly AI newsletter. 6 times a year: “AI Radar” – deep dives on key AI topics. Up to 25 % off on KI Pro online events. Access to our full ten-year archive. Get the latest AI news from The Decoder. Subscribe to The Decoder -->

인공지능 법률 AI 공공 부문 AI GPT-4 생산성 향상