보안과 규제가 엄격한 공공 부문은 민간 기업과 달리 클라우드 의존적인 대규모 언어 모델(LLM) 도입이 어렵습니다. 이를 해결하기 위해 데이터를 로컬에 안전하게 저장하고 운영할 수 있는 소규모 언어 모델(SLM)이 공공기관의 현실적인 대안으로 주목받고 있습니다. SLM은 복잡한 인프라 없이도 보안을 유지하며 실무에 즉각 활용할 수 있다는 점에서 매우 중요한 의미를 갖습니다.
번역된 본문
Elastic과 함께 제공됨.
AI 붐이 모든 산업에 불고 있으며, 공공 부문 조직들 역시 AI 도입을 가속해야 한다는 압박에 직면해 있습니다. 동시에 정부 기관들은 보안, 거버넌스 및 운영 측면에서 민간 기업과 구별되는 독특한 제약 조건을 안고 있습니다. 이러한 이유로, 특정 목적에 맞게 설계된 소규모 언어 모델(SLM)은 이러한 환경에서 AI를 실용화할 수 있는 유망한 대안으로 여겨집니다.
케어젬니(Capgemini)의 연구에 따르면 전 세계 공공 부문 임원의 79%가 AI의 데이터 보안에 우려를 표명했습니다. 정부 데이터의 민감성과 그 사용을 둘러싼 법적 의무를 고려할 때 이해할 수 있는 수치입니다. Elastic의 AI 부사장인 한 샤오(Han Xiao)는 "정부 기관은 네트워크로 전송하는 데이터의 종류에 대해 매우 엄격한 제한을 두어야 한다. 이는 데이터를 생각하고 관리하는 방식에 많은 제약을 설정한다"고 말합니다.
민감한 정보에 대한 근본적인 통제 필요성은 민간 부문의 일반적인 운영 가정과 비교할 때 특히 AI 배포를 복잡하게 만드는 여러 요인 중 하나입니다.
고유한 운영 과제
민간 부문 기업이 AI를 확장할 때 일반적으로 클라우드에 대한 지속적인 연결, 중앙 집중식 인프라 의존, 불완전한 모델 투명성 수용, 데이터 이동에 대한 제한적 규제 등의 조건이 충족될 것이라고 가정합니다. 하지만 많은 공공 기관에게 이러한 조건을 수용하는 것은 위험할 뿐만 아니라 불가능할 수 있습니다.
정부 기관은 데이터가 통제권 내에 있도록 보장하고, 정보를 확인 및 검증할 수 있어야 하며, 운영 중단을 최소화해야 합니다. 동시에 인터넷 연결이 제한적이거나, 불안정하거나, 아예 없는 환경에서 시스템을 운영해야 하는 경우가 많습니다. 이러한 복잡성 때문에 유망한 많은 공공 부문 AI 파일럿 프로젝트가 실험 단계를 넘어서지 못하고 있습니다.
"많은 사람들이 AI의 운영상 과제를 과소평가합니다."라고 샤오는 말합니다. "공공 부문은 AI가 모든 종류의 데이터에서 안정적으로 작동한 후 중단 없이 성장할 수 있기를 원합니다. 업무 연속성은 종종 과소평가됩니다."
Elastic의 공공 부문 리더 대상 설문 조사에 따르면 65%가 대규모로 실시간 데이터를 지속적으로 사용하는 데 어려움을 겪고 있는 것으로 나타났습니다. 인프라 제약은 이 문제를 더욱 악화시킵니다. 정부 조직은 복잡한 AI 모델을 학습시키고 실행하는 데 사용되는 GPU(그래픽 처리 장치)를 확보하는 데도 어려움을 겪을 수 있습니다.
"정부는 민간 부분과 달리 GPU를 자주 구매하지 않으며, GPU 인프라를 관리하는 데 익숙하지 않습니다. 따라서 모델을 실행할 GPU에 접근하는 것 자체가 공공 부문의 큰 병목입니다."라고 샤오는 지적합니다.
더 작고 실용적인 모델
공공 부문의 이러한 타협할 수 없는 요구 사항으로 인해 대규모 언어 모델(LLM)은 도입이 불가능에 가깝습니다. 하지만 SLM은 로컬에 저장할 수 있어 더 높은 보안과 통제력을 제공합니다. SLM은 일반적으로 수천억 개가 아닌 수십억 개의 매개변수를 사용하는 특수 목적의 AI 모델로, 가장 큰 LLM보다 컴퓨팅 요구 사항이 훨씬 적습니다.
공공 부문은 외부의 중앙 집중식 위치에 있는 점점 더 큰 모델을 구축할 필요가 없습니다. 실증 연구에 따르면 SLM은 LLM과 같거나 더 나은 성능을 발휘하는 것으로 나타났습니다. SLM은 대규모 모델을 유지하는 운영상의 복잡성을 피하면서 민감한 정보를 효과적이고 효율적으로 사용할 수 있게 해줍니다.
"ChatGPT를 사용해 교정 작업을 하는 것은 쉽습니다. 하지만 네트워크 접근이 전혀 없는 환경에서 자체 LLM을 그처럼 원활하게 실행하는 것은 매우 어렵습니다."라고 샤오는 설명합니다.
SLM은 이를 사용할 부서나 기관의 요구 사항에 맞게 특별히 제작됩니다. 데이터는 모델 외부의 안전한 곳에 저장되며, 쿼리가 실행될 때만 접근됩니다. 신중하게 설계된 프롬프트를 통해 가장 관련성 높은 정보만 검색되어 더욱 정확한 응답을 제공합니다. 스마트 검색(smart retrieval), 벡터 검색(vector search), 검증 가능한 소스 기반(verifiable source grounding)과 같은 방법을 사용하여 AI 시스템은 (후략)
Sponsored In partnership with Elastic The AI boom has hit across industries, and public sector organizations are facing pressure to accelerate adoption. At the same time, government institutions face distinct constraints around security, governance, and operations that set them apart from their business counterparts. For this reason, purpose-built small language models (SLMs) offer a promising path to operationalize AI in these environments. A Capgemini study found that 79 percent of public sector executives globally are wary about AI’s data security, an understandable figure given the heightened sensitivity of government data and the legal obligations surrounding its use. As Han Xiao, vice president of AI at Elastic, says, “Government agencies must be very restricted about what kind of data they send to the network. This sets a lot of boundaries on how they think about and manage their data.” The fundamental need for control over sensitive information is one of many factors complicating AI deployment, particularly when compared against the private sector’s standard operational assumptions. Unique operational challenges When private-sector entities expand AI, they typically assume certain conditions will be in place, including continuous connectivity to the cloud, reliance on centralized infrastructure, acceptance of incomplete model transparency, and limited restrictions on data movement. For many state institutions, however, accepting these conditions could be anything from dangerous to impossible. Government agencies must ensure that their data stays under their control, that information can be checked and verified, and that operational disruptions are kept to an absolute minimum. At the same time, they often have to run their systems in environments where internet connectivity is limited, unreliable, or unavailable. These complexities prevent many promising public sector AI pilots from moving beyond experimentation. “Many people undervalue the operating challenge of AI,” Xiao says. “The public sector needs AI to perform reliably on all kinds of data, and then to be able to grow without breaking. Continuity of operations is often underestimated.” An Elastic survey of public sector leaders found that 65 percent struggle to use data continuously in real time and at scale. Infrastructure constraints compound the problem. Government organizations may also struggle to obtain the graphics processing units (GPUs) used to train and access complex AI models. As Xiao points out, “Government doesn’t often purchase GPUs, unlike the private sector—they're not used to managing GPU infrastructure. So accessing a GPU to run the model is a bottleneck for much of the public sector.” A smaller, more practical model The many nonnegotiable requirements in the public sector make large language models (LLMs) untenable. But SLMs can be housed locally, offering greater security and control. SLMs are specialized AI models that typically use billions rather than hundreds of billions of parameters, making them far less computationally demanding than the largest LLMs. The public sector does not need to build ever-larger models housed in offsite, centralized locations. An empirical study found that SLMs performed as well or better than LLMs. SLMs allow sensitive information to be used effectively and efficiently while avoiding the operational complexity of maintaining large models. Xiao puts it this way: “It is easy to use ChatGPT to do proofreading. It's very difficult to run your own large language models just as smoothly in an environment with no network access.” SLMs are purpose-built for the needs of the department or agency that will use them. The data is stored securely outside the model, and is only accessed when queried. Carefully engineered prompts ensure that only the most relevant information is retrieved, providing more accurate responses. Using methods such as smart retrieval , vector search , and verifiable source grounding , AI systems can be built that cater to public sector needs. Thus, the next phase of AI adoption in the public sector may be to bring the AI tool to the data, rather than sending the data out into the cloud. Gartner predicts that by 2027, small, specialized AI models will be used three times more than LLMs. Superior search capabilities “When people in the public sector hear AI, they probably think about ChatGPT. But we can be much more ambitious,” says Xiao. “AI can revolutionize how the government searches and manages the large amounts of data they have.” Looking beyond chatbots reveals one of AI’s most immediate opportunities: dramatically improved search. Like many organizations, the public sector has mountains of unstructured data—including technical reports, procurement documents, minutes, and invoices. Today’s AI, however, can deliver results sourced from mixed media, like readable PDFs, scans, images, spreadsheets, and recordings, and in multiple languages. All of this can be indexed by SLM-powered systems to provide tailored responses and to draft complex texts in any language, while ensuring outputs are legally compliant. “The public sector has a lot of data, and they don't always know how to use this data. They don't know what the possibilities are,” says Xiao. Even more powerful, AI can help government employees interpret the data they access. “Today's AI can provide you with a completely new view of how to harness that data,” says Xiao. A well-trained SLM can interpret legal norms, extract insights from public consultations, support data-driven executive decision-making, and improve public access to services and administrative information. This can contribute to dramatic improvements in how the public sector conducts its operations. The small-language promise Focusing on SLMs shifts the conversation from how comprehensive the model can be to how efficient it is. LLMs incur significant performance and computational costs and require specialized hardware that many public entities cannot afford. Despite requiring some capital expenses, SLMs are less resource-intensive than LLMs, so they tend to be cheaper and reduce environmental impact. Public sector agencies often face stringent audit requirements, and SLM algorithms can be documented and certified as transparent. Some countries, particularly in Europe, also have privacy regulations such as GDPR that SLMs can be designed to meet. Tailored training data produces more targeted results, reducing errors, bias, and hallucinations that AI is prone to. As Xiao puts it, “Large language models generate text based on what they were trained on, so there is a cut-off date when they were trained. If you ask about anything after that, it will hallucinate. We can solve this by forcing the model to work from verified sources.” Risks are also minimized by keeping data on local servers, or even on a specific device. This isn’t about isolation but about strategic autonomy to enable trust, resilience, and relevance. By prioritizing task-specific models designed for environments that process data locally, and by continuously monitoring performance and impact, public sector organizations can build lasting AI capabilities that support real-world decisions. “Do not start with a chatbot; start with search,” Xiao advises. “Much of what we think of as AI intelligence is really about finding the right information.” This content was produced by Insights, the custom content arm of MIT Technology Review. It was not written by MIT Technology Review’s editorial staff. It was researched, designed, and written by human writers, editors, analysts, and illustrators. This includes the writing of surveys and collection of data for surveys. AI tools that may have been used were limited to secondary production processes that passed thorough human review. Deep Dive Artificial intelligence OpenAI is throwing everything into building a fully automated researcher An exclusive conversation with OpenAI’s chief scientist, Jaku