OpenAI를 떠나 TypeSafe AI를 창립한 Diogo Almeida가 텍스트가 아닌 '보정된 의사결정(확률)'을 출력하는 새로운 트랜스포머 모델 'Jev'를 공개했다. 언어 기반 LLM과 달리 환각이 불가능하고 매우 저렴·고속이라, Vercel 등 개발사들이 분류·모델 라우팅·에이전트 감시 용도로 도입해 기존 LLM 대비 최대 18배 빠른 성능을 확인했다. 지능의 비용 하락이 광범위한 배치로 이어진다는 제번스 역설에서 이름을 딴 이 모델은 소프트웨어 자동화 판도를 바꿀 잠재력을 지녔다.
번역된 본문
ChatGPT는 디오고 알메이다(Diogo Almeida)의 마음을 아프게 했다. 알메이다는 챗봇 개발에 참여했고 이후 인간 피드백 기반 강화학습(RLHF)을 발명한 전(前) OpenAI 연구원이다. RLHF는 현재의 AI 시대를 만든 가장 핵심적인 모델 훈련 기술로 꼽힌다. 하지만 그는 ChatGPT의 능력에도 불구하고 실망했다. 그는 테크크런치에 "우리는 병 속에 번개를 담았지만, 그것은 유용하지 않았다"고 말했다. "그때부터 이 문제와 싸워왔습니다. 오랜 고민 끝에 내린 결론은, 문제는 우리가 인간의 언어에 맞춰 최적화하고 있다는 것입니다. 우리는 4년 동안 인간 언어 처리에는 매우 뛰어났지만, 컴퓨터는 다른 언어를 쓰기 때문에 자동화에는 유용하지 않았습니다."
2년 전 알메이다는 이 문제를 해결하기 위해 OpenAI를 떠나 스타트업 TypeSafe AI를 창립했다. 이번 주 이 회사는 대규모 언어 모델(LLM)이 아닌 새로운 트랜스포머 기반 모델 'Jev'를 공개했다. Jev는 텍스트를 출력하지 않고 확률, 즉 회사가 '보정된 의사결정(calibrated decisions)'이라 부르는 값을 생성한다. 언어를 배제함으로써 얻는 이점이 몇 가지 있다. 모델이 극도로 저렴하고 빨라지며, 사용자가 출력을 미리 정의하기 때문에 환각(hallucination)이 발생할 수 없다. 출력 토큰은 무료이고, 입력 토큰은 백만 단위가 아닌 10억 단위로 과금된다. 개발자들의 관심이 폭발해, 회사는 수요가 너무 많아 일시적으로 API 서비스 능력을 상실하기도 했다.
Jev는 소프트웨어 자동화에 가장 유용해 보인다. 지금까지 소프트웨어 개발자들은 이를 코드에 지능을 통합하는 더 저렴하고 견고한 방법으로 보고 있다. 예를 들어, 에이전트 인프라를 만드는 회사 Vercel의 소프트웨어 엔지니어 프라닛 샤르마(Pranit Sharma)는 OpenAI의 ChatGPT Luna 5.6을 사용해 명령어의 안전성을 검토하는 분류기를 운영해왔다고 말했다. Vercel이 OpenAI의 Luna를 Jev로 교체하자 5~18배 더 빠르고 더 정확한 결과를 얻었다.
또 다른 개발자인 Bryo AI의 CTO 니힐 무드홀카(Nikhil Mudholkar)는 비즈니스 이메일 분류 작업에서 Jev를 Gemini와 비교 테스트했다. 테스트에서 Gemini가 약간 더 정확했지만 10~20배 더 비쌌다. 무드홀카에게 더 흥미로웠던 것은 Jev의 신뢰도 점수였다. "실제 확률을 돌려주는 유일한 모델이어서 워크플로 자동화에 이상적입니다!"
특정 사용 사례에서 LLM을 대체하는 것 외에도, 이 새 모델은 LLM을 보완하는 역할도 할 수 있다. 잘못된 행동을 감시하는 스마트 검증 장치로 쓰이는 것이다. 에이전트로 에이전트를 감시하는 것은 금방 비용이 커지지만, Jev로 하면 합리적이라고 알메이다는 주장한다. 그는 사용자들이 Jev를 활용해 LLM 에이전트의 트레이스를 추적하고 탈옥(jailbreak)을 방지할 것으로 본다.
오픈소스 모델 하네스 Pi를 만드는 Earendil의 CTO 아르민 로나처(Armin Ronacher)는 "결국 환각 문제를 어느 정도 사용자에게 위임하는 셈"이라고 설명했다. "사용자는 판단해야 합니다. 확률이 50%만 돌아오면 동전 던지기나 다름없으니 무시하고, 95%라면 활용할 수 있다고요." 로나처는 Jev의 또 다른 잠재 용도로 모델 라우팅을 꼽았다. 특정 작업에 어떤 모델이 필요한지 예측하는 것은 유용하지만 LLM으로 하면 비싸다. Jev의 저비용과 고속 덕분에 이런 실시간 분류가 가능해진다.
그것이 알메이다의 희망이다. 모델 이름은 19세기 경제학자 윌리엄 스탠리 제번스(William Stanley Jevons)에서 따왔다. 제번스의 역설은 상품 비용이 하락하면 오히려 더 많이 사용되게 된다는 것이다. 이 경우 지능의 비용 하락은 광범위한 배치로 이어질 것이다. 알메이다는 "지능적인 소프트웨어가 곳곳에, 창발적이고 분산된 방식으로 존재하게 될 것이라 생각합니다. 지금 사람들이 만들려는 메가 앱보다는 초기 인터넷에 훨씬 가까운 모습일 것"이라고 말했다.
알메이다는 모델의 아키텍처에 대해 함구하고 있으며, 외부 관찰자들은 오픈 웨이트 LLM 위에 구축된 것으로 추정하고 있다. 회사는 Jev를 추론보다 직관에 초점을 맞추고, 정확히 올바른 작업에 특화된 '시스템 원(System One) 모델'이라 부른다.
ChatGPT broke Diogo Almeida's heart. Almeida was an OpenAI researcher who helped build the chatbot and then invent reinforcement learning from human feedback (RLHF), the model-training technique perhaps most responsible for our current age of AI. But despite its capabilities, he was disappointed. "We have lightning in a bottle, and yet it is not useful," Almeida told TechCrunch. "I've been battling that problem since then. It took me a while to come to the conclusion: the problem is we are optimizing for human language … We have been super good at human language for four years, but it's not useful for automation because computers speak a different language." Two years ago, Almeida left OpenAI to start TypeSafe AI , a startup trying to fix that problem. This week, the company released a new transformer-based model, Jev , that is not a large language model (LLM). It doesn't output text, but instead produces probabilities, or what the company calls "calibrated decisions." Eschewing language does a few things: It makes the model incredibly cheap and fast, and because users define the outputs in advance, it cannot hallucinate. Its output tokens are free, and input tokens are metered by the billion, not the million. Developers are taking a great interest in the product; the company briefly lost the ability to serve users from its API because demand was so high. Jev appears most useful for software automation. Thus far, software developers see it as a cheaper and more robust way to incorporate intelligence into their code. For example, Pranit Sharma, a software engineer at Vercel, a company making agentic infrastructure, said his company had used OpenAI's ChatGPT Luna 5.6 to run a classifier to review commands for safety. When Vercel replaced OpenAI's Luna with Jev, it got results 5 to 18 times more quickly and with greater accuracy. Another developer, Bryo AI CTO Nikhil Mudholkar, tested Jev against Gemini for classifying business emails. In his test, Gemini was slightly more accurate, but 10 to 20 times more expensive. More interesting to Mudholkar were Jev's confidence scores — "it is the only one that hands back a real probability which makes it ideal for automating workflows!!" Besides replacing LLMs in certain use cases, the new model can also augment them, acting as a smart check on misbehavior. Using agents to monitor agents can quickly become expensive, but using Jev to do so, Almeida argues, makes sense. He sees users deploying Jev to track LLM agent traces and prevent jailbreaks. "At the end of the day, it delegates the hallucination problem a little bit to the user," explained Armin Ronacher, the CTO of Earendil, which builds the open-source model harness Pi. "The user has to say, okay, if this only comes back with 50% probability, maybe this is a coin toss, and I disregard it. But if it's 95%, sure, then I can do something with it." Another potential use for Jev is model routing, Ronacher said. Predicting whether a given workload requires a specific model would be useful, but using an LLM for the job would be expensive. Jev's low cost and speed make that kind of real-time sorting possible. And that's Almeida's hope. The model is named after William Stanley Jevons, the 19th-century economist whose eponymous paradox describes how the falling cost of a commodity can lead to it being used more and more. In this case, the falling cost of intelligence should lead to its widespread deployment. "We think that there's just going to be smart software all over the place in a way that's emergent and distributed … much more like the early internet than you know like the the mega apps that people are trying to build right now," Almeida said. Almeida is tight-lipped about the model's architecture, which outside observers suspect is built on top of an open-weight LLM. The company refers to Jev as a "System One model," focused on intuition rather than reasoning, and specifically focused on the right task. Almeida says Jev is trained exclusively on synthetic data using a technique he calls "reinforcement learning from calibrated decisions." "We made an early bet that we will be making all of our data, and that has been one of the best bets I've ever made in my life—better than our launch, in my opinion, better than RLHF," he told TechCrunch. "Half of [our company] is a lab that basically owns this entire subfield of statistically well-understood synthetic data, and that is now my life joy." For now, Jev stands alone as this kind of model, but Ronacher expects that competitors will spring up now that its utility is apparent. "We should have seen this earlier in many ways, but presumably because the LLMs are so cheap and subsidized, you often don't have to be creative yet," he said. TypeSafe itself will be building more versions of the model, in new modalities. Asked if TypeSafe is a frontier lab, Almeida said, "the main product of Frontier Labs is fear or hype. I would like our main product to be intelligence…[but we are] not a lab in the sense of, you know, like bet on infinite wealth, or a religion, or building God in a data center, or whatever is the thing of today." Topics AI When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Tim Fernholz Senior Reporter Tim Fernholz is a journalist who writes about technology, finance and public policy. He has closely covered the rise of the private space industry and is the author of Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race. Formerly, he was a senior reporter at Quartz, the global business news site, for more than a decade, and began his career as a political reporter in Washington, D.C. You can contact or verify outreach from Tim by emailing tim.fernholz@techcrunch.com or via an encrypted message to tim_fernholz.21 on Signal. View Bio October 13 - 15 San Francisco Last day to book an exhibit table is September 18. Don’t miss out on high-impact leads, investor access, and a brand spotlight in Disrupt’s Expo Hall. BOOK NOW Most Popular OpenAI caught its models leaving notes to successors to hide bad behavior Rebecca Bellan Microsoft exec called AI scraping ‘the largest theft of labor in human history,' new unredacted filings reveal Rebecca Bellan Clean tech startup Fluxnium found a way to tap 50,000 years' worth of nuclear fuel Tim De Chant Jensen Huang took a call from Trump, and showed off something else, too Connie Loizos The 9 buzziest startups from Y Combinator’s latest Demo Day, according to VCs Marina Temkin Dominic-Madori Davis Tesla says it will finally unveil the second-generation Roadster on October 1 Anthony Ha Revolut confirms customer data breach through fake government requests Jagmeet Singh