前오픈AI 연구원, 텍스트 생성 대신 '판단'만 하는 AI 모델 발표
오픈AI 출신 디오고 알메이다가 공동 창업한 스타트업 TypeSafe AI가 텍스트를 생성하지 않고 미리 정의된 선택지 중 하나를 판단·분류하는 모델 'Jev'를 공개했다. Jev는 70~500ms의 초고속 응답과 백만 입력 토큰당 0.042달러의 저렴한 가격이 강점이지만, 성능 검증의 한계와 '할루시네이션 없음' 주장의 조건부성 등은 유의해야 한다.
前오픈AI 연구원, 텍스트 생성 대신 '판단'하는 AI 모델 구축
스타트업 TypeSafe AI는 챗봇과는 다른 접근 방식의 AI 모델 'Jev'를 선보였다. 텍스트, 이메일, 코드를 생성하는 대신, Jev는 다른 프로그램 내부에서 제한적인 판단과 확률을 제공하도록 설계되었다. 공동 창업자이자 CEO인 디오고 알메이다(Diogo Almeida)는 이전에 오픈AI에서 근무했으며, ChatGPT의 기반을 마련한 InstructGPT 연구의 저자 중 한 명이다.
Jev의 핵심 아이디어는 개발자가 질문과 가능한 답변을 정의하면, 모델이 그 선택지에 점수를 매기는 것이다.
고객에게 답하는 대신 요청을 분류하기 문서에 나온 예시를 통해 실제 활용 모습을 살펴볼 수 있다. 고객이 온라인 쇼핑몰에 주문이 이중으로 결제되었다며 두 번째 결제에 대한 환불을 요청하는 메시지를 보냈다고 하자. 요청을 처리하기 전에 먼저 분류가 필요하다. 결제 관련인가, 배송인가, 반품인가? 고객은 돈을 돌려받기를 원하는가, 아니면 단순히 설명을 원하는가?
이때 개발자는 쇼핑몰 소프트웨어를 Jev에 연결하고, 허용되는 답변과 함께 이러한 질문들을 정의한다. 새 메시지가 올 때마다 소프트웨어는 고객의 텍스트를 Jev에 전달한다. 돌아오는 것은 회신 문장이 아니라 예컨대 '결제 문제'라는 라벨과 고객이 환불을 원할 확률이다.
그러면 쇼핑몰 소프트웨어는 고정된 규칙을 적용할 수 있다. 결제 문제는 회계 부서로 보내고, 환불 요청은 플래그를 붙인다. 라벨이 불분명하면 직원이 요청을 검토한다. Jev는 평가를 제공하고, 소프트웨어는 프로그래밍된 규칙에 따라 어떻게 처리할지 결정한다. 물론 이것만으로 돈이 돌아오는 것은 아니다. 실제 이중 결제가 있었는지는 이후 실제 거래 내역과 대조해 확인해야 한다. 별도의 챗봇이 고객에게 확인된 상태를 알려줄 수 있지만, 분류만을 위해서는 필요하지 않다.
1초 미만의 응답 속도가 새로운 활용처를 열 수도 TypeSafe에 따르면 Jev는 70~500밀리초 만에 답변을 제공하며, 현재 가장 빠른 언어 모델보다도 몇 배나 빠르다. 이 속도를 달성하기 위해 이 모델은 단계별 텍스트 생성을 건너뛰고, 회사에 따르면 여러 출력을 병렬로 계산한다. 같은 호출에 질문을 더 추가해도 응답 시간은 거의 늘어나지 않는다.
이러한 속도 덕분에 AI 어시스턴트의 모든 응답 앞에 검증을 넣을 수 있다. 초안이 지금까지의 대화와 모순되는가? 고객 계정에 기록되지 않은 환불을 주장하는가? TypeSafe는 자사 예시 워크플로에서 이런 검증들을 소개한다. 회사는 영업과 고객 서비스에서의 추가 활용 가능성도 제시하는데, 구매 의도 파악, 주제별 요청 분류, 사람이 개입해야 할 시점 판단 등이 그것이다.
다만 일반 언어 모델도 미리 정해진 카테고리와 데이터 구조를 출력할 수 있다. 오픈AI는 정확히 이런 목적으로 Structured Outputs 기능을 제공한다. 구조화된 응답 형식만으로는 Jev가 경쟁사와 구별되지 않는다. 승리하려면 이러한 작업을 더 빠르고 저렴할 뿐 아니라 충분히 좋은 품질로 처리해야 한다.
공개된 성능 테스트에는 한계가 있다. TypeSafe는 자체 구축한 4개 워크플로를 비교하며, 독립적으로 검증된 정답이 아닌 다른 AI 모델의 응답을 기준으로 삼았다. 평가에는 GPT-6 Astra도 빠져 있다.
다만 이 모델은 매우 저렴하다. TypeSafe는 백만 입력 토큰당 0.042달러의 가격을 제시하며, 출력에 대해서는 비용을 청구하지 않는다고 밝혔다.
할루시네이션이 없다는 것은 실수가 없다는 뜻은 아니다 TypeSafe는 Jev를 할루시네이션을 일으킬 수 없는 모델로 마케팅한다. 하지만 이 보장은 허용된 출력 구조에만 해당한다. 이 모델은 미리 정해진 선택지 밖의 답변을 내놓지 않는다. 그 선택지 안에서 사실적으로 잘못된 선택을 하는 것은 여전히 가능하다. 이 모델은 백그라운드에서 수많은 소규모 판단을 더 경제적으로 만드는 것을 목표로 한다.