TechCrunch AI • 10일 전

세일즈포스·엔비디아의 추론 모델 '코아', AI 랩들이 두려워할 존재

IMP

7/10

핵심 요약

세일즈포스가 드림포스 컨퍼런스에서 엔비디아의 오픈 웨이트 모델 네모트론(Nemotron) 기반으로 자체 추론 모델 '코아(Koa)'를 발표했습니다. 코아는 영업·마케팅·고객지원 업무에 특화되도록 사후 학습(post-training)되었으며, 실제 고객 데이터를 사용하지 않고 합성 데이터로 훈련되어 데이터 유출 우려가 없고, 토큰 효율이 높아 비용도 절감됩니다. 이는 기업용 AI 수요가 프론티어 랩들의 폐쇄형 모델과 점점 달라지고 있음을 보여주는 사례입니다.

번역된 본문

코아(Koa)라는 새로운 AI 모델은 세일즈포스가 이번 주 대규모 기술 컨퍼런스인 드림포스(Dreamforce)에서 발표한 가장 중요한 소식 중 하나입니다. 코아는 엔비디아의 오픈 웨이트(open-weight) 모델인 네모트론(Nemotron)을 기반으로 구축된 세일즈포스의 첫 추론 모델입니다. 두 회사는 코아가 영업, 마케팅, 고객 지원 관련 작업에 뛰어나도록 공동으로 사후 학습(post-training)을 진행했습니다.

코아는 기업 세계의 AI 니즈가 프론티어 랩들이 제공하는 것과 점점 멀어지고 있음을 보여주는 대표적인 사례입니다. 독점 AI 랩들은 기업이 파일, 코드, 프롬프트, 피드백을 자신들의 모델과 에이전트에 직접 업로드하고 그것에 수백만 달러를 지출하기를 원합니다. 하지만 세일즈포스는 이 모델을 통해 기업 고객들에게 다음과 같은 것들을 제공합니다:

폐쇄형 프론티어 모델의 오픈 웨이트 대안
불가능한 수학 문제를 풀기보다 특정 업무를 수행하도록 훈련된 모델
실제 고객 데이터를 학습하지 않아 유출 가능성이 없는 모델
동일한 작업에 더 적은 토큰을 사용해 AI 지출을 줄이는 모델
필요에 따라 AI '게이트웨이'를 통해 자동으로 라우팅되는 모델
세일즈포스에 내장된 모든 고객 데이터 요구사항과 보안을 따르는 모델

코아는 세일즈포스가 에이전트포스(Agentforce) 플랫폼에서 제공하는 다른 모델들의 대안으로 제공될 예정입니다. 에이전트포스는 고객이 고객 서비스 응대나 예약 일정 관리 같은 반복 작업을 수행하는 에이전트를 구축하는 플랫폼입니다.

세일즈포스 AI 부문 부사장(EVP) 제예시 고빈다라잔(Jayesh Govindarajan)은 테크크런치에 "우리는 에이전트포스 포트폴리오의 일부인 여러 소규모 작업 특화 언어 모델을 구축해왔습니다. 하지만 추론은 항상 프론티어 모델 제공사에 의존해왔습니다. 지금까지는요"라고 말했습니다.

코아 이전에는 에이전트가 장기 실행 또는 다단계 작업을 추론해야 하는 경우, 해당 프롬프트는 에이전트포스의 AI 게이트웨이(어떤 모델이 어떤 요청을 처리할지 결정하는 시스템)를 통해 클로드(Claude)나 챗GPT 같은 프론티어 모델로 라우팅되었습니다.

고빈다라잔은 "이전에 이걸 하지 못했던 이유 중 하나는, 우리는 항상 자체 기업용 프론티어 모델을 훈련하고 싶었습니다. 하지만 문제는 항상 시작할 수 있는 사전 학습된 베이스 모델의 부재였습니다. 네모트론이 등장하기 전까지는 첫째, 사용 가능한 미국산 주권 사전 학습 모델이 없었고, 둘째, 최고 수준(state of the art)의 모델이 없었으며, 셋째, 명확한 데이터 출처를 가진 모델이 없었습니다. 우리는 큐웬(Qwen)이 무엇으로 훈련되는지 전혀 알 수 없습니다"라고 말했습니다. 그는 알리바바가 제작한 인기 있는 중국 오픈 웨이트 모델을 언급한 것입니다.

이런 방식의 사후 학습은 범용 시스템을 영업 및 고객 지원 지식에 능숙한 시스템으로 전환하는 것을 의미하며, 이를 위해 세일즈포스와 엔비디아는 세일즈포스 고객의 실제 데이터를 전혀 사용하지 않았습니다. 대신 고객의 패턴을 모방한 합성 데이터를 만들었습니다.

고빈다라잔은 "실제로 고객 서비스 환경을 시뮬레이션했습니다. 화가 난 고객이 고객센터에 전화하는 상황부터 거래를 성사시키려는 영업 전문가까지, 페르소나 기반 고객 서비스 전문가를 구현한 것입니다"라고 설명했습니다.

코아는 세일즈포스 고객이 에이전트에게 맡기길 원하는 업무 작업에서, 동일한 작업을 클로드나 챗GPT로 보내는 것보다 더 뛰어나고 토큰 소모 측면에서 더 저렴하도록 설계되었습니다.

엔비디아의 기업용 생성형 AI 소프트웨어 부사장 카리 앤 브리스키(Kari Ann Briski)는 테크크런치에 "네크모트론을 통해 우리는 토큰 효율적인 추론을 위한 독특한 아키텍처를 갖추고 있습니다. 이는 필요한 세 가지, 즉 주권 AI, 첫 토큰까지의 응답 시간, 효율적인 추론이 모두 갖춰진 것으로, 전체적인 토큰 경제학 측면에서 중요합니다"라고 말했습니다.

다만 세일즈포스가 앤스로픽이나 오픈AI를 완전히 버리는 것은 아닙니다. 세일즈포스는 최근 앤스로픽과 '클로드포스(ClaudeForce)'라는 파트너십을 발표했는데, 이를 통해 기업은 자사 데이터가 세일즈포스의 시스템 오브 레코드에 남아 세일즈포스 인프라로 보호되는 가운데 클로드를 AI 인터페이스로 사용할 수 있습니다.

주제: AI, 기업용, 엔비디아, 세일즈포스, TC

본문의 링크를 통해 구매하면 소액의 수수료를 받을 수 있습니다. 이는 편집 독립성에 영향을 주지 않습니다.

줄리 보어(Julie Bor)

원문 보기

원문 보기 (영어)

A new AI model called Koa is one of the biggest announcements from Salesforce this week at its giant Dreamforce tech conference. Koa is the company's first reasoning model, built on Nvidia's open-weight Nemotron model. The two companies worked together to post-train Koa to excel at sales, marketing, and customer-support-related tasks. Koa is a shining example of how the enterprise world's needs for AI are diverging from what the frontier labs are offering. Proprietary AI labs would rather have enterprises uploading files, code, prompts, and feedback directly into their models and agents, and spending millions to do so. But with the model, Salesforce is offering its enterprise customers: an open-weight alternative to closed frontier models a model trained to do specific work tasks (rather than to solve impossible math problems ) one that has not ingested any actual customer data and therefore cannot leak it to others a model that helps reduce AI spending, since it uses fewer tokens to do the same work one that can be automatically routed through an AI "gateway," depending on the need and a model that follows all of a customer's data requirements and security embedded within Salesforce. Koa will be provided as an alternative to the other models Salesforce offers in its Agentforce platform, where its customers build agents to handle rote tasks like answering customer service questions or scheduling appointments. "We've built many small task-specific language models, which are part of Agentforce's portfolio," Jayesh Govindarajan, EVP of Salesforce AI, told TechCrunch. "But reasoning has always been something that we've relied on the frontier model providers for. Until now." Before Koa, if an agent needed to reason through a long-running or multi-step task, those prompts would be routed to a frontier model like Claude or ChatGPT through Agentforce's AI gateway (the system that decides which model handles which request). "One of the reasons we hadn't done this before, train our own enterprise-grade frontier model — we always wanted to — but the challenge has always been the lack of a pre-trained base model to start with. Until Nemotron came along, there was no sovereign American pre-trained model that was available, one, and two, that was state of the art, and, three, that had clear data provenance. We have no idea what Qwen trains on," Govindarajan said, referring to the popular Chinese open-weight model produced by Alibaba. Post-training a model like this means taking it from a general-purpose system to one well-versed in sales and customer support knowledge, and to do that, Salesforce and Nvidia did not use any actual data from Salesforce's customers. Instead, they crafted synthetic data that mimicked customers' patterns. "We actually simulated a customer service environment with a persona customer service professional, including irate customers that call into the customer service center, all the way to a sales professional who's trying to close a deal," Govindarajan described. Koa is meant to be better at the work tasks Salesforce customers want an agent to do — and cheaper, in terms of tokens burned — than sending those same tasks to Claude or ChatGPT. With Nemotron, "we have a unique architecture for inference to be token efficient," Kari Ann Briski, Nvidia's VP of Generative AI Software for Enterprise, told TechCrunch. "It's kind of the trifecta of things that you need to have: sovereign AI, time to first token, efficient reasoning, for the tokenomics of it all." However, Salesforce isn't exactly abandoning Anthropic or OpenAI. It just announced a partnership with Anthropic called ClaudeForce that allows companies to use Claude as their AI interface, while their data remains in Salesforce's system of records, secured by its infrastructure. Topics AI , Enterprise , nvidia , Salesforce , TC When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Julie Bort Venture Editor Julie Bort is the Startups/Venture Desk editor for TechCrunch. You can contact or verify outreach from Julie by emailing julie.bort@techcrunch.com or via @Julie188 on X. View Bio October 13 - 15 San Francisco Last day to book an exhibit table is September 18. Don’t miss out on high-impact leads, investor access, and a brand spotlight in Disrupt’s Expo Hall. BOOK NOW Most Popular Revolut confirms customer data breach through fake government requests Jagmeet Singh OpenAI puts Pro subscriptions on hold due to Astra demand Sarah Perez Bending Spoons to buy collaboration tools maker Miro for $1.36B, 90% less than its 2022 valuation Ram Iyer ID verification giant IDScan confirms data breach with more than 150 million driver's licenses stolen Zack Whittaker Automattic's board forces CEO Matt Mullenweg into leave of absence Julie Bort Sarah Perez Apple unveils its first foldable, the iPhone Duo Ivan Mehta ‘Gambling with our lives': Anthropic researcher quits, warns against self-improving AI Rebecca Bellan

세일즈포스 엔비디아 엔터프라이즈AI 추론모델 오픈웨이트