미스트랄, EU 데이터 처리 및 우선 접근 제공...중요한 제한도 동반
미스트랄(Mistral)이 AI 요청을 EU 또는 미국 서버로 라우팅하는 리전별 추론 기능과, 트래픽 폭주 시 대기열을 우선 처리해 주는 Priority Tier(우선 등급)를 유료로 출시했습니다. 데이터 주권과 지연 시간 단축을 기대할 수 있으나, 에이전트나 파일 API 등 상태 저장 기능은 제외되고 가용성 SLA 보장 수치도 낮아 기업 실무자들은 도입 전 세부 제약을 면밀히 검토해야 합니다.
미스트랄(Mistral)이 고객들에게 AI 요청을 유럽 또는 미국 서버를 거치도록 라우팅할 수 있는 옵션을 제공하며, 트래픽 최대치일 때 우선순위 대기열에 액세스할 수 있는 권한을 판매하기 시작했습니다. 두 가지 옵션 모두 추가 요금이 부과되며, 리전별 라우팅이 모든 기능이나 데이터를 아우르는 것은 아닙니다.
기업이 자체 제품에 미스트랄의 AI를 통합할 때, 요청은 해당 제공업체의 서버 중 한 곳으로 전달됩니다. 기업 고객에게는 두 가지 사항이 중요합니다. 서버가 실제로 어디에 위치하는가, 그리고 모두가 동시에 요청을 보낼 때 어떤 일이 발생하는가입니다. 미스트랄은 이제 이 두 가지에 대한 해결책을 판매하며, 이를 더 광범위한 유럽 AI 주권 전략의 일환으로 블로그 게시물을 통해 설명했습니다.
리전별 추론(Regional inference)은 이제 일반적으로 사용할 수 있습니다. 고객은 유럽 엔드포인트(api.eu.mistral.ai) 또는 미국 엔드포인트(api.us.mistral.ai)로 요청을 보낼 수 있으며, 처리 과정은 해당 지역 내에 머물게 됩니다. 이는 고객 데이터가 EU를 결코 떠나지 않는다는 것을 증명해야 하는 은행, 정부 기관 및 보험사에게 중요합니다. 더 짧은 네트워크 경로는 더 낮은 지연 시간(latency)을 의미하기도 합니다. 기본 엔드포인트를 사용하는 경우 요청이 처리되는 위치에 대해서는 어떠한 보장도 받을 수 없습니다. 리전별 라우팅에는 표준 가격에 10%가 추가됩니다.
EU 데이터 처리의 중요한 한계점 하지만 플랫폼의 부가 기능 도구 중 '함수 호출(Function calling, 모델이 외부 API를 트리거하는 기능)'만이 리전별 엔드포인트와 함께 작동합니다. 에이전트(Agents), 일괄 처리(Batch processing), 파일 관리는 해당 리전 엔드포인트에서 사용할 수 없습니다. 모델 선택도 지역에 따라 다릅니다. 미스트랄은 고정된 목록을 게시하지 않으며, 고객은 각 엔드포인트를 쿼리하여 어떤 모델이 있는지 확인해야 합니다.
이러한 제한의 예상되는 이유는 단순한 모델 쿼리와 중간 상태 저장 간의 차이 때문입니다. 표준 모델 호출에는 영구 스토리지가 필요하지 않습니다. 반면 에이전트, 일괄 작업 및 파일 저장은 단일 호출 이후까지도 중간 단계나 업로드된 문서와 같은 데이터를 유지합니다. 미스트랄은 이러한 기능을 "상태 저장(Stateful)"이라고 부릅니다. 회사가 확인하지는 않았지만, 아마도 이 기능들은 추가적인 온사이트(현지) 인프라가 필요할 것으로 보입니다.
또한 그 범위는 "주권(sovereignty)"이라는 단어가 암시하는 것보다 좁습니다. 문서에 따르면, 계정 설정, API 키, 결제 및 사용 통계는 선택한 리전 외부에서 여전히 처리될 수 있습니다. 블로그 게시물은 또한 하청업체에게 지역 외부로의 제한적이고 안전한 데이터 전송도 언급했습니다. 리전별로 적용되는 것은 플랫폼 전체가 아닌 연산(compute) 단계뿐입니다. 요청이 이후에 저장되거나 로깅되는지 여부는 'Zero Data Retention(데이터 보관 제로)'라는 별도의 설정에 따라 결정됩니다.
실제로 이것이 의미하는 바는, 모델에 직접 계약서 텍스트를 보내는 고객은 EU 엔드포인트를 통해 이를 실행할 수 있다는 것입니다. 하지만 Files API를 통한 에이전트나 파일 관리가 필요한 사람에게는 동일한 보장을 받을 수 없습니다.
기업이 더 빠른 대기열에 비용을 지불하는 이유 두 번째 제공 항목은 현재 오픈 베타 버전인 Priority Tier(우선 등급)입니다. 모든 고객은 동일한 데이터 센터를 공유합니다. 한 번에 많은 요청이 몰리면 응답 시간이 길어집니다. Priority Tier는 일종의 패스트 트랙입니다. 혼잡할 때 유료 고객의 요청은 일반 트래픽보다 먼저 처리됩니다. 미스트랄은 고객 서비스 챗봇이나 공장의 생산 시스템처럼 지연 시간이 실제 금전적 손실로 이어지는 사용 사례를 타겟팅하고 있습니다.
이 등급에는 99.5%의 가동 시간 SLA(서비스 수준 계약)가 포함됩니다. 이는 한 달에 대략 3시간 반의 다운타임을 허용하는 계약상 보장된 서비스 수준입니다. 미스트랄의 표준 등급에는 이러한 보장이 없습니다. 고객은 service_tier라는 단일 API 매개변수를 통해 우선 액세스를 활성화합니다. 이 값을 'auto'로 설정하면 용량이 있을 때 요청이 패스트 트랙을 통해 전달됩니다. 기본값은 'standard_only'이며, 이는 일반 경로를 택합니다. 각 고객은 분당 우선 처리되는 요청 수에 대해 개별적으로 협상된 속도 제한(Rate limit)을 받습니다. 이 제한을 초과해도 요청이 실패하지는 않습니다. 그저 표준 처리 방식으로 폴백(Fallback)될 뿐입니다. API 응답은 실제로 어떤 등급이 요청을 처리했는지 보여주므로 고객은 이를 확인할 수 있습니다.