HN
Hacker News • 29일 전
구글, 실시간 지능형 음성인식 'Gemini 3.5 Transcribe' 공개
IMP 8/10
핵심 요약
구글이 배경 소음, 전문 용어, 말더듬 등 기존 음성인식 모델의 약점을 극복한 음성-텍스트 변환 모델 'Gemini 3.5 Transcribe'를 공개했습니다. 스트리밍 기준 단어 오류율(WER) 4.0%, 비스트리밍 2.6%를 달성했으며, 85개 이상 언어를 자동 감지하고 맞춤 어휘, 화자 구분, 함수 호출 기능을 지원합니다. 개발자는 Live API와 Interactions API를 통해 실시간 스트리밍 및 사전 녹음 오디오 처리에 활용할 수 있습니다.
번역된 본문
Gemini 3.5 Transcribe를 통한 지능형 전사(轉寫)2026년 8월 26일
작성: Diego Melendo Casado(엔지니어링 시니어 디렉터, Gemini Audio), Luke Leonhard(비서실장, Gemini Audio), Gemini Audio 팀
오늘 우리는 지능형 음성 상호작용을 위해 설계된 가장 정밀한 음성-텍스트 변환 모델인 Gemini 3.5 Transcribe를 소개합니다. 배경 소음, 복잡한 전문 용어, 말더듬 정리에서 어려움을 겪는 기존 음성 인식 모델과 달리, Gemini 3.5 Transcribe는 원시 오디오를 정확하고 다듬어진, 포맷된 텍스트로 직접 변환합니다.
Gemini 앱과 안드로이드 등 우리 제품에서 소비자들은 이미 안드로이드의 Rambler나 macOS의 Gemini 앱 같은 새로운 음성 기능을 통해 이 전사 모델의 혜택을 받고 있습니다. 이제 개발자들은 Google AI Studio의 Gemini API와 Gemini Enterprise Agent Platform에서 Gemini 3.5 Transcribe로 유사한 기능을 구축할 수 있습니다.
우리는 3.5 Transcribe가 음성 에이전트, 실시간 자막 도구, 통화 후 분석 파이프라인 등 어떤 개발 워크플로우에도 매끄럽게 통합되도록 구축했습니다. 이 모델은 두 가지 별도의 API로 제공됩니다:
- 실시간 스트리밍: Live API를 통해 gemini-3.5-transcribe-live를 사용하여 대화형 음성 앱을 위한 1초 미만 지연 시간의 지속적 양방향 스트리밍을 제공합니다.
- 사전 녹음 오디오 처리: Interactions API를 통해 gemini-3.5-transcribe를 사용하여 녹음된 오디오, 회의, 통화 기록 등을 화자 속성과 단어 수준 타임스탬프와 함께 전사합니다.
더 정밀하고 지능적인 전사
Gemini 3.5 Transcribe는 사용자의 자연스러운 말하기 스타일을 포착하여 의도를 더 잘 이해하고 맞춤 어휘를 인식하므로, 음성으로 작업을 수행할 수 있습니다.
- 스마트 전사: 자기 수정(예: "화요일에 만나자—아니, 수요일에")을 매끄럽게 처리하고, 필러 워드("음", "어")를 제거하며, 텍스트를 자동으로 포맷합니다.
- 함수 호출(Function calling): 모델이 함수 호출을 통해 복잡한 작업(이미지 생성, 파일 분석 등)을 다른 Gemini 모델에 위임할 수 있습니다. 현재 Gemini macOS 앱에서 사용 가능합니다.
- 더욱 정밀한 전사: Artificial Analysis 측정 기준으로 스트리밍 평균 단어 오류율(WER) 4.0%, 비스트리밍 2.6%를 달성했습니다. 소음이 많은 실제 환경에서도 강력한 성능을 보이며, 우편 번호나 주문 ID 같은 영숫자 개체를 정확하게 포착합니다.
- 맞춤 어휘: 제공된 맞춤 어휘에 맞춰 전사를 유연하게 조정하여 전문 용어와 고유한 철자를 인식합니다.
- 글로벌 언어 지원: 85개 이상의 언어를 자동 감지하고 전사하며, 지역 억양과 다양한 방언을 매끄럽게 처리합니다.
- 다중 화자 식별: 사전 녹음된 오디오에서 최대 3명의 화자 발화를 타임스탬프와 함께 정확하게 속성을 구분합니다(3명 이상 화자 지원은 실험 단계).
Gemini 3.5 Transcribe는 실시간 언어 전환과 끊김 없는 스트리밍 전사를 처리합니다. 스마트 전사 기능으로 말더듬을 정리하는 모습, 다중 화자 속성과 단어 수준 타임스탬프를 갖춘 전사 결과를 확인할 수 있습니다.
Gemini 3.5 Transcribe의 성능은 이전 전사 모델인 Chirp 3 대비 큰 발전을 나타내며, 새로운 기능, 개선된 단어 오류율, 훨씬 향상된 지연 시간을 제공합니다. Artificial Analysis 측정 기준으로 최종 전사까지 걸리는 시간이 70% 개선되었습니다. 주요 언어와 로케일 대상 FLEURS 벤치마크에서도 정밀한 다국어 성능을 보여줍니다.
원문 보기 (영어)
Intelligent transcription with Gemini 3.5 Transcribe Aug 26, 2026 | x.com Facebook LinkedIn Mail Copy link Our latest speech-to-text model designed for precise and intelligent real-time transcription. Diego Melendo Casado Senior Director, Engineering, Gemini Audio Luke Leonhard Chief of Staff, Gemini Audio, on behalf of Gemini Audio Team Share x.com Facebook LinkedIn Mail Copy link . Inlining them here makes them available in the DOM for the page. --> Your browser does not support the audio element. Listen to article [[duration]] minutes This content is generated by Google AI. Generative AI is experimental Voice Speed Voice Speed 0.75X 1X 1.5X 2X Today, we’re introducing Gemini 3.5 Transcribe, our most precise speech-to-text model yet, designed for intelligent voice interactions. Unlike conventional speech recognition models that struggle with background noise, complex jargon, and disfluency cleanup, Gemini 3.5 Transcribe converts raw audio directly into accurate, polished, formatted text. Across our products like the Gemini app and on Android, we’ve seen consumers already benefiting from this transcription model with new voice capabilities like Rambler on Android and in the Gemini app on macOS. Now, developers can build similar capabilities with Gemini 3.5 Transcribe in the Gemini API in Google AI Studio and Gemini Enterprise Agent Platform . We've built 3.5 Transcribe to plug seamlessly into your developer workflows, whether you’re building voice agents, real-time captioning tools, or post-call analytics pipelines. The model is available across two separate APIs: Real-time streaming: Delivers continuous, bidirectional streaming with sub-second latency for interactive voice apps via the Live API using gemini-3.5-transcribe-live . Pre-recorded audio processing: Transcribes recorded audio, meetings, call logs, and more with speaker attribution and word-level timestamps via the Interactions API using gemini-3.5-transcribe . Get more precise and intelligent transcription Gemini 3.5 Transcribe is designed to capture your natural speaking style to better understand your intent and recognize custom vocabulary, so you can execute tasks with your voice. Smart transcription: Seamlessly handles self-corrections (like "let’s meet Tuesday—no, Wednesday" ), removes filler words (“ums” and ‘“ahs"), auto-formats your text. Function calling: The model can delegate complex tasks (such as image generation and file analysis) to other Gemini models via function calls. Currently available in the Gemini macOS app . More precise transcription: As measured by Artificial Analysis, achieves an average Word Error Rate (WER) of 4.0% for streaming and 2.6% for non-streaming use-cases. It shows strong performance across noisy, real-world environments, accurately capturing alphanumeric entities like postal codes and order IDs. Custom vocabulary: Recognizes specialized jargon and unique spellings by seamlessly adapting transcriptions to your provided custom vocabulary. Global language support: Automatically detects and transcribes over 85 languages, seamlessly handling regional accents and diverse dialects. Multi-speaker identification: Accurately attributes speech in pre-recorded audio with timestamps for up to three speakers (support for 3+ speakers is experimental). Gemini 3.5 Transcribe handles live language switches and seamless streaming transcription Watch Gemini 3.5 Transcribe clean up speech disfluencies with smart transcription capabilities. 3.5 Transcribe delivers transcription with multi-speaker attribution and word-level timestamps. Gemini 3.5 Transcribe’s performance represents a major advancement from our previous transcription model, Chirp 3, offering new capabilities, improved word error rates, and significantly better latency. As measured by Artificial Analysis, time to final transcription, for example, improves by 70%. On the FLEURS benchmark across a set of top languages and locales, the model delivers precise multilingual performance, improving over Chirp 3, and achieving a 5.50% WER in streaming mode and 5.04% WER in non-streaming use-cases. Experience smart transcription and advanced dictation In addition to the Gemini API in the Google AI Studio and Gemini Enterprise Agent Platform, 3.5 Transcribe goes further than standard speech-to-text to make working across Google feel more natural and intuitive. By bringing context-aware understanding directly into everyday surfaces like Gboard, Antigravity, the Gemini app, and Chrome, it captures nuances, intent, and inline edits with ease. On Gboard on Android, through the new Rambler feature, 3.5 Transcribe transforms spoken thoughts into well-formatted text, filtering out filler words. You can also use your voice to make edits, correct misspellings, and change the writing style. On Google Antigravity, 3.5 Transcribe pairs screen context and chat history, with your permission, to ensure pinpoint transcription accuracy across file names, agent thoughts, and active documents. In Google AI Studio , you can access 3.5 Transcribe in Build mode to vibe code apps with your voice on the fly. In the Gemini app on macOS , 3.5 Transcribe not only transcribes your free natural speech into clean formatted text, but also enables voice commands that can pair seamlessly with screen context to power complex workflows. By calling on other Gemini models in the background to handle the heavy lifting, the model makes it effortless to summarize local files, repurpose text across apps, or generate images right at your cursor—using just your voice. Coming soon to Chrome , you’ll be able to talk to type in any web field — making it effortless to dictate replies, draft posts, or prompt Gemini in Chrome more naturally and easily with your voice. Gemini 3.5 Transcribe lets you analyze files, generate images, and search in the Gemini app on macOS using just your voice. See how Gemini 3.5 Transcribe uses Rambler on Android to automatically remove filler words and clean up speech. Gemini 3.5 Transcribe leverages screen context on Google Antigravity to ensure accurate transcription accuracy. Read the early reviews By leveraging the Gemini Live API, developer platforms such as Agora , Fishjam , LangChain , LiveKit , Pipecat , Vercel , and Vision Agents enable developers to build and deploy high-performance voice-driven interfaces with ease. These platforms manage complex real-time media streaming infrastructure behind the scenes, allowing developers to focus entirely on crafting the user experience. Companies like vivo, Intellitek Health, and Lingopal have also shared positive feedback on 3.5 Transcribe, highlighting its impressive latency, accuracy, and expansive language support. Start using 3.5 Transcribe today For developers : In public preview in the Gemini API via Google AI Studio and Google Antigravity . For enterprises : In public preview via Gemini Enterprise Agent Platform and coming soon to Gemini Enterprise for Customer Experience . For everyone : In Gemini app on macOS in English, Rambler on Android in select countries and languages , and coming soon to Chrome. Get the latest news from Google in your inbox Sign up for our newsletters with product updates, event information, special offers, and more. Done. Just one step more. Check your inbox to confirm your subscription. You can also subscribe with a different email address . Your information will be used in accordance with Google's privacy policy. You may opt out at any time. Posted in: