Mistral Voxtral 3: STT·TTS·SDK를 묶은 실시간 음성 에이전트 스택와 SDK 통합
2026년 10월 20일, Mistral이 실시간 음성 에이전트 스택 Voxtral 3를 출시했다. 음성 인식(STT)·음성 합성(TTS) 모델군에 LiveKit 기반 음성 에이전트 SDK를 얹은 구성이다. "듣기·추론·도구 호출·말하기를 하나의 실시간 경험으로" 묶는 게 핵심 제품이라고 Mistral은 말한다 (aiweekly.co, 2026-10-20).
전날(10/19) 시계열 파운데이션 모델 Timestral을 공개한 지 하루 만에 나온 두 번째 연속 릴리스다 (ax-trend #3374). 음성 에이전트 시장은 OpenAI Realtime API·ElevenLabs 같은 단일 벤더 스택 경쟁으로 굳어가는 중이고, Mistral은 전사·추론·TTS·SDK를 한 벤더에서 묶는 전략으로 들어왔다.
스택 구성: 모델군 + SDK
모델은 세 가지다.
Voxtral Small Transcribe 3— 음성→텍스트Voxtral Mini TTS 3— 텍스트→음성- 둘을 실시간 스트리밍 파이프라인으로 묶는 음성 에이전트 SDK (LiveKit 기반)
전사는 50개 이상 언어를 지원하고 24개 EU 공식 언어를 포함한다. TTS는 35개 이상 언어·50개 이상 방언이다. TTS Voxtral Speech 3는 감정·속도·강세 지시 따르기(instruction following)와 30분 분량 음성으로 화자를 복제하는 Pro Voice 기능을 제공한다.
숫자로 읽는 Voxtral 3
| 항목 | 값 |
|---|---|
| FLEURS WER (언어 지정) | 4.1% (Mistral 발표) |
| Whisper large-v3 (같은 기준) | 16.0% / 언어 추론 14.9% |
| 앞서간다고 주장 | Gemini 3.5 Transcribe·Scribe v2·GPT Transcribe |
| 전사 요금 | $0.0035/분 (Mini) · $0.004/분 (Small) · $0.008/분 (Realtime) |
| TTS 요금 | $13/100만 문자 |
| 에이전트 턴 | 1초 이내, barge-in 시 즉시 말 멈춤→듣기 전환 |
Mistral은 TTS 쪽에서 OpenAI TTS-1·Deepgram·ElevenLabs Flash·Gemini Flash보다 비용 효율적이라고 주장한다 (aiweekly.co). 숫자가 맞다면 음성 에이전트의 운영 단가를 끌어내리는 요인이다. 다만 정확도·가격 주장은 전부 Mistral 발표 기준이다. FLEURS의 언어별 세부 결과는 미공개고 고객 사례도 언급 없다.
에이전트 루프: 1초 이내 턴 + barge-in
에이전트 루프의 매 턴이 1초 이내에 끝난다. 사용자가 말하는 중 끼어들면(barge-in) 에이전트가 즉시 말을 멈추고 듣기로 전환한다. 전화 같은 실시간 대화에서 체감이 가장 큰 부분이다.
배포는 EU 호스팅 API 또는 자체 인프라 배포 중 선택이다. Mistral은 이를 "sovereign deployment"로 포지셔닝한다 — 음성 처리 위치와 오디오 보관 통제권을 고객에게 준다는 뜻이다. API는 EU·US·글로벌 엔드포인트로 이날부터 제공됐고 Studio 플레이그라운드에서 체험할 수 있다 (glonce.com).
개발자가 보면
콜센터·서비스 데스크·음성 비서처럼 "전화 중 업무 처리"형 에이전트를 만들 때, 전사·TTS·SDK를 따로 꿰매지 않고 한 스택으로 가져갈 수 있다는 게 포인트다. 음성 파이프라인의 개념 구조는 이렇다.
// 개념 코드: Voxtral 3 음성 에이전트 루프
val sdk = Voxtral3.sdk() // LiveKit 기반 실시간 파이프라인
sdk.onTurn { turn ->
val text = sdk.transcribe(turn.audio) // Voxtral Small Transcribe 3
val reply = agent.run(text) // 추론 + 도구 호출
sdk.speak(reply, voice = "pro-voice") // Voxtral Mini TTS 3
}
sdk.onBargeIn {
sdk.stopSpeaking() // 즉시 말을 멈추고 듣기로 전환
}
배경: 이틀 연속 릴리스의 의미
Timestral(10/19)에 이어 Voxtral 3(10/20) — Mistral은 파운데이션 모델 + 실시간 제품 스택을 연달아 내고 있다. 음성 에이전트 시장이 단일 벤더 스택 경쟁으로 굳어가는 타이밍에, "stitching 없이 끝까지"라는 문구로 차별화를 노린다.
원문 이슈
이 글은 ax-trend 이슈 #3376을 바탕으로 작성됐다. 핵심 링크: the-decoder.com — Mistral, Voxtral 3 출시 (2026-10-20), aiweekly.co — FLEURS 4.1% WER (2026-10-20). 관련 이슈: #3374 — Mistral 'Timestral' 시계열 파운데이션 모델.