복스트랄 3, 듣고 말하는 AI에서 일하는 음성 에이전트로

미스트랄(Mistral)이 음성을 듣고 답하는 데 그치지 않고, 통화 중 업무까지 처리하는 ‘복스트랄 3(Voxtral 3)’를 공개했다. 50개 넘는 언어를 받아 적는 모델, 상황에 맞춰 말투를 바꾸는 음성 생성 모델, 외부 시스템을 호출하는 음성 에이전트 SDK를 한 묶음으로 내놨다. 핵심은 음성 인식이나 합성 모델 하나의 성능보다, 듣기·판단·실행·응답을 실시간 대화 안에서 얼마나 매끄럽게 연결하느냐다. 전화 상담과 예약 같은 실제 업무를 겨냥한 만큼 속도뿐 아니라 잘못 알아듣거나 섣불리 실행하는 문제도 함께 봐야 한다.

핵심요약

  • 미스트랄은 복스트랄 3에서 음성 인식·추론·도구 호출·음성 응답을 연결해, 통화 중 여러 단계의 업무를 처리하는 에이전트 구성을 제시했다.
  • 음성 인식 모델은 50개 넘는 언어와 화자 구분, 전문용어 보정을 지원해 상담처럼 여러 사람이 특정 분야의 용어를 쓰는 환경을 겨냥한다.
  • 실시간 인식 모델은 500밀리초 미만의 지연 시간을 내세우고 발화 종료도 감지해, 상대의 말을 끊지 않으면서 빠르게 답하는 문제에 집중한다.
  • 음성 생성 모델은 35개 넘는 언어와 50개 넘는 방언을 지원하며 감정·속도·강세를 조절해, 정확한 문장을 자연스러운 대화로 바꾸려 한다.
  • 미스트랄은 유럽 호스팅 API와 자체 인프라 배포를 제시했지만, 토론에서는 실제 업무 연동의 안전성과 모델 공개 범위를 따져야 한다는 의견이 나왔다.

프랑스어 의뢰서에서 예약까지

미스트랄이 앞세운 시연은 영어로 전화한 사람이 프랑스어 진료 의뢰서를 들고 피부과 예약을 부탁하는 상황이다. 에이전트는 잘못 말했다가 고친 의뢰서 번호를 받아들이고, 프랑스어 문장의 요지를 영어로 설명한 뒤 가능한 진료 시간을 제안한다. 이용자가 동의하자 예약 도구를 호출하고, 지참할 서류와 이후 안내 방식까지 답한다. 음성을 문자로 바꾸는 시연이 아니라 여러 언어와 외부 업무 시스템을 오가는 대화라는 점을 보여주려는 구성이다.

미스트랄은 음성 에이전트가 제대로 일하려면 언어·억양·화자·말 끊김을 알아듣고, 맥락에 맞춰 판단하며, 자연스럽게 말하면서, 연결된 시스템에서 여러 단계를 실행해야 한다고 설명한다. 어느 한 단계만 빨라도 나머지가 막히면 전화 통화는 어색해진다. 복스트랄 3는 이 과정을 하나의 실시간 스트리밍 흐름으로 잇기 위해 음성 모델 제품군과 음성 에이전트 SDK를 함께 내놓은 것이다. 고객센터, 서비스 데스크, 가상 비서, 손을 쓰지 않고 조작하는 보조 도구가 주요 활용 대상으로 제시됐다.

50개 넘는 언어를 듣는 두 인식 모델

고정밀 인식을 맡는 ‘복스트랄 스몰 트랜스크라이브 3(Voxtral Small Transcribe 3)’는 50개 넘는 언어를 지원한다. 미스트랄은 지원 범위에 EU 공식 언어 24개와 상대적으로 데이터가 적은 아시아·인도계 언어도 포함된다고 밝혔다. 화자 분리(누가 언제 말했는지 구분하는 기능)와 맥락 보정(미리 준 핵심어를 참고해 인식 정확도를 높이는 기능)도 지원한다. 회의나 상담에서는 문장 자체뿐 아니라 누가 말했는지, 고유명사와 전문용어를 제대로 받아썼는지가 기록의 쓸모를 좌우한다.

미스트랄은 이 모델이 다국어 전사와 화자 분리 평가에서 위스퍼(Whisper), 스크라이브 v2(Scribe v2), 제미나이 3.5 트랜스크라이브(Gemini 3.5 Transcribe)보다 좋은 결과를 냈다고 주장한다. 제시된 비교에는 45개 언어를 교집합으로 삼은 음성 인식 평가와 공개 화자 분리 평가가 포함된다. 일본어·한국어·태국어·중국어에는 글자 오류율을, 그 밖의 언어에는 단어 오류율을 적용했다. 핵심어를 미리 알려주면 해당 표현을 찾아내는 비율이 얼마나 달라지는지도 별도로 측정해, 추가 학습 없이 특정 분야의 어휘를 다룰 수 있다는 점을 강조했다.

작은 모델인 ‘복스트랄 미니 트랜스크라이브 3(Voxtral Mini Transcribe 3)’는 40억 개 매개변수를 사용하며, 미스트랄이 제시한 전사 가격은 분당 0.0035달러다. 정확도 중심 모델과 비용·속도 중심 모델을 나눠 업무량에 맞게 고르도록 한 구성이다. 같은 문장을 잘 받아쓰더라도 처리 시간과 비용이 다르면 적용할 수 있는 통화량이 달라진다. 미스트랄은 두 모델 모두 핵심어와 자유 형식의 참고 문장을 받아 전사 결과를 보정할 수 있다고 설명한다.

말이 끝난 순간을 읽는 실시간 전사

전화 상담에서 특히 어려운 순간은 상대가 잠깐 숨을 고른 것인지, 말을 끝낸 것인지 판단할 때다. ‘복스트랄 리얼타임 트랜스크라이브 3(Voxtral Realtime Transcribe 3)’는 35개 넘는 언어에서 500밀리초 미만의 지연 시간으로 전사하도록 설계됐다. 화자 분리와 맥락 보정도 지원해, 빠른 인식이 필요한 대화에서도 앞서 나온 기능을 쓸 수 있게 했다. 미스트랄은 별도로 35개 언어를 대상으로 한 실시간 전사 오류율 비교를 제시했다.

이 모델은 발화 종료 감지(상대의 말이 끝났는지 판단하는 기능)에 소리의 특성과 발언의 뜻을 함께 반영한다. 너무 늦게 반응하면 통화가 끊기는 듯하고, 너무 빨리 반응하면 아직 말하는 사람을 가로막는다. 미스트랄은 이 판단으로 응답 지연을 줄이면서 잘못 끼어드는 경우도 낮추려 한다고 설명한다. 인식 속도가 실제 대화 품질로 이어지려면 단어를 빠르게 적는 능력뿐 아니라 언제 답을 시작할지도 맞혀야 한다는 얘기다.

감정과 발음을 조절하는 목소리

답변을 소리로 내보내는 ‘복스트랄 미니 TTS 3(Voxtral Mini TTS 3)’는 35개 넘는 언어와 50개 넘는 방언을 지원한다. 미스트랄은 대화의 내용에 따라 감정, 말하는 속도, 강세를 조절하고, 별도 지시가 없어도 문맥에 맞는 말투를 선택한다고 설명한다. 배치 처리와 실시간 처리 모두 제공하며, 제시된 가격은 문자 100만 개당 13달러다. 미스트랄은 이를 오픈AI(OpenAI), 딥그램(Deepgram), 일레븐랩스(ElevenLabs), 제미나이 계열의 비교 대상 모델보다 낮은 운영 비용이라고 소개했다.

음성 생성에서 문제가 되는 것은 감정 표현만이 아니다. 전화번호, 시간, 사람 이름처럼 틀리게 읽으면 곤란한 표현과 낯선 단어의 발음도 제어해야 한다. 미스트랄은 발음 힌트, 사용자 지정 지시, 어휘 목록을 지원하고, 숫자와 고유명사를 다룬 고객지원 평가 및 여러 언어의 음성 품질 평가 결과를 제시했다. 현지화 평가에는 발음뿐 아니라 존댓말과 반말에 해당하는 격식 차이, 날짜·시간·주소·통화 단위의 표현 방식도 포함됐다.

기본 제공 목소리는 한국어를 포함한 18개 언어에서 사용할 수 있다. 미스트랄은 전문적인 용도를 위한 ‘프로 보이스(Pro Voice)’ 적응 기능도 소개했다. 30분 분량의 음성으로 화자의 개성, 감정 표현 범위, 말하는 방식을 여러 언어에 걸쳐 재현한다는 설명이다. 이는 기업이 일관된 목소리를 쓰도록 돕는 기능인 동시에, 실제로 누구의 목소리를 어떤 권한으로 사용할지 신중히 정해야 하는 기능이기도 하다.

끊김 없는 통화와 도구 호출

음성 에이전트 SDK는 라이브킷(LiveKit)을 바탕으로 인식, 추론, 음성 응답을 하나의 스트리밍 흐름으로 묶는다. 실시간 전사 모델이 듣고 발화 종료를 판단하면, 미스트랄 스몰(Mistral Small) 같은 범용 모델이 요청을 해석하고 필요한 도구를 호출한다. 이후 음성 생성 모델이 앞선 대화에 맞는 말투로 답한다. 미스트랄은 각 단계가 앞 단계의 완전한 종료를 기다리지 않는 구성 덕분에 한 차례 주고받는 대화를 1초 안에 마칠 수 있으며, 상대가 끼어들면 에이전트도 말을 멈춘다고 밝혔다.

에이전트가 호출할 수 있는 기능으로는 본인 확인, 청구서 조회, 예약이 제시됐다. 함수 호출(모델이 외부 기능에 실행을 요청하는 방식), 웹 검색, 자체 시스템의 자료 검색을 통화 중 사용할 수 있다. 전화는 SIP(인터넷 기반 전화 연결 규약)로 걸거나 받을 수 있고, 브라우저·앱에서는 웹RTC(WebRTC)를 이용하며 기존 전화·자동응답·고객센터 소프트웨어와도 연결된다. 인식·추론·음성 생성이 별도 모델이어서 추론 모델이나 목소리, 언어를 바꿀 때 에이전트 전체를 다시 작성하지 않아도 된다는 것이 미스트랄의 설명이다.

API와 자체 인프라 사이의 선택

복스트랄 3는 미스트랄 API에서 이용할 수 있으며, 유럽·미국·글로벌 엔드포인트가 제공된다. 미스트랄의 스튜디오(Studio)에서는 음성 에이전트, 전사, 음성 생성, 음성 복제를 시험할 수 있다. 미스트랄은 자체 서버나 프라이빗 클라우드에서 전체 구성을 운영하려는 조직에는 별도 상담을 안내한다. 어디에서 음성을 처리하고 대화 내용을 남길지 통제하려는 수요를 배포 방식에 반영한 셈이다.

다만 ‘자체 인프라에서 운영할 수 있다’는 설명과 모델을 공개된 가중치로 누구나 내려받을 수 있는지는 서로 다른 문제다. 기업에는 음성 데이터의 처리 위치와 보관 여부가 중요하지만, 개발자에게는 모델을 얼마나 자유롭게 시험하고 수정할 수 있는지도 중요하다. 미스트랄이 제시한 선택지는 API로 바로 시작하거나 별도 절차를 거쳐 자체 환경에 구축하는 방식이다. 복스트랄 3를 둘러싼 토론이 성능과 함께 배포 조건으로 향한 이유도 여기에 있다.

커뮤니티 의견

한 사용자는 시연 속 피부과 예약이 너무 빨리 잡힌다며 프랑스에서 그런 일정 확보는 현실적이지 않다고 지적했다. 답글에서는 예약 상대가 실제 의료기관이 아니라 일정을 처리하는 AI라면 가능할지도 모른다는 농담도 나왔다. 음성 에이전트의 반응 속도와 실제 서비스의 처리 속도는 다르다는 비판이다.

다른 사용자는 마이크로소프트 팀즈(Microsoft Teams)와 8x8에서 만든 통화 기록의 품질이 낮아, 그 내용을 언어 모델에 믿고 넣기 어려웠다고 했다. 새 음성 모델을 기존 업무 도구의 통화 스트림에 연결할 수 있는 플러그인을 바란다는 의견이다. 뛰어난 모델이 나와도 매일 쓰는 제품에 적용되지 않으면 현장의 개선으로 이어지지 않는다는 불만이 담겼다.

업무 시스템과의 연결을 위험 요소로 보는 의견도 나왔다. 한 사용자는 에이전트가 사내 시스템과 웹사이트를 그대로 다룰 수 있다면, 통화자가 권한이 있는 척하며 결제 같은 행동을 유도할 수 있다고 우려했다. 답글에서는 사기를 더 그럴듯하게 만드는 데 쓰일 수 있다는 경고와 함께, 에이전트를 격리된 환경에 두고 이용자에게 직접 공개해도 괜찮은 API에만 접근시키자는 제안이 이어졌다.

로컬 실행을 중시하는 사용자는 이전 세대 복스트랄 음성 인식 모델을 일반 하드웨어에서 오프라인으로 구동한 경험을 소개했다. 반면 새 제품이 닫힌 모델이라는 아쉬움도 제기됐고, 자체 배포가 가능하다는 문구가 정확히 무엇을 허용하는지 묻는 답글이 달렸다. 토론은 모델을 직접 내려받아 실행하는 자유와 계약을 통해 자체 시설에 배포하는 방식이 같지 않다는 질문으로 이어졌다.

목소리의 언어 전환을 듣고 웃었다는 의견도 있었다. 한 사용자는 에이전트가 프랑스어를 읽은 뒤 영어에 프랑스어 억양이 섞였다고 했고, 답글에서는 프랑스어와 독일어 발음에 영어 억양이 들린다는 반응이 나왔다. 여러 언어를 지원한다는 수치와 언어를 넘나드는 대화에서 일관되게 자연스럽게 들리는 경험은 별개라는 관찰이다.

미스트랄의 공개 모델 전략을 묻는 사용자도 있었다. 답글에서는 음성 인식 시장은 텍스트 생성보다 공개 모델 선택지가 적고, 화자 분리처럼 쓸 만한 기능에는 비용을 내야 하는 경우가 많다는 의견이 나왔다. 동시에 미스트랄이 최근 다른 공개 가중치 모델을 내놓았다는 반론도 제시됐다. 복스트랄 3의 배포 방식에 대한 불만을 회사 전체의 공개 모델 중단으로 곧장 연결하지는 말자는 취지다.

실용적인 질문은 자막과 평가 기준으로도 옮겨갔다. 일부 사용자는 기존 자막의 타임스탬프를 로컬 도구로 고치거나 음성과 자막을 맞춘 경험을 나눴고, 유튜브 자동 자막의 품질이 기대에 못 미치는 이유로 처리 규모와 비용을 거론했다. 음성 에이전트를 만든다는 사용자는 단어 오류율과 목소리 품질보다 지연, 끼어들기 처리, 감정에 맞춘 응답이 더 큰 격차라고 봤다. 또 다른 의견은 복스트랄 3의 강점이 인식·합성 모델 자체보다 실시간 추론과 도구 호출을 연결하는 방식에 있을 수 있다고 평가했다.

핵심통찰

복스트랄 3가 바꾸려는 것은 ‘말을 알아듣는 AI’의 성적표가 아니라, 전화 한 통 안에서 이해와 실행이 이어지는 방식이다. 전사 정확도와 음성 품질은 출발점이고, 실제 품질은 상대의 말을 끊지 않으면서 빠르게 답하고, 권한이 허용한 일만 제대로 처리할 때 드러난다. 앞으로는 발표된 지연 시간과 다국어 평가만큼이나 기존 업무 도구에 얼마나 쉽게 붙는지, 자체 배포 조건이 무엇인지, 잘못된 도구 호출을 어떻게 막는지를 지켜봐야 한다.


원본: Voxtral 3: Voice Agent SDK & Speech Models in 50+ Languages

토론: Hacker News