一般逐字稿工具的工作方式很好理解。
你录一段声音。
上传。
等 AI 处理。
最后拿到文字。
但如果 AI 要真正变成:
实时字幕、
会议助理、
客服 Agent、
语音助理,
只做到「录完再转」其实还不够。
因为人讲完一句话后,
AI 才开始听、
才开始理解、
才开始想答案,
整段交互就会一直出现延迟。
Microsoft 最新推出的:
MAI-Transcribe-2-Streaming
想解决的就是这件事。
它不是等整段录音结束才吐出 Transcript。
而是:
你还在说,它就已经开始出字。
它和一般语音转文字最大的差别在哪?
关键字是:
Streaming。
普通 Batch Transcription 比较像:
音频完整送进去 →
模型处理 →
回传完整逐字稿。
Streaming 则是:
声音持续进来 →
模型持续产生 Partial Transcript →
取得更多上下文后修正 →
最后确认 Stable Transcript。
也就是说,
屏幕上的文字不是一次全部出现。
而是会像人真的在听一样:
边听、边猜、边修正。
Partial Transcript 是什么?
假设有人正在说:
「明天下午三点帮我安排……」
Streaming Model 不需要等整句说完。
前半句进来后,
可能就先显示:
「明天下午三点……」
接着收到更多声音,
再补完整:
「明天下午三点帮我安排会议。」
前面的结果叫:
Partial。
它还可能改。
后面模型确认后,
才会变成:
Final Transcript。
这个差别对普通录音档好像没有那么重要。
但对 Voice Agent 非常重要。
为什么 Voice Agent 不该等你整句说完?
想像你打电话给客服:
「我想查一下昨天那笔信用卡消费……」
如果 AI 一定要:
等你完全说完 →
语音转文字 →
理解 →
查数据 →
生成答案 →
再念给你听,
你会一直感觉:
它在等。
但如果 Streaming Transcript 在你讲:
「昨天那笔信用卡……」
时就已经开始形成,
后面的 Agent 可以提早:
辨识意图、
准备可能需要的 Tool、
读取相关 Context。
等你讲完时,
前面一部分工作早就开始了。
Microsoft 甚至直接把新的 Streaming Model 定位成:
Voice Agent 的基础组件之一。
Microsoft 说 Partial 最快大约 100 多毫秒开始出现
Microsoft 公布的数据表示,
MAI-Transcribe-2-Streaming 收到 Audio 后,
可以在约:
100 多毫秒
开始产生第一批 Partial Hypothesis。
它不是说:
100 毫秒就完成整句正确逐字稿。
这两件事不能混在一起。
100 多毫秒代表的是:
模型开始形成早期文字结果。
之后随着更多声音进来,
文字还会继续修正。
所以真正重要的不是:
「100ms 把整段话转完。」
而是:
AI 不必等到你停止说话,才第一次知道你在讲什么。
支持 60 种语言,而且可以持续侦测语言
另一个很实用的功能是:
Multilingual Streaming。
Microsoft 表示,
MAI-Transcribe-2-Streaming 支持:
60 种语言。
而且预设可以进行:
Automatic Continuous Language Detection。
这和一开始先叫用户选:
英文、
西班牙文、
日文
不同。
系统可以持续根据收到的语音判断正在使用什么语言。
对真实工作很有用。
因为很多会议根本不是:
从头到尾只讲一种语言。
尤其:
跨国团队、
客服、
采访、
课程
很容易一句里就混进:
产品英文名、
人名、
专有名词。
但「支持 60 种语言」不代表每种语言效果完全一样
这点一定要分清楚。
Microsoft 表示模型支持 60 种语言,
不代表:
每一种语言、
每一个口音、
每一种麦克风、
每一种噪音环境
都有完全相同的准确率。
真正使用时,
还是要拿自己的:
会议录音、
客户电话、
访谈、
课堂、
视频
实测。
尤其如果你的工作里充满:
公司名、
人名、
医疗术语、
产品型号、
产业缩写,
Benchmark 再高,
都不能取代自己的 Sample Test。
Microsoft 说它在 Artificial Analysis 实时转录评测排第一
Microsoft 公布数据指出,
MAI-Transcribe-2-Streaming 在 Artificial Analysis 的实时转录评测中,
Final Transcript 与 Partial Transcript 的 Accuracy 都取得领先结果。
而在 Accuracy/Latency 的比较里,
也位在 Pareto Frontier。
这些 Benchmark 可以拿来了解模型定位,
但不要直接推论:
「所以它在我的中文会议一定也是第一。」
实务上仍然要测:
你的声音。
你的语言。
你的环境。
你的专有名词。
它最适合哪些工作?
第一个很直观的是:
实时字幕
以前直播字幕可能总是慢半拍。
Streaming Model 可以在人说话时持续更新字幕。
特别适合:
在线活动、
讲座、
直播、
课程。
第二个是:
会议实时笔记
不一定要等会议结束后才整理逐字稿。
系统可以一边听,
一边创建:
Action Items、
问题、
关键决策候选。
但「创建候选」和「确认决策」仍然应该分开。
第三个是:
Call Center
客户讲到一半,
系统就可以开始判断:
退款、
物流、
帐务、
技术问题。
等客户说完后,
Agent 不必再从零开始。
第四个就是:
Voice Agent
这可能才是 Microsoft 最在意的场景。
因为真正自然的语音 AI,
不只是声音像真人。
更重要的是:
它不能每次都停两秒才反应。
Voice Agent 的延迟,其实是一条流水线
一次语音对话至少包含:
人说话 →
Speech-to-Text →
模型理解/Reasoning →
Tool Call →
产生答案 →
Text-to-Speech。
每一步多 300ms,
全部加起来就会变得很明显。
所以提升 Voice Agent 体验,
不一定只是:
「换一个更快的大模型。」
也可以从前面开始省:
让 Transcription 更早开始。
Microsoft 这次同时推出新的:
MAI-Voice-2.1
与:
MAI-Voice-2.1-Flash,
就是想同时缩短语音输入与输出的等待。
那它和 9 月的 MAI-Transcribe-2 有什么不同?
这一点容易混淆。
MAI-Transcribe-2 本身早就已经存在。
它适合:
录音档转录、
视频字幕、
会议记录、
Speaker Diarization、
Word-level Timestamp、
Keyword Biasing。
新的:
MAI-Transcribe-2-Streaming
添加的核心不是:
「以前不能语音转文字,现在可以。」
而是:
把同一类工作推进实时串流。
如果你的需求是:
「我有一小时 Podcast,帮我转完整文字。」
Streaming 不一定就是最重要的功能。
但如果是:
「人正在讲,我现在就要文字。」
差别就很大。
开发者现在可以怎么接?
Microsoft 提供两种主要集成方式。
一种是:
Azure Speech SDK。
适合希望 SDK 帮忙处理:
Connection、
Retry、
Audio Streaming
等细节。
另一种是:
Realtime API。
透过 WebSocket 持续送 Audio,
再取得 Partial 与 Final Transcript。
所以这个产品目前的主要对象仍然是:
开发者与企业。
它不是一个像 ChatGPT 那样,
打开网页就开始替你录音的消费者 App。
这个差别要先知道。
一次 Session 目前最长一小时
Microsoft 目前文档列出的限制之一是:
Realtime API 的一个 Session:
最长 1 小时。
所以如果要处理:
全天活动、
超长会议、
长时间客服服务,
应用程序本身还需要设计:
Session Rotation、
Reconnect、
Transcript Continuity
等机制。
不能把 Preview API 当成:
「连上后永远不会断。」
现在也还是 Public Preview
这是目前最重要的限制。
Microsoft 明确标示:
MAI-Transcribe-2-Streaming 目前是:
Public Preview。
没有正式 SLA,
官方也写明:
不建议直接用于 Production Workload。
所以现在比较合理的使用方式是:
开发、
Prototype、
内部测试、
Shadow Test。
例如客服公司可以先:
同步跑 AI Transcript,
但正式客服纪录仍然保留原本流程。
先看:
漏字率、
延迟、
人名、
数字、
产品名、
语言切换
表现如何。
通过之后,
再考虑正式接进工作。
价格目前是多少?
Microsoft 公布的 Introductory Price 是:
每小时音频 0.54 美元。
目前公告写的是:
到 2026 年底。
这里也要注意:
它是 Streaming Model 的 Audio Processing 价格。
如果你后面又接:
LLM Reasoning、
Search、
Tool Call、
Text-to-Speech,
整套 Voice Agent 成本当然不会只有这 0.54 美元。
真正要算的是:
一次完整成功对话的成本。
而不是只看其中一个 Model Price。
如果你只是想把视频做成字幕,需要换吗?
不一定。
如果工作是:
录好视频 →
上传 →
拿完整 SRT →
自己检查,
那么一般 Batch Transcription 已经可能够用。
Streaming 最大的价值,
是在:
「现在就要知道对方正在说什么。」
所以选工具前可以先问一个最简单的问题:
我需要的是「录完很准」,还是「当下就要出字」?
前者偏 Batch。
后者才是 Streaming 真正的主场。
今天真正值得看的不是转录又快了一点
以前 AI Speech 的流程大多是:
人讲完。
AI 听完。
AI 再开始做事。
现在开始变成:
人还在讲,下一个 AI 已经开始准备工作。
当 Transcription、
Reasoning、
Tool Use、
Voice Generation
全部往实时方向移动,
Voice Agent 才可能真正从:
「会说话的 Chatbot」
走向:
「可以自然插进真人工作流程的 AI。」
推荐阅读
今日 AI 工具|2026/07/14:Descript,像修改 Word 一样剪视频,但中文用户要先注意一个限制