一般逐字稿工具的工作方式很好理解。
你錄一段聲音。
上傳。
等 AI 處理。
最後拿到文字。
但如果 AI 要真正變成:
即時字幕、
會議助理、
客服 Agent、
語音助理,
只做到「錄完再轉」其實還不夠。
因為人講完一句話後,
AI 才開始聽、
才開始理解、
才開始想答案,
整段互動就會一直出現延遲。
Microsoft 最新推出的:
MAI-Transcribe-2-Streaming
想解決的就是這件事。
它不是等整段錄音結束才吐出 Transcript。
而是:
你還在說,它就已經開始出字。
它和一般語音轉文字最大的差別在哪?
關鍵字是:
Streaming。
普通 Batch Transcription 比較像:
音訊完整送進去 →
模型處理 →
回傳完整逐字稿。
Streaming 則是:
聲音持續進來 →
模型持續產生 Partial Transcript →
取得更多上下文後修正 →
最後確認 Stable Transcript。
也就是說,
螢幕上的文字不是一次全部出現。
而是會像人真的在聽一樣:
邊聽、邊猜、邊修正。
Partial Transcript 是什麼?
假設有人正在說:
「明天下午三點幫我安排……」
Streaming Model 不需要等整句說完。
前半句進來後,
可能就先顯示:
「明天下午三點……」
接著收到更多聲音,
再補完整:
「明天下午三點幫我安排會議。」
前面的結果叫:
Partial。
它還可能改。
後面模型確認後,
才會變成:
Final Transcript。
這個差別對普通錄音檔好像沒有那麼重要。
但對 Voice Agent 非常重要。
為什麼 Voice Agent 不該等你整句說完?
想像你打電話給客服:
「我想查一下昨天那筆信用卡消費……」
如果 AI 一定要:
等你完全說完 →
語音轉文字 →
理解 →
查資料 →
生成答案 →
再念給你聽,
你會一直感覺:
它在等。
但如果 Streaming Transcript 在你講:
「昨天那筆信用卡……」
時就已經開始形成,
後面的 Agent 可以提早:
辨識意圖、
準備可能需要的 Tool、
讀取相關 Context。
等你講完時,
前面一部分工作早就開始了。
Microsoft 甚至直接把新的 Streaming Model 定位成:
Voice Agent 的基礎元件之一。
Microsoft 說 Partial 最快大約 100 多毫秒開始出現
Microsoft 公布的資料表示,
MAI-Transcribe-2-Streaming 收到 Audio 後,
可以在約:
100 多毫秒
開始產生第一批 Partial Hypothesis。
它不是說:
100 毫秒就完成整句正確逐字稿。
這兩件事不能混在一起。
100 多毫秒代表的是:
模型開始形成早期文字結果。
之後隨著更多聲音進來,
文字還會繼續修正。
所以真正重要的不是:
「100ms 把整段話轉完。」
而是:
AI 不必等到你停止說話,才第一次知道你在講什麼。
支援 60 種語言,而且可以持續偵測語言
另一個很實用的功能是:
Multilingual Streaming。
Microsoft 表示,
MAI-Transcribe-2-Streaming 支援:
60 種語言。
而且預設可以進行:
Automatic Continuous Language Detection。
這和一開始先叫使用者選:
英文、
西班牙文、
日文
不同。
系統可以持續根據收到的語音判斷正在使用什麼語言。
對真實工作很有用。
因為很多會議根本不是:
從頭到尾只講一種語言。
尤其:
跨國團隊、
客服、
採訪、
課程
很容易一句裡就混進:
產品英文名、
人名、
專有名詞。
但「支援 60 種語言」不代表每種語言效果完全一樣
這點一定要分清楚。
Microsoft 表示模型支援 60 種語言,
不代表:
每一種語言、
每一個口音、
每一種麥克風、
每一種噪音環境
都有完全相同的準確率。
真正使用時,
還是要拿自己的:
會議錄音、
客戶電話、
訪談、
課堂、
影片
實測。
尤其如果你的工作裡充滿:
公司名、
人名、
醫療術語、
產品型號、
產業縮寫,
Benchmark 再高,
都不能取代自己的 Sample Test。
Microsoft 說它在 Artificial Analysis 即時轉錄評測排第一
Microsoft 公布資料指出,
MAI-Transcribe-2-Streaming 在 Artificial Analysis 的即時轉錄評測中,
Final Transcript 與 Partial Transcript 的 Accuracy 都取得領先結果。
而在 Accuracy/Latency 的比較裡,
也位在 Pareto Frontier。
這些 Benchmark 可以拿來了解模型定位,
但不要直接推論:
「所以它在我的中文會議一定也是第一。」
實務上仍然要測:
你的聲音。
你的語言。
你的環境。
你的專有名詞。
它最適合哪些工作?
第一個很直觀的是:
即時字幕
以前直播字幕可能總是慢半拍。
Streaming Model 可以在人說話時持續更新字幕。
特別適合:
線上活動、
講座、
直播、
課程。
第二個是:
會議即時筆記
不一定要等會議結束後才整理逐字稿。
系統可以一邊聽,
一邊建立:
Action Items、
問題、
關鍵決策候選。
但「建立候選」和「確認決策」仍然應該分開。
第三個是:
Call Center
客戶講到一半,
系統就可以開始判斷:
退款、
物流、
帳務、
技術問題。
等客戶說完後,
Agent 不必再從零開始。
第四個就是:
Voice Agent
這可能才是 Microsoft 最在意的場景。
因為真正自然的語音 AI,
不只是聲音像真人。
更重要的是:
它不能每次都停兩秒才反應。
Voice Agent 的延遲,其實是一條流水線
一次語音對話至少包含:
人說話 →
Speech-to-Text →
模型理解/Reasoning →
Tool Call →
產生答案 →
Text-to-Speech。
每一步多 300ms,
全部加起來就會變得很明顯。
所以提升 Voice Agent 體驗,
不一定只是:
「換一個更快的大模型。」
也可以從前面開始省:
讓 Transcription 更早開始。
Microsoft 這次同時推出新的:
MAI-Voice-2.1
與:
MAI-Voice-2.1-Flash,
就是想同時縮短語音輸入與輸出的等待。
那它和 9 月的 MAI-Transcribe-2 有什麼不同?
這一點容易混淆。
MAI-Transcribe-2 本身早就已經存在。
它適合:
錄音檔轉錄、
影片字幕、
會議記錄、
Speaker Diarization、
Word-level Timestamp、
Keyword Biasing。
新的:
MAI-Transcribe-2-Streaming
新增的核心不是:
「以前不能語音轉文字,現在可以。」
而是:
把同一類工作推進即時串流。
如果你的需求是:
「我有一小時 Podcast,幫我轉完整文字。」
Streaming 不一定就是最重要的功能。
但如果是:
「人正在講,我現在就要文字。」
差別就很大。
開發者現在可以怎麼接?
Microsoft 提供兩種主要整合方式。
一種是:
Azure Speech SDK。
適合希望 SDK 幫忙處理:
Connection、
Retry、
Audio Streaming
等細節。
另一種是:
Realtime API。
透過 WebSocket 持續送 Audio,
再取得 Partial 與 Final Transcript。
所以這個產品目前的主要對象仍然是:
開發者與企業。
它不是一個像 ChatGPT 那樣,
打開網頁就開始替你錄音的消費者 App。
這個差別要先知道。
一次 Session 目前最長一小時
Microsoft 目前文件列出的限制之一是:
Realtime API 的一個 Session:
最長 1 小時。
所以如果要處理:
全天活動、
超長會議、
長時間客服服務,
應用程式本身還需要設計:
Session Rotation、
Reconnect、
Transcript Continuity
等機制。
不能把 Preview API 當成:
「連上後永遠不會斷。」
現在也還是 Public Preview
這是目前最重要的限制。
Microsoft 明確標示:
MAI-Transcribe-2-Streaming 目前是:
Public Preview。
沒有正式 SLA,
官方也寫明:
不建議直接用於 Production Workload。
所以現在比較合理的使用方式是:
開發、
Prototype、
內部測試、
Shadow Test。
例如客服公司可以先:
同步跑 AI Transcript,
但正式客服紀錄仍然保留原本流程。
先看:
漏字率、
延遲、
人名、
數字、
產品名、
語言切換
表現如何。
通過之後,
再考慮正式接進工作。
價格目前是多少?
Microsoft 公布的 Introductory Price 是:
每小時音訊 0.54 美元。
目前公告寫的是:
到 2026 年底。
這裡也要注意:
它是 Streaming Model 的 Audio Processing 價格。
如果你後面又接:
LLM Reasoning、
Search、
Tool Call、
Text-to-Speech,
整套 Voice Agent 成本當然不會只有這 0.54 美元。
真正要算的是:
一次完整成功對話的成本。
而不是只看其中一個 Model Price。
如果你只是想把影片做成字幕,需要換嗎?
不一定。
如果工作是:
錄好影片 →
上傳 →
拿完整 SRT →
自己檢查,
那麼一般 Batch Transcription 已經可能夠用。
Streaming 最大的價值,
是在:
「現在就要知道對方正在說什麼。」
所以選工具前可以先問一個最簡單的問題:
我需要的是「錄完很準」,還是「當下就要出字」?
前者偏 Batch。
後者才是 Streaming 真正的主場。
今天真正值得看的不是轉錄又快了一點
以前 AI Speech 的流程大多是:
人講完。
AI 聽完。
AI 再開始做事。
現在開始變成:
人還在講,下一個 AI 已經開始準備工作。
當 Transcription、
Reasoning、
Tool Use、
Voice Generation
全部往即時方向移動,
Voice Agent 才可能真正從:
「會說話的 Chatbot」
走向:
「可以自然插進真人工作流程的 AI。」
推薦閱讀
今日 AI 工具|2026/07/14:Descript,像修改 Word 一樣剪影片,但中文使用者要先注意一個限制