OpenAI語音轉錄工具被曝嚴重幻覺：轉錄100小時，一半兒在瞎扯

OpenAI的AI語音轉寫工具，那個號稱近乎“人類水平”的Whisper，被曝幻覺嚴重——

100多小時轉錄，被工程師發現約一半都在瞎扯。

更嚴重的是，美聯社還爆料有醫療機構利用Whisper來轉錄醫生與患者的會診，瞬間引發大量網友關注。

據悉，明尼蘇達州的曼卡託診所和洛杉磯兒童醫院在內的超過30000名臨牀醫生和40個衛生系統已開始使用法國AI診療公司Nabla基於Whisper打造的工具。

而且他們已經轉錄了大概700萬次醫療就診。

網友紛紛表示這就有點嚇人了。

值得一提的是，OpenAI之前早就警告過，該工具不應在“高風險領域”中使用。

針對最新爆料，有OpenAI發言人迴應，OpenAI會在模型更新中加入相應的反饋機制。

Whisper是OpenAI老早前推出的開源自動語音識別（ASR）系統，於2022年9月發佈。

它採用簡單的端到端方式，基於編碼器-解碼器Transformer架構。輸入音頻將被分成30秒的塊，轉化爲梅爾倒譜（音頻特徵提取方式之一，log-Mel spectrogram），然後傳入編碼器。

經過68萬小時的多語言和多任務監督網絡數據的訓練，Whisper可以進行多語言轉錄。

Whisper推出後得到廣泛應用，如今GitHub已攬獲70.2k標星：

據悉，它還被集成在ChatGPT的一些版本中，同時也是Oracle和微軟雲計算平臺的一項內置服務，而這些平臺爲全球數千家公司提供服務。

此外，僅在上個月，HuggingFace上的一個最新版本Whisper就被下載了超420萬次。HuggingFace社區的機器學習工程師Sanchit Gandhi表示，Whisper是最受歡迎的開源語音識別模型。

而現在，據美聯社報道，很多研究人員和工程師反映，在工作中他們經常遇到Whisper產生的幻覺。

例如，密歇根大學的一位研究員在嘗試改進模型之前，發現其檢查的每10份音頻轉錄中有8份出現了幻覺。

一位機器學習工程師指出，在他分析的超過100小時Whisper轉錄中，大約一半出現了幻覺。

還有一位開發者表示，在他使用Whisper創建的26,000份轉錄中，幾乎每一份都發現了幻覺。

這種問題甚至存在於錄製良好的短音頻樣本中。

在最近的一項研究中，計算機科學家們在審查的超過13000個清晰音頻片段中發現了187個幻覺。

工程師和研究人員表示，他們從未見過其它任何AI驅動的轉錄工具像Whisper這樣頻繁地產生幻覺。

Whisper幻覺嚴重的原因目前尚未可知，但有軟件開發者表示，這些虛構內容往往發生在停頓、有背景聲音或音樂播放時。

之前，OpenAI就有提醒：

然鵝，美聯社表示，這一警告並未阻止一些醫院或醫療中心使用Whisper等語音轉文字模型——

包括明尼蘇達州的曼卡託診所和洛杉磯兒童醫院在內，已經有超30000名臨牀醫生和40個醫療系統已經開始使用由Nabla公司基於Whisper開發的工具。

Nabla CTO Martin Raison稱，該工具針對醫療語言對模型進行了微調，用於轉錄和總結患者的交流。

目前，該工具已被用於轉錄約700萬次醫療就診。

在得知Whisper可能會產生幻覺後，Nabla表示正在解決此問題，不過：

此外，據瞭解，Whisper還被用來爲聾人和聽力障礙者創建字幕。

Whisper幻覺嚴重問題被發現後，有人敦促OpenAI趕緊解決此問題。

今年2月離開OpenAI的研究員William Saunders也開麥了：

有OpenAI發言人迴應稱，公司持續研究如何減少幻覺現象，並感謝研究人員的發現，同時補充道OpenAI會在模型更新中融入相應反饋機制。

參考鏈接：[1]https://apnews.com/article/ai-artificial-intelligence-health-business-90020cdf5fa16c79ca2e5b6c4c9bbb14[2]https://x.com/AP/status/1850150400424345858