首頁  >  科技  >  科技新知

[網路觀察]

Android Q上字幕功能Live Caption 目前限特定手機使用

line
avatar
1178 2 0
Android Q上字幕功能Live Caption 目前限特定手機使用

Google I/O發表的Live Caption功能,能為手機上的影音即時上字幕、轉錄為文字。廖家葆攝[

今年Google I/O開發者大會發表的Live Caption功能,開啟後能為手機上所有影片、音訊等內容即時上字幕,提供實時連續語音轉錄,造福聽力障礙人士。但Android無障礙產品經理Brian Kemler表示:「Live Caption功能將於今年稍晚在特定、高階的Android Q手機上推出,它需要較大的記憶體與內存去運行,起初會是限定機種,不過最終我們還是會在所有手機上推出。」

Google執行長皮采(Sundar Pichai)指出:「我們相信科技可以更加廣泛地被使用,而AI人工智慧提供的新工具將改善障礙人士經驗。」其實不是障礙人士也能使用Live Caption,例如當你在大眾運輸上無法將影片播放出聲音時、或不了解影片中的外國語言,就十分受用。

Live Caption功能應用範圍包括:歌曲、音訊、podcast等,至於來電、視訊電話是否加入則未明朗,無論是內建App或是第三方App,只要手機能播放,Live Caption就能為它上字幕,這也包含了手機遊戲,不過Kemler還未在Google的雲端遊戲串流服務Stadia上測試過。而要使用此功能,只要按下手機音量鍵並點擊Live Caption的圖示即可,完全不用透過任何App,或網路。

擁有語音辨識能力的Live Caption,強大的地方在於將超過100GB的雲端訓練模型容量,壓縮到可存放在手機的1GB以內,也因此它的準確率不會到完美的程度,但卻能達到近乎無延遲的轉錄,每分鐘有400小時內容上傳的YouTube,都不見得能自動生成字幕了,Live Caption卻可以在用戶手機上完成。雖然Google沒有針對Live Caption設定錯誤率,很明顯地可以放心地在Android Q上使用。

Google在今年2月推出的Live Transcribe(即時轉錄)App,同樣使用機器學習(Google Cloud Speech AI)的演算法將聲音轉為文字,能支援多達70種語言與方言,讓它成為一項非常好用的工具,相對地,Live Caption則是內建於作業系統裡,使用的是AudioPlaybackCaptureConfiguration這個API,其轉錄的字幕不會留下任何紀錄。

Kemler強調Google不會透過字幕存取用戶播放的內容,讓所有內容都留在手機上(on device),這個全新的語音轉錄API將有特殊的系統權限,提取音頻的同時遵照隱私守則。雖然Live Caption聽起來極其方便,但它在推出之時僅支援英語,其他語言還是得再等等。

Live Caption提供的是語音轉文字,若是要它同時進行翻譯,現階段是不可能的事,Kemler表示:「翻譯不在我們計畫的功能裡,看起來雖然是個簡單的功能,但需要完全不同的UI(使用者介面)與渠道。目前將著重在改善Live Caption的核心體驗、並試著推出更多支援的語言。」他接著分享,將16 kHz的低音音頻拿到語音辨識模型上測試,除了增加延遲外,也對裝置電力造成影響。

由此看來,支援Live Caption的裝置很少會成為問題,如果大多數人不能使用它,Live Caption將無法達到實用狀態,因此在改進模型、增加支援語言外,Google也需要盡快推出對硬體的支援。


您需要登入後才可以回帖 登入 | 註冊會員

本版積分規則 回覆 15 個字以上可拿獎勵,
規則詳見此

問你喔

你覺得網站好用嗎?
邀請您填寫網站易用性調查 快速填寫>>

GO
樓層數錯誤

返回列表

TOP