ChatGPT說話了！拍食材就能推薦菜單、作業不會寫也能答，重磅更新一次看

ChatGPT 重磅更新一：支援影像、語音功能，比 Siri 更聰明

從 ChatGPT 推出至今，人們只能像古早的通訊軟體般用文字和它互動，但這種模式很快就要過去了，OpenAI 發布的更新預告指出，他們將提供新界面讓用戶可以和 ChatGPT 語音對話，並且可以識別用戶上傳的圖片。

OpenAI 指出，即將新增的語音及圖像功能，能為 ChatGPT 帶來更生活化的使用模式。好比說你外出旅遊時可以拍攝當地地標，即時和 ChatGPT 詢問相關介紹；又或者可以拍下冰箱內剩餘的食材，請 ChatGPT 推薦晚餐吃什麼；教導孩子數學作業遇上難題時，也能拍攝照片請ChatGPT協助解題。

在外媒《Wired》的實際測試中，ChatGPT 能根據圖像辨識楓樹、甚至細微至餐具、包包的品牌都能精準識別。值得一提的是，ChatGPT 在辨識物品時，似乎也會參考用戶在 App 中設置的職業、地理位置等資訊。

而語音功能則讓 ChatGPT 擁有更接近語音助理的便利性，用戶可以點擊發話鍵、口述希望得到解答的問題，而 ChatGPT 也能將回答轉換成語音回應，就像和 Google 助理、Siri 溝通般順暢，且 ChatGPT 使用的大型語言模型讓他擁有更靈活的回應能力。

ChatGPT 的語音功能是怎麼來的？

ChatGPT 的語音功能是利用兩個獨立的模型實現，一個是既有的語音轉文字模型Whisper，負責將用戶的對話轉換成文字輸入聊天機器人，以及一個新開發的文字轉語音模型，負責將 ChatGPT 的回答轉換為語音。

根據 OpenAI 在官網上的介紹， ChatGPT 將提供多達 5 種合成語音，從清晰明亮的女聲到低沉穩重的男聲等不同類型供用戶選擇。不過 OpenAI 也提醒，他們的模型在英文文本外的轉錄表現較差，不建議非羅馬文字的語言使用者利用 ChatGPT 轉錄語音。

ChatGPT 重磅更新二：與 Spotify 合作，將 Podcast 轉換成其他語言

值得一提的是，OpenAI 在發布更新的同一天，也宣布與 Spotify 合作，利用 AI 將 Podcast 轉換成其他語言，並且保留與創作者相似的聲音與風格，這項技術同樣是基於 Whisper 打造。

目前 Spotify 提供《Lex Fridman Podcast》、《Armchair Expert》、《The Diary of a CEO with Steven Bartlett》這三個系列英文 Podcast 轉換為西班牙語收聽，並將支援法語、德語，未來幾周內還會有更多 Podacst 支援這項新功能。

OpenAI 積極讓技術落地，新功能先提供給付費用戶

從針對企業的 ChatGPT Enterprise、前陣子公布 ChatGPT 與 Dall-E 串連的功能，到現在公布的語音及圖像能力，OpenAI 正積極將起初只是陽春模型的 ChatGPT，打造為更接近使用場景的產品。

藉由這次的語音技術，ChatGPT 能透過手機 App 實現極為接近 Siri、Google 助理等語音助理的體驗，而圖像辨識也帶來如同Google智慧鏡頭的效果，能隨手拍下好奇的內容向AI發問。

ChatGPT 也面臨更為激烈的競爭，Google 相傳即將在秋季登場的 Gemini 模型，就被稱為是「多模型」，擁有文字、語音、圖像甚至是影片的輸入方式；亞馬遜、蘋果也都曾傳出正在利用大型語言模型技術重新打造語音助理。

不過一口氣支援了圖像及語音技術，或許也帶來了更複雜的不確定因素。OpenAI 研究科學家勞爾．普里（Raul Puri）指出，他們的團隊花了幾個月時間考慮可能被濫用的狀況設定了一些限制，例如用戶不能向 ChatGPT 詢問有關私人照片的問題。

OpenAI 表示，這些新功能預計未來兩週內就會提供給付費用戶（ChatGPT Plus 及 ChatGPT Enterprise），不過語音功能只能在 Android 及 iOS 上使用，之後還會進一步開放給免費用戶使用這些功能。

• 本文經授權轉載自：《Web3+》