ChatGPT說話了！拍食材就能推薦菜單、作業不會寫也能答，重磅更新一次看

---

ChatGPT 重磅更新一：支援影像、語音功能，比 Siri 更聰明

從 ChatGPT 推出至今，人們只能像古早的通訊軟體般用文字和它互動，但這種模式很快就要過去了，OpenAI 發布的更新預告指出，他們將提供新界面讓用戶可以和 ChatGPT 語音對話，並且可以識別用戶上傳的圖片。

OpenAI 指出，即將新增的語音及圖像功能，能為 ChatGPT 帶來更生活化的使用模式。好比說你外出旅遊時可以拍攝當地地標，即時和 ChatGPT 詢問相關介紹；又或者可以拍下冰箱內剩餘的食材，請 ChatGPT 推薦晚餐吃什麼；教導孩子數學作業遇上難題時，也能拍攝照片請ChatGPT協助解題。

在外媒《Wired》的實際測試中，ChatGPT 能根據圖像辨識楓樹、甚至細微至餐具、包包的品牌都能精準識別。值得一提的是，ChatGPT 在辨識物品時，似乎也會參考用戶在 App 中設置的職業、地理位置等資訊。

而語音功能則讓 ChatGPT 擁有更接近語音助理的便利性，用戶可以點擊發話鍵、口述希望得到解答的問題，而 ChatGPT 也能將回答轉換成語音回應，就像和 Google 助理、Siri 溝通般順暢，且 ChatGPT 使用的大型語言模型讓他擁有更靈活的回應能力。

---

ChatGPT 的語音功能是怎麼來的？

ChatGPT 的語音功能是利用兩個獨立的模型實現，一個是既有的語音轉文字模型Whisper，負責將用戶的對話轉換成文字輸入聊天機器人，以及一個新開發的文字轉語音模型，負責將 ChatGPT 的回答轉換為語音。

根據 OpenAI 在官網上的介紹， ChatGPT 將提供多達 5 種合成語音，從清晰明亮的女聲到低沉穩重的男聲等不同類型供用戶選擇。不過 OpenAI 也提醒，他們的模型在英文文本外的轉錄表現較差，不建議非羅馬文字的語言使用者利用 ChatGPT 轉錄語音。

---

ChatGPT 重磅更新二：與 Spotify 合作，將 Podcast 轉換成其他語言

值得一提的是，OpenAI 在發布更新的同一天，也宣布與 Spotify 合作，利用 AI 將 Podcast 轉換成其他語言，並且保留與創作者相似的聲音與風格，這項技術同樣是基於 Whisper 打造。

目前 Spotify 提供《Lex Fridman Podcast》、《Armchair Expert》、《The Diary of a CEO with Steven Bartlett》這三個系列英文 Podcast 轉換為西班牙語收聽，並將支援法語、德語，未來幾周內還會有更多 Podacst 支援這項新功能。

---

OpenAI 積極讓技術落地，新功能先提供給付費用戶

從針對企業的 ChatGPT Enterprise、前陣子公布 ChatGPT 與 Dall-E 串連的功能，到現在公布的語音及圖像能力，OpenAI 正積極將起初只是陽春模型的 ChatGPT，打造為更接近使用場景的產品。

藉由這次的語音技術，ChatGPT 能透過手機 App 實現極為接近 Siri、Google 助理等語音助理的體驗，而圖像辨識也帶來如同Google智慧鏡頭的效果，能隨手拍下好奇的內容向AI發問。

ChatGPT 也面臨更為激烈的競爭，Google 相傳即將在秋季登場的 Gemini 模型，就被稱為是「多模型」，擁有文字、語音、圖像甚至是影片的輸入方式；亞馬遜、蘋果也都曾傳出正在利用大型語言模型技術重新打造語音助理。

不過一口氣支援了圖像及語音技術，或許也帶來了更複雜的不確定因素。OpenAI 研究科學家勞爾．普里（Raul Puri）指出，他們的團隊花了幾個月時間考慮可能被濫用的狀況設定了一些限制，例如用戶不能向 ChatGPT 詢問有關私人照片的問題。

OpenAI 表示，這些新功能預計未來兩週內就會提供給付費用戶（ChatGPT Plus 及 ChatGPT Enterprise），不過語音功能只能在 Android 及 iOS 上使用，之後還會進一步開放給免費用戶使用這些功能。

• 本文經授權轉載自：《Web3+》