谷歌Gemini免費開放了！長音頻理解功能獨一份,100萬上下文敞開用

谷歌最強大模型Gemini 1.5 Pro今天起，“全面”對外開放。

目前完全免費，開發者可以通過API調用的方式使用，普通玩家也可以在谷歌AI Studio中直接體驗。

（Ps. 發佈這則消息的谷歌工程師Logan Kilpatrick正是原來OpenAI開發者關係的負責人，剛剛跳槽到谷歌。）

最讓人期待的是，Gemini 1.5 Pro API首次增加了音頻理解功能。

無論是財報電話會、電視節目還是大神演講，不需要我們再提供字幕文檔它就可以直接解讀了。

如下圖所示：

上傳Jeff Dean長約117000+token的演講錄音，Gemini 1.5 Pro在30.8s內就完成了解析。

而由於Gemini 1.5 Pro100萬的上下文窗口這次也直接對外開放，因此它可以處理的最長音頻約爲11小時，最長視頻則爲1小時，相當夠用。

我們也趕緊實測了一把，結果是真香。

Gemini 1.5 Pro開放API了

谷歌官方給這次免費開放的Gemini 1.5 Pro版本定義爲“公開預覽版”。

它主要面向開發者，可在谷歌AI Studio中獲得API密鑰：

目前最引人注目的音頻理解功能還沒添加到API中，但據說很快就會補上。

問題不大，我們可以先在Google AI Studio中直接體驗：

在實測中，我們上傳了比爾蓋茨1995年做客Late Show節目的一段音頻，時長1分鐘。

我們沒有提示這段音頻的任何背景信息，Gemini 1.5 Pro直接就聽出來了是誰。

並在10s左右精準整理出了全對話的精華部分，一點“正確的廢話”都沒有：

表現令人折服。

接下來，來個更具挑戰的，Andrej Karpathy1小時長的大模型科普教程。

我們提取音頻文件，足足10萬多個token（這種在UI裡直接顯示當前消耗token數量的方法也廣受好評）。

Gemini 1.5 Pro最終在53s內按要求給出了10個亮點分析：

可以說一分鐘就讓我們對1小時的演講內容有了整體認知，再也不用費勁扒字幕文件了。

繼續回到API本身。

除了音頻理解，爲了讓開發者更好地控制模型輸出，Gemini 1.5 Pro還提供了另外3項新功能/改進：

首先是系統指令。

我們可以自定義一些特殊用例，包括它們的角色、輸出格式/風格/語氣、目標和規則等等。

設置完成後，這個指令就會應用於接下來的整個請求。

示例如下：

其次，JSON模式。

也就是可以指示模型僅輸出JSON對象了，非常方便我們從文本或圖像中提取結構化數據。

第三，函數調用上也有改進。

爲了提高可靠性，Gemini 1.5 Pro也可以選擇不同模式來限制模型的輸出了。

可以是文本模式，將生成文本作爲輸出；也可以是函數調用模式，或者乾脆只輸出函數本身（不帶任何參數或其他信息）。

最後，還沒完，從今天起，開發者還能通過該API調用谷歌的下一代文本嵌入模型：

text-embedding-004（又名“Gecko”）。

該模型在MTEB基準上實現了非常強大的檢索性能，優於可比維度的所有對手。

兩個月前誕生的谷歌最強大模型

Gemini 1.5 Pro於2月15日發佈，距今還不到兩個月。

它是Gemini Pro的升級版，多模態多語言，最大的亮點無疑是上下文窗口長度：

從128k到最多100萬。

100萬個token相當於可處理70萬個單詞或約3萬行代碼，摺合成音頻就是約11小時，視頻約1小時。

無疑是很大的一個量級了（現在則完全在API中開放）。

當時官方的演示包括用它搜索阿波羅11號登月的電視轉播信息，一共402頁文字記錄。

模型的響應時間大約在20s到1分鐘。稍微有點慢，但谷歌承諾會優化延遲時間。

而Gemini 1.5 Pro發佈之後，網友也很快分享了一些還不錯的內測結果，包括：

鑑別Sora視頻是否AI生成，給出關鍵證據；

在一場14分鐘的NBA扣籃視頻中，判斷出哪個扣籃得分最高， 並給出其中扣籃細節；

還有分析比較《星際穿越》和《星際探索》兩個完整的電影腳本，合起來接近10萬token，結果三十幾秒內就給出了完整詳盡的報告。

可以說，這次谷歌整體是沒有讓大夥失望的。

最高能的是，它還能看錄像改BUG：

有網友在編寫一個網頁的代碼時故意留了3個bug，並分別錄製了3個bug視頻，外加代碼庫打包成文件一同丟給Gemini 1.5 Pro，結果全部分分鐘給出正確代碼。

這位網友當時就表示：這“小夥子”前途不可限量啊。

而在今天，隨着Gemini 1.5 Pro API的“全面”開放，大夥可以更進一步地感受其厲害了。

咳咳，就是目前速率限制還有點高：

每分鐘請求量爲5次，每分鐘token爲1000萬個，每日請求量爲2000個～

友情鏈接：https://aistudio.google.com/app/prompts/new_chat參考鏈接：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.htmlhttps://twitter.com/OfficialLoganK/status/1777733743303696554