一個月前（2月15日），Sora和 Gemini 1.5 同時推出，這個故事很多人都聽過了，Google 被冠以 AI 界汪峰的名頭。

　　人們紛紛震驚于 Sora 的強大，討論 Sora 是不是世界模型。而 Gemini 1.5 的第一個模型 Gemini 1.5 Pro 在發布后沒多久就逐漸無人問津了。

　　當時 Gemini 1.5 Pro 只開放了 Waitlist，一直沒能上手測倒是成了一塊心病。

　　最近 Gemini 1.5 Pro 迎來一波大規模開放測試，當時排隊的基本都能使用了，有些沒有郵件通知，朋友們都可去看看。

　　鏈接 ：https://aistudio.google.com/

　　1

　　Gemini 1.5 Pro 最大的特點就是10M 上下文與多模態理解相互搭配，實現超強的檢索和學習能力，我們也就圍繞這兩點，問了ta五個問題。

問題一：88 萬字的《三體》，后續故事怎么發展？

　　我們向Gemini提供了長達約88萬字的科幻小說《三體》，它可以根據小說的題材重新編寫一版新的小說大綱，從背景設定、主要人物、情節梗概、主題設定到小說結局它可以非常有邏輯地完成。

　　另外對于《三體》的開放式結局它也可以繼續擴寫，在充分地滿足大家的各種想象的同時又不脫離原著。

　　2

問題二：20篇論文，哪篇更有價值？

　　我們選取了20篇神經網絡相關的英文學術文章。Gemini 不僅能夠對各種細節問題對答如流，而且還能夠非常有條理有邏輯地整理出最具參考價值的學術論文。

　　各位研究學者們再也不用熬夜看文獻寫報告了！你們的頭發有救啦！

　　3

問題三：我該怎么學習 JavaScript？

　　我試著用兩個功能時想到，上傳一本課本豈不妙哉！這技術能讀懂全書，大學黨考試周還愁啥！直接1對1輔導到手。

　　下面我直接上傳了《JavaScript高級程序設計(第4版)》，Gemini 還幫我搞了個大綱和學習建議，真懂我們。不僅考試的時候能天天陪著你，指導復習，還能出套帶答案的期末題，老師們可能得偷偷珍藏。

　　4

　　5

逐漸成型的生態

　　上傳了個 Open AI 機器人的視頻到 Gemini，它不僅快速總結出來，準確度還挺高；還把視頻里的英文字幕翻譯成了中文。

　　為測深度理解，讓它找視頻里機器人遞蘋果的畫面，它真找到了！

　　好奇它能不能辨認手繪，我畫了個蘋果試試。一開始，它認出蘋果，但裝作沒在視頻里看見過。我一逼問，它才勉強承認，還不忘找借口，吐槽我畫的蘋果和視頻里的完全不像！

　　6

問題五：什么？Sora 是 Google 出品的？

　　本次測試可以看出 Gemini 能夠對視頻畫面進行精確的解讀，但是當我問到它對 Sora 的了解時，它卻說 Sora 是 Google 訓練的模型。

　　總的來說它具有一定的邏輯能力和常識的，同樣似乎沒有聯網能力，不能獲取近期發生的事件。

　　7

　　整體使用下來，我能看到它 10M 上下文的潛力，能讓人發出“??？這樣也可以的？”的驚呼。就好像是第一次使用 ChatGPT 的那種感覺。

　　但也能看到它也存在很多瑕疵，比如老生常談的幻覺問題，不能被 Sora 搶了風頭就說 Sora 是自家兄弟吧。

　　而且這次大規模開放也導致算力不足，很多問題都回答的非?！皯卸琛保荒芴崾尽袄^續”讓他繼續回答，但也效果不好。在他人演示中 60 分鐘的視頻可以很好的理解，但在實際測試中，超過 30 分鐘的視頻，就會經常出現超時未響應的情況。盡管 Token 長度允許，但算力也分配不過來了。越短的視頻，它處理的也就越好。

　　目前不支持聯網，也無法讀取視頻鏈接，只能說是嘗鮮試用。

　　最近 Google 也發布了 Gemini 1.5 的詳細介紹文檔：

　　https://arxiv.org/ftp/arxiv/papers/2403/2403.05530.pdf

　　里面展示了一個非常有意思的場景：

　　測試人員將一本Kalamang語言的參考語法書、一個雙語詞匯表（字典），以及大約400句額外的句子喂給了 Gemini 1.5 Pro，這些素材總共大約有250K tokens。

　　這個任務的挑戰在于，Kalamang語是一種只有不到200個使用者的瀕危語言，在模型的訓練數據中幾乎沒有出現，因此 Gemini 1.5 Pro 必須依賴于上下文中給出的數據進行學習，來給出答案。

最終的結論是：

　　Gemini 1.5 Pro在半本書的設置下，其表現遠遠超過了GPT-4 Turbo和Claude 2.1。當給予整本書的上下文時，Gemini 1.5 Pro的表現進一步提升。在Kalamang到英語的翻譯中，Gemini 1.5 Pro的人類評估得分為4.16（滿分6分），而在英語到Kalamang的翻譯中，得分為5.38。與此相比，人類語言學習者的得分分別為5.52和5.60。雖然不如人類學者，但也遙遙領先同行競爭對手了。

　　8

　　期待趕緊給 Gemini 1.5 模型更新到 Gemini 的消費級產品中，作為 Gemini Advance會員已經迫不及待的想要使用它的完整版了。

　　文章來源于微信公眾號“硅星GenAI ”，作者丸丸柚貝。