昨晚，OpenAI 突然上線新模型 GPT-4o mini， 聲稱要全面取代 GPT-3.5Turbo。

在性能方面，GPT-4o mini 在 MMLU 上的得分為82%，在 LMSYS 排行榜的聊天方面分數優于 GPT-4。

在價格方面，GPT-4o mini 比之前的 SOTA 模型便宜一個數量級，商用價格是每百萬輸入 token15美分，每百萬輸出 token60美分，比 GPT-3.5Turbo 便宜60% 以上。

OpenAI 表示，ChatGPT 的免費版、Plus 版和 Team 用戶將能夠從周四開始訪問 GPT-4o mini（其知識截至2023年10月），以代替 GPT-3.5Turbo，企業用戶可以從下周開始訪問。

目前，GPT-4o mini 在 WildBench 測試上排名第九，優于谷歌的 Gemini-flash 以及 Anthropic 的 Claude3Haiku。

在今天的凌晨的文章中，我們已經介紹了 GPT-4o mini 的一些基本情況（參見《GPT-4o Mini 深夜突發:即刻免費上線，API 降價60%》）。在這篇文章中，我們將補充介紹模型的實際使用體驗以及這份工作背后的研究者。

GPT-4o mini 一手評測

在 GPT-4o mini 開放測試的第一時間，我們問了它一個最近比較熱門的話題，9.11和9.9哪個大，很遺憾，GPT-4o mini 依然沒有答對，還一本正經地回答0.11>0.9。

接著我們在 Poe（Quora 開發的應用程序，已經集成了 GPT-4o mini）中輸入人物傳記電影《Eno》的設計封面，讓兩個模型解讀，結果 mini 翻車了。GPT-4o mini 直接表示「自己認不出照片上的人。」

與之相對的，GPT-4o 的回答就比較準確。「這張圖片看起來像是一幅拼貼畫，由一張照片的多個碎片組成，照片中是一位留著白胡子、身穿亮粉色襯衫的老人。這幅圖由同一張照片的不同部分創造性地排列而成，產生了馬賽克或拼圖般的效果。照片中的男子表情若有所思，手撫摸著臉。」

接著我們又測試了另一個問題:在客廳的桌子上放著一個杯子，杯子里有一個戒指。這個杯子被移到了書房的桌子上，然后移到了臥室的床上。在那里，杯子被翻倒了一次，然后又恢復了原樣。之后，杯子被放回了客廳的桌子上。那么，現在戒指在哪里呢?如果我們分開問，答案不一樣，GPT-4o 似乎更聰明點。

但是，如果我們一起發問，它們的答案又會變得雷同:

GPT-4o mini 回答數學題的表現如何呢?機器之心用丘成桐少年班2024年選拔試題測試了一下它解決數學問題的能力。

雖然 GPT-4o mini 對問題的解讀都比較清晰，但在分析過程中出現「胡言亂語」的邏輯錯誤，像極了上數學課根本聽不懂但硬答的學生。

不過也不必著急，畢竟 GPT-4o 的回答更不理想，它甚至沒有看懂數字表示的是正方形的邊長。

在文字的總結能力上，GPT-4o mini 與 GPT-4o 的能力不相上下。都能將重點信息進行抓取，但 GPT-4o 的回答更顯條理。

不過主打「Faster for everyday tasks」的 GPT-4o mini，響應速度確實對得起「Faster」之稱。和它對話，幾乎無需等待，輸出速度也是快得離譜。

日本網友用 GPT-4o mini 搭建了一款 AI 聊天機器人，響應速度依然快得驚人。

還有網友將 GPT-4o 和 GPT-4o mini 輸出速度進行了對比，GPT-4o mini 明顯更快:

從大家體驗效果上來看，GPT-4o mini 主打一個字「快」，但實際使用體驗可能還是差了一些。

下一篇：人形機器人發展現狀

上一篇：人形機器人排隊進車廠