OpenAI的GPT已經成為了業界標桿,升級速度之快讓人瞠目,別人追GPT-3.5的時候GPT-4橫空出世,差距被拉開了,現在GPT-5就要來了。
據商標律師泄露的消息,OpenAI已于7月18日注冊了GPT-5商標。雖然注冊商標并不罕見,可能是出于保護性考慮,但也有可能意味著OpenAI已經在為GPT-5的發布做準備。從他們的表現來看,后者的可能性更大。
OpenAI CEO 今年 6 月份曾經表示 GPT-5 還沒開始訓練,但是業界沒有人相信他們這個表態,認為這只是煙霧彈罷了,OpenAI 沒可能停下來等對手追趕。
今年 3 月份 GPT-4 正式發布,和 ChatGPT 最初使用的 GPT-3.5 模型相比,GPT-4 實現了幾個方面的飛躍式提升:強大的識圖能力;文字輸入限制提升至 2.5 萬字;回答準確性顯著提高;能夠生成歌詞、創意文本,實現風格變化。
GPT-3.5的參數規模為1750億,雖然OpenAI沒有公布過GPT-4的具體規格,但分析認為,GPT-4擁有16個專家模型,每個MLP專家大約有1110億個參數,總計1.8萬億參數,是GPT-3.5的10倍規模。如果GPT-5按照這個比例提升,那將突破10萬億參數,有可能成為最大規模的AI大模型,遠超其他所有對手。
然而GPT-5 的訓練,需要 5 萬張 H100 加持。英偉達 GPU 已成為各大 AI 公司開發大模型的首選利器。然而,OpenAI 首席執行官 Sam Altaman 自曝 GPU 很缺,竟不希望太多人用 ChatGPT。
當前,生成式 AI 爆發仍舊沒有放緩,對算力提出了更高的要求。一些初創公司都在使用英偉達昂貴、且性能極高的 H100 來訓練模型。馬斯克說,GPU 在這一點上,比藥物更難獲得。