摘要:
一個谷歌研究員的內部文件透露,當前的人工智能(AI)競賽中,谷歌和OpenAI可能無法取勝。開源AI項目因其快速創新和低成本實現而已在悄悄領先,它們表現出在自定義性、隱私保護、以及性能方面的明顯優勢。開源社區通過低成本微調技術(如LoRA),在多模態、可擴展的個人AI、大規模語言模型(LLMs)等方面取得了重大進展,而且無需長時間且昂貴的訓練過程。
核心觀點:
- 開源AI發展迅速,正在趕超谷歌和OpenAI的模型,尤其是在手機端LLMs、私人AI微調、多模態等方面。
- 開源社區已經在少量資源和短時間內解決了谷歌等大型機構仍在努力應對的問題。
- 數據質量優于數據規模的增長,使用精心策劃的小型數據集進行訓練可能比使用大型數據集更高效。
- 與秘密保持和研究成果專有化相比,通過開放源代碼的合作和共享,能更有效地促進技術進步。
結論與建議:
文件指出,谷歌需要重新考慮其AI戰略,應積極參與開源社區,以避免被無限制的、免費的、高質量的開源模型所替代。文章提倡開放合作,分享小型ULM(通用語言模型)的權重,以及更多地創新迭代小型模型而不是僅聚焦于巨型模型。谷歌和OpenAI如果不改變策略,最終可能會被開源替代品超越。
文中還提到了創新事例,如在消費級硬件上微調個人語言模型的實現、多模態問題在短時間內的解決、以及運用LoRA技術進行低成本的模型微調等。