文章目錄
- LMSYS Chatbot Arena：開源模型性能第一
- Gemma為什么這么強？
- 架構創新
- 對AI安全性的提升
A領域競爭激烈，GPT-4o 和 Claude 3.5 Sonnet 持續發力，谷歌迅速跟進。
谷歌為應對AI競爭所采取的策略：依靠 Gemini 閉源模型對抗 OpenAI，再通過 Gemma 模型牽制 Meta 的開源模型。Gemma 雖然采用了和 Gemini 同源的技術，但參數規模更為輕量。
6月28日，在I/O Connect大會上，谷歌發布新一代最強開源模型 Gemma 2，共有 90 億參數（9B）和 270 億參數（27B）兩種大小。據谷歌介紹，與第一代 Gemma 模型相比，Gemma 2 的性能更高、推理效率更快，并且安全性也更有保障，可在單個NVIDIA H100或TPU主機上運行。
Gemma 2的核心亮點概括來說就是：參數雖小但性能極佳。
- 性能遠超同同等規模模型。27B 模型在性能上能夠與比其大兩倍的模型相媲美，9B 模型也優于 Meta 的 Llama 3 8B 等相似尺寸的開源模型。
-
Gemma 2 的突出優勢在于其效率上的提升。27B 模型支持在單個Google Cloud TPU主機、英偉達的A100 80GB Tensor Core GPU或H100 Tensor Core GPU上以全精度運行推理，這能夠極大地降低部署AI模型所需的硬件要求和成本。
-
Gemma 2 優化了跨硬件的超快推理。比如在 Google AI Studio 中嘗試全精度的Gemma 2，在CPU上使用量化版本 Gemma.cpp解鎖本地性能，或通過 Hugging Face Transformers庫在配備英偉達RTX或GeForce RTX的家用電腦上，均可使用。
目前，模型權重已經在HuggingFace上公開。
項目地址：https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315
LMSYS Chatbot Arena：開源模型性能第一
Gemma 2 在LMSYS競技場上取得了亮眼的成績。
在總體評分上，Gemma 2 取到了開源模型最高分，而且用 27B 的參數「以小搏大」，超過了Llama 3-70B-Instruct、Claude 3 Sonnet等更大量級的知名模型，而Gemma 2 9B 的排名甚至比肩Qwen 2 72B。
新的排行類別「多輪對話」，包括兩輪或多輪的測試，以衡量模型在更長時間內交互的能力。
在「多輪對話」排行榜上，Claude家族的排名顯著提升，Gemma 2 的表現依舊強勁。Gemma 2 實現了2個名次的進步，進入前十行列，而且壓了 Llama 3-70B-Instruct 一頭。
Gemma為什么這么強？
架構創新
Gemma 2 在設計的架構上均有創新，旨在實現卓越的性能和提高推理效率。
Gemma 2 訓練數據量大約是第一代的兩倍。27B模型的訓練數據有13萬億token，9B模型和2.6B模型則分別為8萬億、2萬億token。
基于Transformer解碼器架構，與 Gemma 1 不同之處在于，Gemma 2 每隔一層交替使用局部滑動窗口注意力和全局注意力機制，引入了分組查詢注意力（GQA）以提高推理速度，相比 Gemma 1 也使用了更深的網絡結構。
圖注：Gemma 2 關鍵模型參數
- 局部滑動窗口和全局注意力：Gemma 2 交替使用局部滑動窗口和全局注意力，滑動窗口大小設置為4096 token，而全局注意力層的設置為8192 token。
- Logit軟上限：按照Gemini 1.5版，Gemma 對每個注意層和最終層的logit進行軟封頂。通過將logits設置在一個合理的固定范圍內，可以有效提升訓練的穩定性，防止內容過長。
- 使用RMSNorm進行前后歸一化：為了使訓練更加穩定，Gemma 2 運用了 RMSNorm 對每個轉換層、注意層和反饋層的輸入和輸出進行歸一化。這一步和Logit軟上限都使得模型訓練更穩定平滑，不易出現崩潰。
- 分組查詢注意力：GQA通過將算力集中于注意力分組內，提升數據處理速度，同時保持下游性能。
- 知識蒸餾：能夠訓練出有競爭力性能的9B和27B模型，成功的知識蒸餾過程估計是最為重要的環節。
技術報告中也有Gemma 2的更多信息。
報告地址：https://developers.googleblog.com/en/fine-tuning-gemma-2-with-keras-hugging-face-update/
對AI安全性的提升
Gemma 2在實用高效的同時，也從安全角度做出了新舉措。
谷歌致力于為開發人員和研究人員提供構建和部署AI所需的資源，提供了「負責任的生成式AI工具包」。最近，谷歌開源了LLM Comparator，可以幫助評估語言模型，并通過Python庫進行比較和可視化。此外，谷歌正致力于為 Gemma 模型開源文本水印技術 SynthID。
在訓練 Gemma 2 時，遵循了嚴格的內部安全流程，預訓練數據都經過了嚴格的篩選，并根據全面指標進行了測試，以識別和減輕偏見和風險。谷歌還發布了大量與安全和代表性損害相關的公共基準測試結果。
Gemma 2目前可以在Google AI Studio中使用，在Gemma 27B下測試其全部性能，而無需硬件要求。
此外，為方便研發人員使用，Gemma 2還可通過Kaggle或谷歌Colab免費獲取。
參考資料：
https://blog.google/technology/developers/google-gemma-2/
https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf
歡迎各位關注我的個人微信公眾號：HsuDan，我將分享更多自己的學習心得、避坑總結、面試經驗、AI最新技術資訊。
