1. Gemma-3 簡介

2025年 3月12日，谷歌推出最新多模態大模型 Gemma-3。這是一組輕量級、最先進的開源模型，是迄今為止最先進、便攜且負責任開發的開源模型，可以直接在手機、PC、工作站上快速運行。

Gemma 3 的核心改進在于：

• 圖像理解：Gemma 3 新增了對圖像的處理能力，使其能夠支持多模態任務（如文本與圖像的結合）。
• 長上下文支持：通過優化架構和訓練策略，Gemma 3 能夠處理更長的上下文，適用于需要大量上下文信息的任務。
• 多語言性：Gemma 3 在多語言支持方面進行了改進，能夠更好地處理多種語言的文本。
• STEM 能力：在科學、技術、工程和數學（STEM）相關任務上，Gemma 3 的性能得到了顯著提升。

Google Bolg： https://blog.google/technology/developers/gemma-3/
Hugging Face： https://huggingface.co/blog/gemma3
Kaggle： https://www.kaggle.com/models/google/gemma-3
論文下載： https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

Gemma 系列大模型是谷歌開源的一系列輕量級的大模型。Gemma 系列大模型與谷歌 Gemini 系列模型技術同源，但是以免費商用授權的方式開源。2024年2月，谷歌開源 Gemma 2B、7B 模型，參數規模分別為 20億、70億，上下文長度 8K。2024年5月，谷歌開源了 Gemma2 系列 2B、9B 和 27B 模型。

1.1 Gemma-3 的新功能

開發者可以使用 Gemma 3 的新功能：

• **構建世界最佳的單加速器模型： **
  Gemma 3 在其尺寸上提供了最先進的性能，在 LMArena 排行榜的初步人類偏好評估中優于 Llama3-405B、DeepSeek-V3 和 o3-mini。這幫助您創建適合單個 GPU 或 TPU 主機的引人入勝的用戶體驗。

• 支持 140 種語言的全球化應用：
  構建能夠說客戶語言的應用程序。Gemma 3 提供了超過 35 種語言的開箱即用支持，并對超過 140 種語言進行了預訓練支持。

• 創建具有高級文本和視覺推理能力的 AI：
  輕松構建能夠分析圖像、文本和短視頻的應用程序，為交互式和智能應用程序開辟新的可能性。

• 通過擴展的上下文窗口處理復雜任務：
  Gemma 3 提供了 128k 令牌的上下文窗口，讓您的應用程序能夠處理和理解大量信息。

• 使用函數調用創建 AI 驅動的工作流程：
  Gemma 3 支持函數調用和結構化輸出，幫助您自動化任務并構建代理體驗。

• 通過量化模型更快地提供高性能：
  Gemma 3 引入了官方量化版本，減少了模型大小和計算需求，同時保持高精度。

1.2 與現有工作流的集成

谷歌還推出了基于 Gemma3 的圖像安全分類器 ShieldGemma2，可用于過濾圖像輸入和輸出，以查找歸類為色情、危險或暴力的內容。

Gemma 3 和 ShieldGemma 2 可以無縫集成到您現有的工作流程中：

• 使用您喜歡的工具進行開發：
  支持 Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和 Gemma.cpp，您可以靈活選擇最適合項目的工具。

• 幾秒鐘內開始實驗：
  立即訪問 Gemma 3 并開始構建。在 Google AI Studio 中探索其全部潛力，或通過 Kaggle 或 Hugging Face 下載模型。

• 根據您的特定需求定制 Gemma 3：
  Gemma 3 附帶了一個改進的代碼庫，其中包括高效微調和推理的配方。使用您喜歡的平臺（如 Google Colab、Vertex AI 甚至您的游戲 GPU）訓練和調整模型。

• 按您的方式部署：
  Gemma 3 提供多種部署選項，包括 Vertex AI、Cloud Run、Google GenAI API、本地環境和其他平臺，讓您靈活選擇最適合應用和基礎設施的方式。

• 在 NVIDIA GPU 上體驗優化性能：
  NVIDIA 直接優化了 Gemma 3 模型，確保您在任何尺寸的 GPU 上（從 Jetson Nano 到最新的 Blackwell 芯片）都能獲得最大性能。Gemma 3 現已加入 NVIDIA API Catalog，只需一個 API 調用即可快速原型設計。

• 在多種硬件平臺上加速 AI 開發：
  Gemma 3 還針對 Google Cloud TPU 進行了優化，并通過開源的 ROCm? 堆棧與 AMD GPU 集成。對于 CPU 執行，Gemma.cpp 提供了直接解決方案。

1.3 開始使用 Gemma-3

1. 即時探索：

• 1.1 直接在瀏覽器中以全精度試用 Gemma 3，無需進行設置，就可以使用 Google AI Studio。
  注意： Google 和 Gemma3 目前在部分國家和地區尚未提供相關服務。

• 1.2 直接從 Google AI Studio 獲取 API 密鑰，并使用 Google GenAI SDK 使用 Gemma 3。

2. 定制和構建：

• 2.1 從 Hugging Face、Ollama 或 Kaggle 下載 Gemma 3 模型。

• 2.2 使用 Hugging Face 的 Transformers 庫或您喜歡的開發環境輕松微調和調整模型以滿足您的獨特需求。

3. 部署和擴展：

• 3.1 使用 Vertex AI 將您的自定義 Gemma 3 創作大規模推向市場。

• 3.2 使用 Ollama 在 Cloud Run 上運行推理。

• 3.3 在 NVIDIA API Catalog 中開始使用 NVIDIA NIMs。

API 調用例程如下：

import requests, base64invoke_url = "https://integrate.api.nvidia.com/v1/chat/completions"
stream = Truewith open("image.png", "rb") as f:image_b64 = base64.b64encode(f.read()).decode()assert len(image_b64) < 180_000, \"To upload larger images, use the assets API (see docs)"headers = {"Authorization": "Bearer $API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC","Accept": "text/event-stream" if stream else "application/json"
}payload = {"model": 'google/gemma-3-27b-it',"messages": [{"role": "user","content": f'What is in this image? <img src="data:image/png;base64,{image_b64}" />'}],"max_tokens": 512,"temperature": 0.20,"top_p": 0.70,"stream": stream
}response = requests.post(invoke_url, headers=headers, json=payload)if stream:for line in response.iter_lines():if line:print(line.decode("utf-8"))
else:print(response.json())

要深入了解這些功能背后的技術細節，以及我們負責任開發方法的全面概述，請參閱 Gemma 3 技術報告。

Gemma-3 技術報告：摘要

我們推出 Gemma 3，作為 Gemma 系列輕量級開源模型的多模態擴展版本，其參數量范圍從 1 億到 270 億不等。
該版本引入了視覺理解能力、更廣泛的語言覆蓋范圍以及更長的上下文處理能力——至少支持 128K tokens。
我們還調整了模型的架構，以減少在長上下文場景下容易爆炸的 KV-cache 內存占用。這是通過增加局部注意力層與全局注意力層的比例，并保持局部注意力的跨度較短來實現的。
Gemma 3 模型通過蒸餾訓練，在預訓練和指令微調版本中均顯著優于 Gemma 2。特別是，我們新穎的后訓練方法顯著提升了數學、對話、指令跟隨以及多語言能力，使得 Gemma3-4B-IT 在基準測試中與 Gemma2-27B-IT 競爭，而 Gemma3-27B-IT 則與 Gemini-1.5-Pro 具有可比性。
我們將所有模型向社區開放。

Gemma-3 技術報告：1. 引言

我們推出了Gemma開放語言模型的最新版本（Gemma Team, 2024a），該版本與Gemini前沿模型系列（Gemini Team, 2023）共同設計。這一新版本的模型規模與Gemma 2（Gemma Team, 2024b）相當，并新增了10億參數模型。這些模型旨在運行于標準消費級硬件，如手機、筆記本電腦和高性能GPU。此版本為Gemma系列引入了多項新能力，包括多模態、長上下文處理和多語言支持，同時保持或超越了先前版本的性能。

**在多模態方面，大多數Gemma 3模型與定制的SigLIP視覺編碼器（Zhai et al., 2023）兼容。**語言模型將圖像視為由SigLIP編碼的軟標記序列。我們通過將視覺嵌入壓縮為256個固定大小的向量來降低圖像處理的推理成本。編碼器以固定分辨率工作，并借鑒了LLaVA（Liu et al., 2024）的思路，采用“平移與掃描”（P&S）方法實現靈活分辨率處理。

**另一項主要架構改進是將上下文大小提升至128K tokens，且不降低性能。**長上下文處理的一個挑戰是推理過程中KV緩存的內存爆炸問題。為緩解這一問題，我們在每個全局層之間交錯多個局部層，并為局部層分配僅1024 tokens的較小跨度。因此，只有全局層關注長上下文，每5個局部層對應1個全局層。

**預訓練優化方法與 Gemma 2類似，但在架構設計上有所調整。**我們使用了與Gemini 2.0相同的分詞器，并重新審視了數據混合方式，以增強模型的多語言能力，同時引入圖像理解。所有Gemma 3模型均采用知識蒸餾（Hinton et al., 2015）訓練。
在后訓練階段，我們專注于提升數學、推理和對話能力，并整合Gemma 3的新功能，如長上下文和圖像輸入。我們采用了一種新穎的后訓練方法，在數學、編程、對話、指令跟隨和多語言等方面均取得了顯著提升。最終的Gemma 3指令微調模型性能強大且功能多樣，遠超其前代模型。

在接下來的章節中，我們將簡要概述模型架構及預訓練和后訓練方法，并提供多種定量和定性基準的詳細評估。我們還將討論安全負責的部署策略，并闡述Gemma 3的廣泛影響、局限性及優勢。

Gemma-3 技術報告：2. 模型架構

Gemma 3 模型遵循與先前版本相同的純解碼器 Transformer架構（Vaswani等，2017），其中大多數架構元素與前兩代Gemma模型相似。我們采用了分組查詢注意力機制（Grouped-Query Attention, GQA）（Ainslie等，2023），并結合后歸一化（post-norm）和前歸一化（pre-norm）技術，使用 RMSNorm（Zhang和Sennrich，2019）實現。受 Dehghani等（2023）、Wortsman等（2023）以及 Chameleon團隊（2024）的啟發，我們用 QK 歸一化取代了 Gemma 2中的軟上限（soft-capping）。

在本節中，我們將重點介紹與前代版本的一些關鍵差異。

局部層與全局層按 5:1 交錯。 我們在局部滑動窗口自注意力機制（Beltagy等，2020）和全局自注意力機制（Luong等，2015）之間進行交替，采用每5個局部層對應1個全局層的模式，并以局部層作為模型的第一層。

長上下文處理。 Gemma 3 模型支持128K tokens的上下文長度，但1B模型例外，其僅支持32K。我們將全局自注意力層的RoPE基頻從10k提高到1M，同時保持局部層的頻率為10k。我們采用了與Chen等（2023）所提出的位置插值類似的方法，以擴展全局自注意力層的跨度。

2.1 視覺模態

視覺編碼器。 我們使用SigLIP編碼器（Zhai等，2023）的一個400M變體，這是一種基于視覺Transformer（Dosovitskiy，2020）的架構，采用CLIP損失（Radford等，2021）的變體進行訓練。Gemma視覺編碼器接收調整為896×896大小的方形圖像，并在視覺助手任務的數據上進行微調。為簡化起見，我們在4B、12B和27B模型之間共享視覺編碼器，并在訓練期間保持其凍結狀態。

平移與掃描（Pan & Scan, P&S）。 Gemma視覺編碼器以896×896的固定分辨率運行。這導致在處理非方形寬高比和高分辨率圖像時出現偽影，例如無法識別的文本或消失的小物體。我們通過推理期間的自適應窗口算法來解決這一問題。該算法將圖像分割為大小相等的非重疊區域，覆蓋整個圖像，并將其調整為896×896像素以傳遞給編碼器。此窗口化操作僅在必要時應用，并控制最大區域數量。這是一種僅用于推理階段的優化，可以禁用以實現更快的推理速度。

參數數量。 表1展示了Gemma 3模型的參數數量。我們的詞匯表包含256K條目。

2.2 預訓練

我們遵循與Gemma 2相似的知識蒸餾預訓練方法。

訓練數據。 我們預訓練的模型使用了略高于Gemma 2的token預算，即Gemma 3 27B模型訓練了14T tokens，12B版本訓練了12T tokens，4B版本訓練了4T tokens，1B版本訓練了2T tokens。token數量的增加是為了適應預訓練期間圖像和文本的混合使用。我們還提高了多語言數據的比例，以增強語言覆蓋范圍。我們添加了單語和并行數據，并采用了Chung等人（2023）啟發的策略來處理語言表示的不平衡問題。

分詞器。 我們使用了與Gemini 2.0相同的分詞器：一種基于SentencePiece的分詞器，支持數字分割、保留空格和字節級編碼（Kudo和Richardson，2018）。最終生成的詞匯表包含262k個條目。該分詞器對非英語語言更為均衡。

過濾。 我們采用了過濾技術，以減少不良或不安全語句的風險，并刪除某些個人信息和其他敏感數據。我們從預訓練數據中剔除評估集，并通過最小化敏感輸出的傳播來降低復述風險。我們還借鑒了Sachdeva等人（2024）的質量重加權步驟，以減少低質量數據的出現。

蒸餾。 我們為每個token采樣256個logits，并根據教師模型的概率進行加權。學生模型通過交叉熵損失在這些樣本中學習教師模型的分布。對于未采樣的logits，教師模型的目標分布設為零概率，并進行重新歸一化。

2.3 量化感知訓練

除了原始的檢查點，我們還提供了不同標準格式下的量化版本模型。這些版本是通過使用量化感知訓練（QAT）（Jacob等，2018）對每個模型進行少量步數（通常為5000步）微調得到的。

我們使用非量化檢查點的概率作為目標，并調整數據以匹配預訓練和后訓練分布。基于最流行的開源量化推理引擎（例如llama.cpp），我們專注于三種權重表示：每通道int4、每塊int4和切換fp8。

在表3中，我們報告了在32k序列tokens情況下，原始和量化模型在有無KV緩存時每種權重表示所占用的內存量。

2.4 計算架構

我們使用 TPUv4、TPUv5e 和 TPUv5p 訓練模型，如表 2 所述。

每個模型配置都經過優化，以最小化訓練步驟時間。對于視覺編碼器，我們預先計算每張圖像的嵌入，并直接使用嵌入進行訓練，從而不會增加語言模型的訓練成本。

優化器狀態使用 ZeRO-3（Ren 等，2021）的實現進行分片。對于多 pod 訓練，我們通過數據中心網絡執行數據副本縮減，采用 Barham 等（2022）的 Pathways 方法。我們使用 Jax（Roberts 等，2023）和 Pathways（Barham 等，2022）的“單控制器”編程范式，以及 GSPMD 分區器（Xu 等，2021）和 MegaScale XLA 編譯器（XLA，2019）。

Gemma-3 技術報告：3. 指令微調

預訓練模型通過一種與我們先前方法相比更為先進的后訓練方法，轉化為指令微調模型（見表6）。

技術：
我們的后訓練方法依賴于改進版本的知識蒸餾（Agarwal等，2024；Anil等，2018；Hinton等，2015），從大規模的指令微調教師模型中提取知識，并基于改進版本的BOND（Sessa等，2024）、WARM（Ramé等，2024b）和WARP（Ramé等，2024a）進行強化學習（RL）微調階段。

強化學習目標：
我們使用多種獎勵函數來提升模型的實用性、數學能力、編程能力、推理能力、指令跟隨能力以及多語言能力，同時最小化模型的潛在危害性。這包括通過人類反饋數據訓練的權重平均獎勵模型（Ramé等，2024b）、代碼執行反饋（Gehring等，2024）以及解決數學問題的真實獎勵數據（DeepSeek-AI，2025；Lambert等，2024）進行學習。

數據過濾：
我們精心優化后訓練中使用的數據，以最大化模型性能。過濾掉包含某些個人信息、不安全或有毒模型輸出、錯誤自我識別數據以及重復示例的數據。同時，包括鼓勵更好上下文歸屬、謹慎表達和拒絕反應的數據子集，以減少幻覺現象，從而在保持其他指標性能的同時提升事實性指標的表現。

[BOS]標記：
對于預訓練和指令微調模型，文本以[BOS]標記開始，由于文本 “[BOS]” 并未映射到 [BOS] 標記，因此需顯式添加。例如，Flax庫提供了一個選項 add_bos=True，可在分詞時自動添加該標記。指令微調模型的格式化示例如表4 所示。

預訓練與指令微調 格式的對比：
所有模型共享相同的分詞器，但指令微調模型使用了一些專用的控制標記。一個關鍵區別在于，預訓練模型在生成結束時輸出<eos>標記，而指令微調模型則輸出<end_of_turn>標記，如表4 所示。因此，微調任一模型類型時，也需添加其相應的結束標記。

Gemma-3 技術報告：4. 最終模型的評估

在本節中，我們通過一系列自動化基準測試和人類評估，以及靜態基準測試（如 MMLU），對 IT 模型進行了跨多個領域的評估。

4.1 LMSYS Chatbot Arena

在本節中，我們報告了 IT 27B 模型在 LMSys Chatbot Arena（Chiang 等，2024）上的表現。

該評估通過人類評分員對其他最先進模型進行盲測對比。我們在表 5 中報告了 Elo 分數。Gemma 3 27B IT（1338）位列前十名，其分數高于其他非思維型開源模型，例如 DeepSeek-V3（1318）、LLaMA 3 405B（1257）和 Qwen2.5-70B（1257），這些模型的規模要大得多。最后，Gemma 3 的 Elo 分數顯著高于 Gemma 2（1220）。需要注意的是，Elo 分數并未考慮視覺能力，而上述模型均不具備視覺能力。

4.2 標準基準測試

在表 6 中，我們展示了最終模型在各種基準測試中的表現，并與我們之前的模型迭代以及 Gemini 1.5 進行了比較。
我們沒有直接與外部模型進行比較，因為這些模型通常使用自己的評估設置，而在我們的設置中運行它們無法保證公平比較。我們鼓勵讀者參考第三方靜態排行榜，以進行更公平的模型間比較。我們在附錄中提供了模型在其他基準測試上的額外評估結果。

Gemma-3 技術報告：5. 消融

在本節中，我們主要關注我們的架構變化所帶來的影響，以及一些新的視覺能力對這個模型的影響。
消融實驗旨在分析模型架構變化和新增功能（如視覺能力）對性能的影響，從而更好地理解模型的改進點。

5.1 預訓練能力探測

我們在預訓練期間使用多個標準基準測試作為探測工具，以確保模型能夠捕捉通用能力。

在圖 2 中，我們比較了 Gemma 2 和 Gemma 3 在這些通用能力（即科學、代碼、事實性、多語言性、推理和視覺）上的預訓練模型質量。這些圖表中使用的不同公共基準測試的性能細節總結在附錄中。

總體而言，盡管增加了視覺能力，新版本在大多數類別中都有所提升。

我們特別關注了該版本中的多語言性，這直接影響了模型的質量。然而，盡管使用了去污染技術，這些探測工具仍存在污染風險（Mirzadeh 等，2024），這使得更明確的結論難以評估。

5.2 局部:全局注意力層

我們測量了局部和全局自注意力層的變化對推理性能和內存消耗的影響。

• 局部與全局 注意力層的比例：
  在圖 3 中，我們比較了不同比例的局部與全局注意力層。Gemma 2 模型使用 1:1 的比例，而 Gemma 3 使用 5:1 的比例。我們觀察到改變這一比例對困惑度的影響很小。

• 滑動窗口大小：
  在圖 4 中，我們比較了不同全局:局部比例配置下局部注意力層的滑動窗口大小。滑動窗口可以顯著減小，而不會影響困惑度。

• 對 KV 緩存內存的影響：
  在圖 5 中，我們展示了在 32k 令牌上下文推理期間，模型使用的內存與 KV 緩存之間的平衡。“僅全局”配置是大多數密集模型使用的標準配置。“1:1, sw=4096”是 Gemma 2 使用的配置。我們觀察到，“僅全局”配置會導致 60% 的內存開銷，而在 1:3 比例和滑動窗口為 1024（“sw=1024”）的情況下，這一開銷減少到不到 15%。

在圖 6 中，我們計算了 KV 緩存使用的內存與上下文長度的函數關系，比較了我們的 2B 架構（L:G=5:1, sw=1024）與“僅全局”2B 模型的表現。

5.3 支持長上下文

我們沒有從頭開始訓練 128K 序列，而是先用 32K 序列進行預訓練，然后在預訓練結束時將 4B、12B 和 27B 模型擴展到 128K 令牌，同時重新縮放 RoPE（Chen 等，2023）。我們發現縮放因子為 8 在實踐中效果良好。
需要注意的是，與 Gemma 2 相比，我們還將全局自注意力層的 RoPE 基礎頻率從 10k 增加到 1M，而局部自注意力層保持 10k。在
圖 7 中，我們展示了不同上下文長度對困惑度的影響。我們的模型能夠泛化到 128K，但隨著進一步擴展，性能迅速下降。

5.4 小教師模型與大教師模型

一個常見的發現是，訓練小模型時，從小教師模型蒸餾效果更好。我們推測這是因為這些研究通常在以下設置中進行：使用較差教師的正則化效果超過了使用更好教師的收益。
我們使用兩個不同大小的教師模型（一個大教師和一個小教師）訓練學生模型，并觀察不同訓練周期的影響。
在圖 8 中，我們觀察到，在短訓練周期內，小教師模型效果更好，但在較長訓練周期內，趨勢相反。

5.5 視覺編碼器

• 圖像分辨率的影響：
  我們使用基于 SigLIP（Zhai 等，2023）的視覺編碼器。視覺編碼器被凍結，僅訓練語言模型。多模態數據中的每張圖像由視覺編碼器生成的 256 個圖像令牌表示。因此，更高分辨率的編碼器使用平均池化將其輸出減少到 256 個令牌。例如，896 分辨率編碼器在其輸出上使用 4x4 平均池化。
  如表 7 所示，更高分辨率的編碼器表現優于較低分辨率的編碼器。

• Pan & Scan（P&S）：
  P&S 能夠以接近原始寬高比和分辨率捕捉圖像。
  在表 8 中，我們比較了使用和不使用 P&S 的 27B IT 模型。正如預期的那樣，能夠以接近原始分辨率處理圖像的能力極大地幫助了需要讀取圖像上文本的任務，這對視覺語言模型尤為重要。

Gemma-3 技術報告：6. 記憶與隱私

大型語言模型可能會生成與訓練數據中某些文本近乎相同的副本（Biderman 等，2023；Carlini 等，2021，2022；Ippolito 等，2022；Nasr 等，2023）。之前的幾份報告通過量化記憶率來評估這種風險（Anil 等，2023；Chowdhery 等，2022；Gemini 團隊，2023，2024；Gemma 團隊，2024a,b；LLaMa 團隊，2024）。

這里的“記憶率”定義為模型生成與訓練數據匹配的文本占所有生成文本的比例，具體測試方法如下。我們遵循 Gemma 團隊（2024b）描述的方法進行測量。具體來說，我們從訓練數據中均勻抽取大量樣本，并使用長度為 50 的前綴和長度為 50 的后綴測試這些內容是否可被發現提取（Nasr 等，2023）。如果生成文本的所有標記與源后綴完全匹配，則將其標記為“完全記憶”；如果匹配的編輯距離在 10% 以內，則標記為“近似記憶”。
我們在此并不聲明或暗示模型”包含“其訓練數據，因為模型中有該數據的副本。相反，模型記憶其訓練數據的屬性，以便在某些情況下，當遵循規則并使用其包含的訓練數據的特征信息時，它在統計上能夠生成此類訓練數據。

圖 9 比較了 Gemma 和 Gemini 模型的記憶率；這些模型按時間倒序排列，最新的 Gemma 3 模型位于左側。我們發現，Gemma 3 模型對長文本的記憶率遠低于之前的模型（注意 y 軸為對數刻度）。我們觀察到 4B、12B 和 27B 模型的記憶率差異很小，而 1B 模型的記憶率低于這些更大的模型。此外，我們發現“近似記憶”的文本比例更高，與“完全記憶”相比，“近似記憶”的比例平均增加了約 24 倍。

我們還研究了生成文本中可能包含個人信息的比例。為了識別潛在的個人信息，我們使用了 Google Cloud 敏感數據保護（SDP）服務。SDP 使用廣泛的檢測規則來識別可能包含個人信息的文本。SDP 的設計目標是高召回率，并且不考慮信息出現的上下文，這會導致許多誤報。因此，我們可能高估了被分類為記憶的輸出中包含的潛在個人信息的真實數量。SDP 還提供了廣泛的嚴重級別：低、中、高。如果 SDP 將文本分類為任何嚴重級別的個人信息，我們將其標記為個人文本。我們觀察到，在所有 Gemma 3 模型的記憶輸出中，沒有發現個人信息。這表明在分類為記憶的輸出中，個人數據的比例很低，低于我們的檢測閾值。

Gemma-3 技術報告：7. 責任、安全與保障

在 Gemma 模型的開發中，責任、安全和保障至關重要。為了降低 Gemma 3 用戶的風險，我們繼續在整個開發流程中整合增強的內部安全流程，與最近的 Google AI 模型（Gemini 團隊，2024）保持一致。這包括在訓練時進行安全緩解，以及對我們引入的新圖像到文本功能進行穩健且透明的模型評估。

7.1 治理與評估

我們評估 Gemma 的收益和風險的方法與 Gemma 1（Gemma 團隊，2024a）中概述的方法一致，同時考慮了支持模態的變化。我們仍然相信，AI 的開放性可以將這些技術的好處傳播到整個社會，但必須評估其與惡意使用風險之間的平衡，這些風險可能對個人和機構造成傷害（Weidinger 等，2021）。自 Gemma 首次發布以來，我們已經看到這些模型推動了多項社會有益的應用，例如我們自己的 ShieldGemma 2，這是一個基于 Gemma 3 構建的 4B 圖像安全分類器，為圖像安全提供了現成的解決方案，輸出危險內容、色情內容和暴力類別的安全標簽。

發布 Gemma 3 模型需要特別關注模型能力的變化，并密切監控現有多模態 LLM 的演變風險（Lin 等，2024），同時了解模型在現實世界中的使用方式。盡管我們尚未收到任何關于 Gemma 惡意使用的報告，但我們仍然致力于調查任何此類報告，并與學術界和開發者社區合作，同時進行我們自己的監控，以標記此類情況。

盡管能力有所提升，但我們認為，鑒于目前已有許多更強大的開源模型，此次發布對整體風險格局的影響微乎其微。

7.2 安全政策與訓練時緩解措施

Gemma 安全方法的一個關鍵支柱是將微調模型與 Google 的安全政策對齊，與 Gemini 模型（Gemini 團隊，2023）保持一致。這些政策旨在幫助防止我們的模型生成有害內容，例如：
- 兒童性虐待和剝削
- 泄露可能導致傷害的個人身份信息（例如，社會安全號碼）
- 仇恨言論和騷擾
- 危險或惡意內容（包括促進自殘或指導有害活動）
- 色情內容
- 與科學或醫學共識相悖的醫療建議

我們對預訓練數據進行了大量的安全過濾，以減少預訓練和微調檢查點生成有害內容的可能性。對于微調模型，我們還使用監督微調（SFT）和基于人類反饋的強化學習（RLHF）來引導模型遠離不良行為。

7.3 保障評估

我們還對 IT 模型進行了一系列基線保障評估，以了解模型可能造成的潛在危害。盡管我們倡導開源模型，但我們也認識到權重發布的不可逆性需要進行嚴格的風險評估。我們的內部安全流程據此設計，并且對于之前的 Gemma 模型，我們還進行了與極端風險相關的能力評估（Phuong 等，2024；Shevlane 等，2023）。

隨著我們繼續開發和分享開源模型，我們將遵循這樣的啟發式方法：對更強大的模型進行徹底評估通常可以為能力較弱的模型提供足夠的保障。因此，我們為 Gemma 3 優先考慮了一套簡化的評估，僅在特定模型可能帶來潛在高風險時進行深入的危險能力評估（如下所述的 CBRN 評估）。我們在開發速度與針對性安全測試之間取得平衡，確保評估重點明確且高效，同時遵守我們在前沿安全框架中做出的承諾。

基線評估
基線保障評估使用大量合成的對抗性用戶查詢，并由人類評分員標記答案是否違反安全政策。總體而言，Gemma 3 在這些安全政策上的違規率顯著較低。

化學、生物、放射性和核（CBRN）知識
由于在 STEM 相關任務上的性能增強，我們使用內部數據集評估了與生物、放射性和核風險相關的知識，該數據集包含封閉式、基于知識的多項選擇題。對于化學知識的評估，我們采用了 Macknight 等開發的關于化學危害的封閉式知識測試方法。我們的評估表明，Gemma 3 模型在這些領域的知識水平較低。

7.4 我們對負責任開源模型的方法

設計安全、可靠和負責任的應用需要系統級的方法，努力減輕與每個特定用例和環境相關的風險。我們將繼續根據模型潛在風險的比例采取評估和安全緩解措施，并僅在確信收益顯著超過可預見風險時與社區分享這些模型。

Gemma-3 技術報告：8. 討論與結論

在這項工作中，我們介紹了 Gemma 3，這是 Gemma 開源語言模型家族的最新成員，支持文本、圖像和代碼處理。在這個版本中，我們專注于增加圖像理解和長上下文支持，同時提升多語言性和 STEM 相關能力。我們的模型規模和架構設計旨在與標準硬件兼容，并且大多數架構改進都是為了在保持性能的同時適應這些硬件。

版權聲明：

youcans@xidian 作品，轉載必須標注原文鏈接：
【技術報告】谷歌開源多模態大模型 Gemma-3
Copyright 2025 youcans, XIDIAN
Crated：2025-03