手機端可部署的開源大模型
目錄
- 手機端可部署的開源大模型
- Qwen2.5 0.5B 7b 推理采用手機內存需要多少
- Qwen2.5 0.5B
- 不同量化精度下的內存需求
- Qwen2.5 7B
- 不同量化精度下的內存需求
- 通義千問2.5訓練和推理需要的內存和外存
- 推理階段
- 1. Qwen2.5 - 7B
- 2. Qwen2.5 - 14B
- 3. Qwen2.5 - 72B
- 訓練階段
- 1. Qwen2.5 - 7B
- 2. Qwen2.5 - 14B
- 3. Qwen2.5 - 72B
- Qwen2.5 0.5B
- 推理階段
- 訓練階段
- Qwen2.5 3B
- 推理階段
- 訓練階段
- OpenELM：由蘋果公司開源，在AI代碼社區Hugging Face上發布。它由多個旨在高效執行文本生成任務的小模型組成，有2.7億、4.5億、11億與30億參數四種規模，各模型均有預訓練與指令微調兩個版本。采用層級縮放策略，在公開數據集預訓練后微調，能在商用筆記本電腦甚至部分智能手機上運行。蘋果公司在“示例代碼許可證”下發布了模型權重等相關內容。
- Ministraux：由法國Mistral.AI開源，有Ministral 3B和8B兩個版本，專為手機、平板、筆記本等移動設備設計。在文本生成、推理、函數調用和效率方面表現出色，支持128k上下文長度，在主流基準測試平臺中的分數較高，超過了谷歌的Gemma-2、Meta的Llama-3.2等模型。
- Gemma 2B：谷歌發布的緊湊型高性能LLM，利用多查詢注意力機制，減少推理期間對內存帶寬的需求，適合內存帶寬有限的設備端場景。僅用20億個參數，在語言理解、推理和安全等方面的學術基準測試上成績出色，在18項基于文本的任務中，11項表現勝過大小相似的開放模型。
- Phi-2：微軟的小型模型，有27億個參數。在某些基準測試中?
)
