文章目錄
- 前情提要
- mistral模型
- 運行代碼
前情提要
之前咱對LLM4KGC的代碼稍作修改，目標是用modelscope來下載模型。
現在這個代碼終于能跑了。
前面咱說，我們的顯卡只有6G的顯存。現在呢，我也成功借到了A100的顯卡。這下，咱可以先跑跑這個項目默認帶的mistral模型。
mistral模型
Mistral 是由法國初創公司 Mistral AI 推出的開源大語言模型（LLM）系列，以高性能、輕量化設計和對開發者友好的開源策略著稱。其核心特點及發展歷程如下：
-
性能突破與高效架構
- Mistral 7B（2023年10月發布）作為首個開源模型，僅 70億參數 即在多項基準測試中超越 Llama 2 13B，甚至在推理和代碼任務上優于 Llama 1 34B。其核心技術包括 分組查詢注意力（GQA） 加速推理，以及 滑動窗口注意力（SWA） 支持長上下文（最高128K tokens）并降低計算成本。
- Mistral Large 2
