自從OpenAI的ChatGPT橫空出世以來，國內外各類大語言模型（LLM）層出不窮，其中不乏Google的Gemini、Claude、文心一言等等。相較于競爭激烈的商業模型賽道，以Llama為代表的開源大模型的進步速度也十分驚人。
伴隨著大語言模型的百花齊放，如何評價一個模型的各項指標與綜合能力成了新的問題，其中大規模多任務語言理解（MMLU-Massive Multitask Language Understanding）是評估語言模型能力最常用和權威的基準之一，它由約 16,000 個多項選擇題組成，涵蓋數學、哲學、法律和醫學等 57 個學科。
在最新的以MMLU為基準的大語言模型排行榜上，國產的開源大模型通義千問Qwen2和零一萬物Yi-Large在與Claude3、ChatGPT4o、Gemini等商業模型的競爭中不遑多讓，名列前茅。
通常情況下我們都是在線使用大語言模型，難免會遇到網絡不便、賬號受限等問題，既然國產開源大模型已經有了如此強大的性能，能否將其部署在本地來使用呢？
答案是可以的，而且對計算機配置的需求比各位想象的低很多。
本地大模型框架ollama介紹
既然想要在本地計算機或服務器配置大模型，就不得不提到一個神器 — Ollama
Ollama是一個開源框架，專門設計用于在本地運行大型語言模型。 它的主要特點是將模型權重、配置和數據捆綁到一個包中，從而優化了設置和配置細節，包括GPU使用情況，簡化了在本地運行大型模型的過程。
Ollama一開始僅支持macOS和Linux操作系統，近期也推出了支持Windows系統的預覽版。
這里以Windows系統為例，首先在官網或GitHub下載并安裝Ollama，注意系統版本要求Windows 10及以上
官網下載：https://ollama.com/download
GitHub：https://github.com/ollama/ollama/releases
下載完成后進行安裝
ollama沒有GUI，安裝完成后需要在PowerShell或命令行進行使用。
在PowerShell運行命令：ollama help將顯示 Ollama 中的可用命令。
通過輸入“ollama + 可用命令”即可對ollama進行操作，例如：
ollama list：顯示模型列表。ollama show：顯示模型的信息ollama pull：拉取模型ollama push：推送模型ollama cp：拷貝一個模型ollama rm：刪除一個模型ollama run：運行一個模型
安裝并運行本地模型
完成ollama的安裝并熟悉了基本操作后，可以開始安裝所需的模型了。
在ollama官方網站的模型頁面可以瀏覽支持的開源模型列表。
這里選擇國產qwen2模型，ollama支持0.5b、1.5b、7b、72b四種參數規模（b即billion，十億參數量），可根據個人硬件配置與存儲空間進行選擇，經過實測，擁有NVidia獨顯的筆記本電腦完全可以跑的動7b模型。
硬件需求：
- RAM： 7B模型推薦16GB，70B需要64GB或更多。
- GPU： 具有至少8GB 顯存的GPU，最好是支持CUDA的NVIDIA GPU。
在下圖標記1出選擇對應參數的模型，標記2處會自動切換至該模型的安裝命令，復制命令并在PowerShell中運行即可進行下載安裝。
這里選擇安裝qwen2:7b模型。
模型文件的保存路徑為：
C:\Users\“你的用戶名”\.ollama\models\
安裝完成后即可進行對話。
在每次使用前請先確認ollama服務已經開啟，可在開始菜單啟動ollama或創建快捷方式，ollama啟動后會在系統任務欄顯示圖標。
接著在PowerShell通過ollama run qwen2啟動模型。
進階使用方法
很顯然，通過PowerShell與本地大模型進行對話不是那么的方便，ollama支持很多桌面客戶端通過端口進行調用，其默認使用11434端口，可通過 http://localhost:11434 訪問。
聊天對話推薦使用chatbox，可實現無需部署，開箱即用，內置大量prompt可以最大程度的發揮模型的能力。
官網：https://chatboxai.app/zh
Github：https://github.com/Bin-Huang/chatbox
翻譯、潤色、總結等功能推薦使用OpenAI Translator，其最初是ChatGPT API 的劃詞翻譯瀏覽器插件和跨平臺桌面端應用，但目前同樣支持ollama的本地模型。
Github：https://github.com/Bin-Huang/chatbox
總結
ollama不僅可以讓我們在本地隨時隨地使用大語言模型不受網絡、賬戶等限制，同時可以利用ollama提供的api接口開發基于各類大語言模型的應用與服務，并且ollama支持安裝多個模型，方便我們進行對比和使用。
ollama的特點可以總結為：
- 開源：開源推動項目的持續發展。
- 開箱即用：一條命令的方式，簡化了大量的工作，降低了門檻。
- 可擴展：可以和很多工具進行集成使用，有更多的玩法。
- 輕量化：不需要太多的資源，個人電腦完全可以勝任。
（更新中……）)
