文章來源:統信UOS 1071本地大模型配置手冊 | 統信軟件-知識分享平臺
1.?OS版本確認
1.1.?版本查看
要求:計算機,屬性,查看版本(1070,構建號>= 101.100)
2.?UOS AI版本確認
UOS AI,設置,點擊添加,查看是否有:自定義,功能菜單(因為此操作需進行自定義配置)
3.?安裝模型管理工具Ollama
3.1.?Ollama簡介
Ollama是一個開源的 LLM(大型語言模型)服務工具,用于簡化在本地運行大語言模型,降低使用大語言模型的門檻,使得大模型的開發者、研究人員和愛好者能夠在本地環境快速實驗、管理和部署最新大語言模型,包括如Llama 3、Phi 3、Mistral、Gemma等開源的大型語言模型。官網:https://ollama.com/
3.2.?Ollama安裝
快速命令安裝:curl -fsSL https://ollama.com/install.sh | sh
其它更多安裝方式,可參照:https://github.com/ollama/ollama
4.?選擇并安裝模型
使用llama3.1模型:ollama run llama3.1
更多模型選擇:https://ollama.com/library
5.?Ollama服務確認
systemctl status ollama
其它常用命令:
啟動Ollama
#ollama server
下載模型
#ollama pull XXX(模型名稱)
運行模型
#ollama run XXX(模型名稱)
查看已下載模型
#ollama list
查看Ollama版本
#ollama --version
6.?UOS AI關聯配合模型
UOS AI,設置,點擊添加,自定義
7.?測試
UOS AI本地大模型測試:
8.?其它
1、Ollama服務關閉開機啟動:systemctl disable ollama
2、其它的可以參照:systemctl 的命令
綜上:UOS 1070U1 的AI配置本地大模型。后續將進一步更新本地模型學習等內容。