下面是我關于大語言模型學習的一點記錄

目錄

人工智能學習路線

MaxKB 系統(基于大語言模型的知識問答系統)

部署開源大語言模型LLM

1.CPU模式(沒有好的GPU，算力和效果較差)

2.GPU模式（需要有NVIDIA顯卡支持）?

Ollama網絡配置

Ollama前臺頁面配置

使用docker中的ollama下載并運行AI模型

?ollama模型倉庫（可以選擇自己想用的模型安裝體驗）

🏆 LMSYS Chatbot Arena Leaderboard(排行榜)

---

人工智能學習路線

人工智能學習路線（學+測） - 阿里云開發者社區人工智能學習路線，算法原理、框架精講、機器學習實戰、圖像識別實戰、自然語言處理實戰，人工智能技術一站式學習https://developer.aliyun.com/learning/roadmap/ai

MaxKB 系統(基于大語言模型的知識問答系統)

官網和GitHub鏈接，可以用于公司知識庫

MaxKB - 基于大語言模型的知識庫問答系統MaxKB 是一款基于 LLM 大語言模型的知識庫問答系統。https://maxkb.cn/https://github.com/1panel-dev/MaxKBhttps://github.com/1panel-dev/MaxKB

docker安裝

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

MaxKB是知識問答系統，主要對文檔進行分塊，內容塊和問答框以及匹配度設置和問答記錄登記?反饋等等情況。但本身不具有LLM模型，需要另外部署或者接入API，例如千帆

我們自己部署一套開源模型

部署開源大語言模型LLM

1.CPU模式(沒有好的GPU，算力和效果較差)

docker部署ollama(給MaxKB調用)

docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.GPU模式（需要有NVIDIA顯卡支持）?

?企業級需要4090 2塊做推理

安裝英偉達容器工具包（以Ubuntu22.04為例）

其他系統請參考：英偉達官方文檔

# 1.配置apt源

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \

sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# 2.更新源

sudo apt-get update

# 3.安裝工具包

sudo apt-get install -y nvidia-container-toolkit

docker使用GPU運行ollama

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama網絡配置

如何在我的網絡上暴露Ollama？

Ollama默認綁定127.0.0.1端口11434。通過OLLAMA_HOST環境變量更改綁定地址。

https://docs.dify.ai/v/zh-hans/guides/model-configuration/ollama#zai-windows-shang-she-zhi-huan-jing-bian-liang

Ollama前臺頁面配置

docker部署ollama web ui(第一次登錄需要注冊)

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main? ? ? ? ?

使用docker中的ollama下載并運行AI模型

#通義1.0? 4b

docker exec -it ollama ollama run qwen:4b-chat

#中文?lama2-chinese:13b模型

docker exec -it ollama?ollama run llama2-chinese:13b

#通義7b-chat-v1.5-q5_K_M

docker exec -it ollama?ollama run qwen:7b-chat-v1.5-q5_K_M

#通義千問2.0?Qwen2-7B（2024年6月底更新，當前最好用的開源，推薦用這個模型,下面有排行榜，在有限的資源下Qwen2-7B是開源中的頂流了，70億的體量能滿足企業開展，如果資源不夠可以搞小一點的模型，測試下來P100勉強可以跑，A10可以跑5并發 3000token）

docker exec -it ollama?ollama run?qwen2:72b

#進入容器

docker exec -it ollama bash

root@9592d72fca5b:/# ollama list

NAME????????????????????????????ID??????????????SIZE????MODIFIED??????????

llama2-chinese:13b??????????????990f930d55c5????7.4 GB??3 hours ago??????

qwen:0.5b-text-v1.5-q6_K????????c8c2e4f579df????514 MB??15 minutes ago???

qwen:4b-chat????????????????????d53d04290064????2.3 GB??5 hours ago??????

qwen:7b-chat-v1.5-q5_K_M????????44ca6b3fda9d????5.5 GB??About an hour ago

root@9592d72fca5b:/# ollama rm qwen:0.5b-text-v1.5-q6_K

deleted 'qwen:0.5b-text-v1.5-q6_K'

root@9592d72fca5b:/# ollama list

NAME????????????????????????????ID??????????????SIZE????MODIFIED??????????

llama2-chinese:13b??????????????990f930d55c5????7.4 GB??3 hours ago??????

qwen:4b-chat????????????????????d53d04290064????2.3 GB??5 hours ago??????

qwen:7b-chat-v1.5-q5_K_M????????44ca6b3fda9d????5.5 GB??About an hour ago

?ollama模型倉庫（可以選擇自己想用的模型安裝體驗）

ollama模型倉庫

🏆 LMSYS Chatbot Arena Leaderboard(排行榜)

https://chat.lmsys.org/?leaderboard

https://cevalbenchmark.com/static/leaderboard.html

上面這個網站收集的模型比較

?SuperCLUE

?這部分是Qwen1.5的比對，目前已經到Qwen2.0了