DeepSeek-V3 的綜合能力

DeepSeek-V3 在推理速度上相較歷史模型有了大幅提升。在目前大模型主流榜單中，DeepSeek-V3 在開源模型中位列榜首，與世界上最先進OpenAI 閉源模型不分伯仲。

1、下載Ollama運行大數據庫

Ollama支持?Llama 3.3,?DeepSeek-R1,?Phi-4,?Mistral,?Gemma 2,等其他數據模型的本地化部署

Ollama 官方版：【點擊前往】

本文將以在windows環境下部署為例:?

Download Ollama on WindowsDownload Ollama for Windowshttps://ollama.com/download/windows

2、拉取DeepSeek R1 AI模型數據庫

需要根據本地硬件配置和顯卡顯存大小來選擇拉取的模型庫大小。

安裝命令——

#5B Qwen Deepseek R1
ollama run deepseek-r1:5b#7B Qwen Deepseek R1
ollama run deepseek-r1:7b#8B Qwen Deepseek R1
ollama run deepseek-r1:8b#14B Qwen Deepseek R1
ollama run deepseek-r1:14b#32B Qwen Deepseek R1
ollama run deepseek-r1:32b#70B Qwen Deepseek R1
ollama run deepseek-r1:70b#671B Qwen Deepseek R1
ollama run deepseek-r1:671b

有條件的小伙伴可以本地部署滿血版Deepseek R1 671b原版大模型，它的最低硬件需求：

CPU： 32核心Intel Xeon或者AMD EPYC處理器

內存：512GB RAM

GPU: 4xNVDIA A100\80GB顯存

硬盤：2TB Nvme SSD

網絡：10Gbps帶寬

而本地硬件有限，只能部署蒸餾版的Deepseek R1 8b模型。本人12G的顯卡，以拉取8b模型：

查看拉取Deepseek大數據模型庫狀態：

3、部署本地AnythingLLM??UI環境

?AnythingLLM?下載——

?Github 開源版： 【點擊下載】? ? ? ?官方版：【點擊下載】

4、上傳本地私有知識庫

5、暢玩本地Deepseek R1 AI大模型知識庫