個人主頁：道友老李
歡迎加入社區：道友老李的學習社區

DeepSeek介紹

DeepSeek官網

DeepSeek（深度求索）是一家專注于實現通用人工智能（AGI）的中國科技公司，致力于通過技術探索與創新，推動智能技術的廣泛應用。以下是其核心信息的概述：

---

公司背景

• 成立時間：2023年（具體時間未公開披露）
• 總部：中國杭州
• 使命：通過AGI技術提升人類生產力，推動社會進步。
• 愿景：成為全球AGI領域的領導者。

---

核心技術

1. 大語言模型（LLM）

   • 自主研發高性能基座模型（如DeepSeek-R1、DeepSeek-R2），支持長文本理解、復雜推理和多語言處理。
   • 模型參數量覆蓋數十億至千億級，平衡性能與計算效率。

2. 多模態AI

   • 整合文本、圖像、語音等多模態數據，開發跨模態理解與生成能力。

3. 搜索增強技術

   • 結合搜索引擎實時數據，提升模型在知識更新與事實準確性上的表現。

---

產品與服務

• 通用大模型：面向開發者的開放API（如DeepSeek API），支持文本生成、代碼編寫等任務。
• 行業定制模型：針對金融、醫療、教育等領域提供垂直場景優化方案。
• 企業級平臺：提供模型訓練、部署及管理的全流程工具鏈（如Fine-tuning平臺）。
• 開源社區：部分模型和技術開源，促進開發者協作（如發布輕量版模型）。

---

應用場景

• 智能客服：自動化應答與客戶意圖分析。
• 內容生成：營銷文案、代碼、報告等自動化創作。
• 數據分析：從非結構化數據中提取洞察，輔助決策。
• 教育：個性化學習助手與智能題庫生成。

---

優勢與特點

• 技術領先：模型性能在多項基準測試（如MMLU、HumanEval）中位居前列。
• 場景深耕：聚焦企業級需求，提供高可用的行業解決方案。
• 生態合作：與云計算廠商、硬件供應商及高校建立聯合實驗室。

---

訪問與體驗

• 官網提供在線體驗入口（如Chat界面）和開發者文檔。
• 部分模型可通過Hugging Face、GitHub等平臺獲取。

---

如需更詳細的技術參數、商業合作或最新動態，建議訪問其官方網站或查閱官方發布的白皮書。

各個DeepSeek-R系列模型的硬件需求和適用場景

我的電腦配置：

可以跑7b和14b

Ollama

ollama search

Ollama 是一個開源的 AI 推理框架，專注于模型壓縮和部署。它的目標是幫助用戶在本地或邊緣設備上高效運行大型語言模型（LLM），通過量化和其他技術顯著減少模型大小，同時保持高性能。

主要特點

1. 模型壓縮與優化：

   • Ollama 提供了多種模型壓縮技術，如 4-bit 和 8-bit 量化，使大模型能夠在低資源環境下運行。
   • 支持主流語言模型（如 LLaMA、Vicuna 等）的適配和部署。

2. 高性能推理：

   • Ollama 能夠在本地設備上實現低延遲、高吞吐量的推理，適合實時應用。

3. 易于部署：

   • 提供簡潔的命令行界面（CLI），用戶可以輕松下載模型、調整參數并運行推理服務。
   • 支持 Docker 部署，便于在云服務器或邊緣設備上快速搭建。

4. 社區驅動：

   • Ollama 是一個開源項目，依賴于活躍的社區支持，用戶可以根據需求貢獻和改進功能。

優勢

• 輕量化：通過量化技術顯著降低模型大小，適合資源受限的環境。
• 高性能：優化了推理速度，能夠在本地快速響應。
• 靈活性：支持多種模型格式和后端（如 GGML、TensorRT 等）。
• 易于上手：用戶無需復雜的配置即可開始使用。

應用場景

1. 本地開發與實驗：

   • 開發者可以輕松在本地運行 LLM，用于快速測試和原型設計。

2. 邊緣計算：

   • 在邊緣設備（如 Raspberry Pi）上部署輕量級 AI 服務。

3. 實時推理服務：

   • 快速搭建支持多語言模型的推理服務器，滿足企業或個人需求。

4. 教育與研究：

   • 提供了一個易于使用的工具，適合教學和研究場景。

安裝和使用

國內下載：Ollama下載

1. 打開cmd控制臺，輸入：

   ollama
   

   可以看到幫助命令
   

2. 下載模型（以 DeepSeek-R系列為例）：

   ollama pull deepseek-r1:1.5b
   

3. 啟動推理服務：

   ollama serve --port 11434
   

4. 運行模型：

    ollama run deepseek-r1:1.5b
   

可以開始對話了。

配置環境變量

OLLAMA_MODELS 是修改OLLAMA下載的模型存儲位置，默認是在C盤

總結

Ollama 是一個強大的工具，旨在簡化大型語言模型的部署和推理過程。它通過模型壓縮和優化技術，使得在本地或邊緣設備上運行 AI 模型變得高效且易于管理。無論是開發者、研究人員還是企業用戶，Ollama 都能提供靈活和支持，滿足多種應用場景的需求。

安裝open-webui

下載和安裝docker desktop

官網地址：Docker Desktop

GitHub地址：Docker Desktop

配置鏡像源

第一個是阿里云的鏡像源，可登錄阿里云平臺查看

"registry-mirrors": ["https://${阿里云的}.mirror.aliyuncs.com","https://docker.m.daocloud.io","https://mirror.baidubce.com","https://docker.nju.edu.cn","https://mirror.iscas.ac.cn"]

安裝open-webui

搜索open-webui


我這里已經安裝過了。

運行和使用

在容器中運行open-webui，然后瀏覽器輸入http://localhost:3000

進入設置

配置Ollama地址

配置好后，保存，正常的情況下，界面就會顯示Ollama中已下載好的模型了

完成！可以開始對話了！

RagFlow介紹

RagFlow 是一個基于大語言模型的流程自動化工具，旨在幫助用戶通過自然語言處理（NLP）技術來自動化和優化工作流程。它結合了先進的AI技術和直觀的用戶界面，使得非技術人員也能輕松實現流程自動化。

主要功能

1. 智能對話交互：用戶可以通過與RagFlow進行自然語言對話，定義、管理和優化各種工作流程。
2. 任務自動化：支持多種任務類型，如數據處理、信息提取、報告生成等，幫助用戶自動完成重復性工作。
3. 跨系統集成：能夠與主流的第三方服務（如Slack、Jira、Google Drive等）無縫集成，實現不同系統的數據流動和協同工作。
4. 動態流程調整：根據實時數據和上下文環境，智能調整工作流程，確保流程始終高效運行。
5. 可擴展性：支持大規模業務需求，適用于從個人到企業的各種場景。

適用場景

• 企業流程優化：幫助企業在銷售、 marketing、客服等環節實現自動化，提升效率。
• 個人任務管理：用戶可以通過RagFlow自動化個人日常任務，如行程安排、郵件處理等。
• 數據整合與分析：通過自動化數據收集和處理，支持更高效的決策制定。

優勢

• 易用性：無需編程知識，用戶即可快速上手。
• 靈活性：支持定制化需求，滿足不同用戶的個性化要求。
• 高效性：利用AI技術提升流程執行效率，減少人工干預。

RagFlow 通過將復雜的流程自動化轉化為簡單的對話交互，極大地提升了工作效率和用戶體驗。如果你有具體的使用場景或問題，可以進一步探討如何利用RagFlow來優化你的工作流程！

下載及安裝

1. 從github上下載 ragflow或直接：

git clone https://github.com/infiniflow/ragflow.git

2. 運行腳本：進入docker 文件夾，利用提前編譯好的 Docker 鏡像啟動服務器

docker compose -f docker-compose-CN.yml up -d

這個過程會很慢，成功后，會自動運行容器中的服務：

瀏覽器上輸入：http://localhost

第一個注冊的賬號就是管理員，登錄成功

私有知識庫

1. 模型供應商配置

點擊頭像，進入模型供應商配置

選擇下面列表中的Ollama，然后進行模型配置

模型名稱就是Ollama中下載的模型名稱

2. 創建知識庫

解析方法改成General，其他默認即可

3. 創建數據集

新增本地文件

執行解析，等待解析完成

4. 創建助理和對話

切換到聊天頁，新建助理，選擇知識庫

切換到模型設置，調整一下最大token數

新建聊天，開始對話