ubuntu部署運行xinference全精度對話deepseek本地部署圖文教程

前置環境搭建勞請移步往期
source activate 自己環境名啟動python3.12環境安裝xinference,
按教程敲命令,wheel包與wsl的通用,pip install 包名。
vllm引擎,transform引擎也會順帶自動裝上了。
后續操作請參照往期教程。本地部署模型路徑選到safetensors文件夾,運行全精度模型,官網給的目錄結構全部下載,必要文件不能少,gguf只下一個模型文件就行了。
這次加載很快,linux的優越性這就體現出來了。不用幫它加速,給我點個贊呢謝謝。

翻車了,忘了裝中文輸入法了。可以看到think過程沒有問題,至此,windows環境,wsl環境,docker環境,linux環境下,本地部署deepseek全部實現,撒花撒花。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/898472.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/898472.shtml
英文地址,請注明出處:http://en.pswp.cn/news/898472.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

技術分享 | MySQL內存使用率高問題排查

本文為墨天輪數據庫管理服務團隊第51期技術分享,內容原創,如需轉載請聯系小墨(VX:modb666)并注明來源。 一、問題現象 問題實例mysql進程實際內存使用率過高 二、問題排查 2.1 參數檢查 mysql版本 :8.0.…

[AI速讀]混合語言IP集成:挑戰與高效解決方案

在現代SoC(系統級芯片)設計中,IP(知識產權模塊)復用是提升開發效率的關鍵。然而,當設計涉及多種硬件描述語言(如SystemVerilog、VHDL、SystemC)時,如何高效集成不同語言的IP模塊成為一大難題。本文將從實際設計場景出發,探討混合語言IP集成的核心挑戰,并介紹一套方法…

【vulhub/wordpress靶場】------獲取webshell

1.進入靶場環境: 輸入:cd / vulhub / wordpress / pwnscriptum 修改版本號: vim docker-compose.yml version: 3 保存退出 開啟靶場環境: docker - compose up - d 開啟成功,docker ps查看端口 靶場環境80…

微信小程序:用戶拒絕小程序獲取當前位置后的處理辦法

【1】問題描述: 小程序在調用 wx.getLocation() 獲取用地理位置時,如果用戶選擇拒絕授權,代碼會直接拋出錯誤。如果再次調用 wx.getLocation() 時,就不會在彈窗詢問用戶是否允許授權。導致用戶想要重新允許獲取地理位置時&#x…

NLP 與常見的nlp應用

自然語言處理(NLP)是一個廣泛的領域,它不僅包括自然語言理解(NLU),還涉及一系列其他任務和子領域。以下是NLP領域中的主要組成部分及其相關任務: 1. 自然語言理解(NLU) …

全網首創/純Qt/C++實現國標GB28181服務/實時視頻/云臺控制/預置位/錄像回放和下載/事件訂閱/語音對講

一、前言說明 用純Qt來實現這個GB28181的想法很久了,具體可以追溯到2014年,一晃十年都過去了,總算是整體的框架和邏輯都打通了,總歸還是雜七雜八的事情多,無法靜下心來研究具體的協議,最開始初步了解協議后…

Django+celery+flower

Djangoceleryflower Django的定時任務及可視化監控Django Django的定時任務及可視化監控 Django的定時任務,以及可視化監控。 Django Django; 首先在python中新建虛擬環境并激活 pip install virtualenv python -m venv venv source venv/bin/activa…

Python 編程題 第十一節:選擇排序、插入排序、刪除字符、目標移動、尾部的0

選擇排序 假定第一個為最小的為已排序序列,與后面的比較,找到未排序序列中最小的后,交換位置,獲得最小元素,依次往后 lst[1,14,25,31,21,13,6,8,14,9,7] def selection_sort(lst):for i in range(len(lst)):min_inde…

組態王Kingview配置為OPCUA服務器的一些問題處理

一、問題描述 1、組態王【運行配置】界面沒有【服務配置】的選項,無法將組態王Kingview配置為OPCUA服務器; 2、點擊組態王【運行配置界面】的【服務配置】選項彈窗警告提示【試圖執行的操作不受支持】,如下圖所示: 二、問題分析 …

模塊二 單元4 安裝AD+DC

模塊二 單元4 安裝ADDC 兩個任務: 1.安裝AD活動目錄 2.升級當前服務器為DC域控制器 安裝前的準備工作: 確定你要操作的服務器系統(Windows server 2022); 之前的服務器系統默認是工作組的模式workgroup模式&#xff08…

git clone項目報錯fatal: fetch-pack: invalid index-pack output問題

前情回顧:git項目放在公司服務器上面,克隆等操作需要連接VPN才能操作。由于項目比較大,網速比較慢,克隆項目經常出現fetch-pack: invalid index-pack output。在網上查找各種解決方法。也就這一種有點效果。僅供參考,不…

前端Tailwind CSS面試題及參考答案

解釋 Tailwind CSS 中 w-1/2 和 max-w-md 的區別及適用場景 在 Tailwind CSS 里,w-1/2 和 max-w-md 屬于不同類型的寬度控制類,它們的功能和適用場景存在明顯差異。 w-1/2 是用來設定元素寬度的類。它把元素寬度設定為其父元素寬度的一半。例如&#xff…

《深度剖析:BERT與GPT——自然語言處理架構的璀璨雙星》

在自然語言處理(NLP)的廣袤星空中,BERT(Bidirectional Encoder Representations from Transformers)與GPT(Generative Pretrained Transformer)系列模型宛如兩顆最為耀眼的星辰,引領…

VMware主機換到高配電腦,高版本系統的問題

原來主機是i3 ,windows7系統,vmware 14.0,虛機系統是ubuntu 14.04。目標新機是i7 14700KF,windows11系統。原以為安裝虛擬機,將磁盤文件,虛擬機配置文件拷貝過去可以直接用。 新目標主機先安裝了vmware 15,運行原理虛機&#xff0…

后端框架模塊化

后端框架的模塊化設計旨在簡化開發流程、提高可維護性,并通過分層解耦降低復雜性。以下是常見的后端模塊及其在不同語言(Node.js、Java、Python)中的實現方式: 目錄 1. 路由(Routing)2. 中間件(…

MDG實現BP客商復雜邏輯校驗的方法

引言 項目中可能常用的增強點是USMD_RULE_SERVICE來實現復雜的校驗邏輯,除此之外,SAP對BP主數據還提供了以下的實現方式。 方法1-替換ERP校驗類 眾所周知,BP存在復雜的ERP校驗,主要通過類CL_MDG_BS_FND_BP_CHECK(子…

基于springboot的教務系統(源碼+lw+部署文檔+講解),源碼可白嫖!

摘要 這些年隨著Internet的迅速發展,我們國家和世界都已經進入了互聯網大數據時代,計算機網絡已經成為了整個社會以及經濟發展的巨大動能,各個高校的教務工作成為了學校管理事務的重要目標和任務,因此運用互聯網技術來提高教務的…

TDengine 中的流式計算

簡介 TDengine 中的流計算,功能相當于簡化版的 FLINK , 具有實時計算,計算結果可以輸出到超級表中存儲,同時也可用于窗口預計算,加快查詢速度。 創建流式計算 CREATE STREAM [IF NOT EXISTS] stream_name [stream_o…

代碼隨想錄day23 回溯part2

39.組合總和 給你一個 無重復元素 的整數數組 candidates 和一個目標整數 target ,找出 candidates 中可以使數字和為目標數 target 的 所有 不同組合 ,并以列表形式返回。你可以按 任意順序 返回這些組合。 candidates 中的 同一個 數字可以 無限制重…

回調函數中 qsort 函數的使用

目錄 一.冒泡排序 二.指針類型 void* 三. qsort 1.簡介 2.研究函數參數 3.怎么用? (1)排數組,升序 (2)排序結構體 四.用冒泡排序思想,模擬實現 qsort (可排序任意類型數據) 1.函數參數設計 2.在 if (cmp( )>0) 怎么傳參&#x…