部署本地deepseek并在調用的詳細步驟以及解決一些可能出現的問題(Windows,Linux, WSL)

打開Ollama官網:https://ollama.com/

直接下載Ollama并且安裝好Ollama、這時候就能看到app里多了個ollama,但是我們不用打開它

在這里插入圖片描述
打開Windows Powershell:
ollama run deepseek-r1:1.5b 7b 8b 14b 32b 70b
根據自己的電腦配置和需求更換不同的模型,我安裝的32b的模型
然后windows PowerShell 就開始下載了,下載完就是顯示Success就表示成功了。接下來就是本地使用deepseek了,想要退出,輸入/bye就可以了。
下載成功后,不管什么時候,在windows PowerShell上輸入

ollama list

就能夠看到你部署在本地的deepseek模型
在這里插入圖片描述
復制一下它的名字,我這里是deepseek-r1:32b ,那我就運行

ollama run deepseek-r1:32b

就可以開始使用deepseek了,這一步呢windows和liunx都一樣,WSL因為是windows下的linux子系統,所以其實是先部署在Windows上。

那我這里想要使用deepseek來做一些特定的事,比如我使用它固定輸出一些東西,用來做一些實驗,那在windows系統上,我在windows powershell上部署模型,但是我在conda環境里來做實驗,就需要調用本地deepseek模型的api。

首先在Windows Powershell輸入

curl http://localhost:11434/api/tags   

這是用來檢測API是否可用。

如果返回了StatusCode為 200,并且content里用deepseek模型的名字,則證明deepseek是可用的。
這個時候我們在conda環境下創建代碼,conda我使用終端anaconda prompt控制,但是用別的也一樣。主要就是寫一個控制deepseek輸出的代碼,加PROMPT來控制就行。
在這里插入圖片描述
要它做的事每個人都不一樣,但是在前面都要加個

OLLAMA_API_URL = "http://localhost:11434/api/generate"

這樣就是調用之前本地部署的deepseek來解決。

然后運行這個代碼,如果返回你需要的結果,那就證明api調用成功并且你想要它做的事也達到了。比如我這里要他返回一個行動,那我在anaconda Prompt運行這個代碼,確實也返回成功了。
在這里插入圖片描述
這里在windows上部署并且成功調用api來做實驗就算是可以的,實驗內容也就是那個代碼的內容大家都不一樣,但是總體來說這個流程是通了.

但是有些實驗它不能在windows系統上做啊,只能Linux,就比如我之前做過一個alfworld實驗,在windows上死活運行不了,但是在Linux上就能運行。

這個時候在Linux上部署deepseek再調用就行了,應該也是比較簡單的,基本也就是上面差不多的流程。

但是比如我現在是windows部署deepseek了,我在windows的linux子系統WSL上運行alfworld,那我想調用deepseek來幫助alfworld項目怎么辦呢。這個時候就需要在wsl上來調用本地deepseek api了。

Deepseek API 默認運行在http://localhost:11434

但是在 WSL 里訪問 localhost 默認指向 WSL 自己,而不是 Windows。你需要改成 Windows 的 IP 地址
在WSL的Linux環境里運行

 cat /etc/resolv.conf | grep nameserver

這時候會返回一個ip地址,這個地址就是windows的ip地址

然后再在WSL中輸入

curl http://更換為你的ip地址:11434/api/tags

這時候如果返回有deepseek模型例如這樣
在這里插入圖片描述
那就說明在WSL中的linux系統中調用Deepseek api成功

但是返回沒有deepseek模型名稱,WSL 里 curl 訪問 Deepseek 失敗,可能是 Windows 防火墻阻止了 WSL 訪問
那就要打開Windows Powershell管理員模式來使 Windows 防火墻允許 WSL 訪問 11434 端口
注意是以管理員身份運行,找到Windows Powershell右鍵選擇以管理員身份運行就行。
在Windows Powershell管理員身份運行。

New-NetFirewallRule -DisplayName "Allow WSL to access Ollama" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434

這時候就添加了一個防火墻規則,確保WSL能夠運行API
這時候運行

Get-NetFirewallRule -DisplayName "Allow WSL to access Ollama

如果看到返回的信息里有規則,那就可以了

這個時候再在WSL中運行

curl [http://更換為你的ip地址:1143](http://172.28.80.1:1143/)4/api/ta

如果向上面說的一樣就成功了,如果還是沒有成功,WSL 仍然無法連接 Windows 上的 Deepseek API,有可能Windows 可能只監聽 本地請求(127.0.0.1),但不接受 外部(WSL)請求

在 Windows PowerShell(管理員模式)運行

netstat -ano | findstr :11434

因為WSL 訪問 Windows 需要監聽 0.0.0.0172.28.80.1 才行。所以需要有

TCP    0.0.0.0:11434    0.0.0.0:0    LISTENING    20260

這樣的返回才可以。

如果返回里沒有,在Windows PowerShell(管理員模式)運行

netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=11434 connectaddress=127.0.0.1 connectport=11434

這時候再運行

netstat -ano | findstr :11434

就能夠看到有了
在這里插入圖片描述
這時再去WSL運行

curl http://172.28.80.1:11434/api/tags

如果像之前說的返回模型名稱信息,就說明可以WSL 現在可以訪問 Windows 上的 Deepseek API 了,也就可以繼續在WSL上繼續下一步實驗了。

總的來說,在Windows上或者Linux上部署類似deepseek或者是llama這種開源大語言模型還是比較簡單的,但是在Windows的Linux子系統WSL上部署的話呢就有時候會多少出現點情況,這些情況大多數時候就是端口出現問題了,或者是權限問題,如果遇到問題可以往那邊去考慮。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/80474.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/80474.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/80474.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【KWDB 創作者計劃】_嵌入式硬件篇---寄存器與存儲器截斷與溢出

文章目錄 前言一、寄存器與存儲器1. 定義與基本概念寄存器(Register)位置功能特點存儲器(Memory)位置功能特點2. 關鍵區別3. 層級關系與協作存儲層次結構協作示例4. 為什么需要寄存器性能優化指令支持減少總線競爭5. 其他寄存器類型專用寄存器程序計數器(PC)棧指針(SP)…

小白自學python第二天

學習python的第二天 一、判斷語句 1、布爾類型和比較運算符 1、布爾類型 表示現實生活中的邏輯,真(True,用數字1表示)和假(False,用數字0表示) 2、布爾類型變量的定義 變量的名稱 布爾類…

linux基礎操作1------(文件命令)

一.前言 我們本章開始講解linux,我們對于linux得有重要的認識,比如項目部署等等,都會用到linux,今天我們就開始linux的學習,我們需要準備的工具有vmware和xshell,而這里我就不教大家虛擬機的安裝以及xshel…

編碼問題整合

一、windows系統編碼 查看編碼命令:chcp - 936 GBK - 65001 UTF-8 - 437 英文修改系統編碼 1、控制面板修改 需管理員權限-Windows 10/11進入 控制面板 > 區域 > 管理 > 更改系統區域設置勾選 Beta版: 使用Unicode UTF-8提供全球語言支持 → 重啟生效修…

如何配置Spark

1.上傳spark安裝包到某一臺機器(自己在finaShell上的機器)。 2.解壓。 把第一步上傳的安裝包解壓到/opt/module下(也可以自己決定解壓到哪里)。對應的命令是:tar -zxvf 安裝包 -C /opt/module 3.重命名。進入/opt/mo…

Redis 完整配置模板

一、基礎連接配置(單機模式) 基礎參數(適用Spring Boot) spring:redis:host: 127.0.0.1port: 6379password: your_passworddatabase: 0 # 默認DB索引timeout: 2000ms # 全局操作超時時間二、連接池參數(通用核心配…

邊界凸臺建模與實例

文章目錄 邊界凸臺特征耳機案例瓶子 邊界凸臺特征 兩側對稱拉伸最上面的圓柱 同過兩點一基準面畫草圖,在基準面上畫橢圓 隱藏無關的實體和草圖,以便橢圓的端點能與線給穿透約束,下面的點與下面的線也給穿透,短軸長給35&#xff08…

河北省大數據應用創新大賽樣題

** 河北省大數據應用創新大賽樣題 ** 1. 在Linux下安裝Java并搭建完全分布式Hadoop集群。在Linux終端執行命令“initnetwork”,或雙擊桌面上名稱為“初始化網絡”的圖標,初始化實訓平臺網絡。 【數據獲取】 使用wget命令獲取JDK安裝包: “w…

【數據可視化-21】水質安全數據可視化:探索化學物質與水質安全的關聯

🧑 博主簡介:曾任某智慧城市類企業算法總監,目前在美國市場的物流公司從事高級算法工程師一職,深耕人工智能領域,精通python數據挖掘、可視化、機器學習等,發表過AI相關的專利并多次在AI類比賽中獲獎。CSDN…

DC-2尋找Flag1、2、3、4、5,wpscan爆破、git提權

一、信息收集 1、主機探測 arp-scan -l 探測同網段2、端口掃描 nmap -sS -sV 192.168.66.136 80/tcp open http Apache httpd 2.4.10 ((Debian)) 7744/tcp open ssh OpenSSH 6.7p1 Debian 5deb8u7 (protocol 2.0)這里是掃描出來兩個端口,80和ssh&…

SQLMesh 表格對比指南:深入理解 table_diff 工具的實際應用

在數據集成和轉換過程中,確保數據模型的一致性和準確性至關重要。SQLMesh 提供了一個強大的 table_diff 工具,可以幫助用戶比較 SQLMesh 模型或數據庫表/視圖的架構和數據。本文將通過具體示例詳細說明如何使用 table_diff 工具進行跨環境比較和直接比較…

重構智能場景:艾博連攜手智譜,共拓智能座艙AI應用新范式

2025年4月24日,智能座艙領域創新企業艾博連科技與國產大模型獨角獸智譜,在上海國際車展艾博連會客廳簽署合作協議。雙方宣布將深度整合智譜在AI大模型領域的技術積淀與艾博連在汽車智能座艙場景的落地經驗,共同推進下一代"有溫度、懂需求…

vscode flutter 插件, vscode運行安卓項目,.gradle 路徑配置

Flutter Flutter Widget Snippets Awesome Flutter Snippets i dart-import Dart Data Class Generator Json to Dart Model Dart Getters And Setter GetX Snippets GetX Generator GetX Generator for Flutter flutter-img-syncvscode運行安卓項目,.gradle 路徑配…

Parasoft C++Test軟件單元測試_對函數打樁的詳細介紹

系列文章目錄 Parasoft C++Test軟件靜態分析:操作指南(編碼規范、質量度量)、常見問題及處理 Parasoft C++Test軟件單元測試:操作指南、實例講解、常見問題及處理 Parasoft C++Test軟件集成測試:操作指南、實例講解、常見問題及處理 進階擴展:自動生成靜態分析文檔、自動…

c# TI BQFS文件格式詳解及C#轉換

FlashStream文件格式詳解及C#轉換 一、FlashStream文件格式詳細解讀 文件概述 FlashStream文件是TI用于配置電池電量計的文本文件格式,主要特點: ? 純文本格式,使用ASCII字符? 每行一條指令 ? 分號(;)開頭的行為注釋 ? 主要包含三種指令類型:寫命令、比較命令和延時…

k8s中pod報錯 FailedCreatePodSandBox

問題現象: 創建容器時出現一下情況 而且刪掉控制器的時候pod還會卡住 解決: 將calico的pod重新刪掉。其中有1個控制器pod以及3個node pod 刪掉后,大概10來秒就重新創建完成了。 然后現在在使用kubectl apply -f 文件.yaml 就可以正常創…

分布式事務 兩階段提交協議(2PC的原理、挑戰)

引言:分布式事務的挑戰 在分布式系統中,數據和服務往往分布在多個節點上。例如,一個電商下單操作可能涉及訂單服務、庫存服務和支付服務,這三個服務需要協同完成一個事務:要么全部成功,要么全部失敗。這種…

Jenkins Pipeline 構建 CI/CD 流程

文章目錄 jenkins 安裝jenkins 配置jenkins 快速上手在 jenkins 中創建一個新的 Pipeline 作業配置Pipeline運行 Pipeline 作業 Pipeline概述Declarative PipelineScripted Pipeline jenkins 安裝 安裝環境: Linux CentOS 10:Linux CentOS9安裝配置Jav…

【CF】Day43——Codeforces Round 906 (Div. 2) E1

E1. Doremys Drying Plan (Easy Version) 題目: 思路: very好題,加深對掃描線的應用,值得深思 由于k 2,那我們就可以使用簡單一點的方法來寫 題目可以轉化為:給定n個線段,現在讓你刪去2條線段…

電子設備的“記憶大腦”:NAND、NOR、EEPROM誰在掌控你的數據?

大家好,我是硅言。存儲芯片是電子設備的“記憶大腦”,未進入存儲行業工作之前,一聽到NAND、NOR、EEPROM這些專業名詞就頭大。本文用通俗的語言,帶大家了解這三種常見存儲芯片的核心區別和應用場景。 一、存儲芯片的“門派”&#…