探索大語言模型(LLM):Ollama快速安裝部署及使用(含Linux環境下離線安裝)

前言

Ollama 是一個開源的本地化大模型運行平臺,支持用戶直接在個人計算機上部署、管理和交互大型語言模型(LLMs),無需依賴云端服務。而且其混合推理的特性也使得CPU和GPU的算力能夠充分被使用,能夠在同等配置下跑更大的模型,是非常適合個人學習使用的平臺。本篇將詳細介紹Ollama在各種平臺上的詳細安裝過程以及應用。


Ollama的安裝

官網地址:https://ollama.com/

在這里插入圖片描述
進到官網之后點擊Download然后就可以選擇相應的安裝包
在這里插入圖片描述

在線安裝

在這里插入圖片描述
Windows環境下下載安裝根據安裝包指引下載安裝即可,linux環境下執行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

離線安裝

在線安裝受網絡的影響,并不能完全解決所有的安裝問題,那么就可以選擇離線安裝的方式安裝Ollama。
離線包下載地址:https://github.com/ollama/ollama/releases
在這里插入圖片描述
由于Windows可以直接在官網下載安裝包并安裝,本文以Linux-amd64環境下的安裝為例
下載好壓縮包后,新建一個文件夾名為ollama,然后解壓

mkdir ./ollama
tar -zxvf ollama-linux-amd64.tgz -C ./ollama

為ollama添加執行權限

cd ./bin
chmod +x ollama

添加環境變量
在 .bashrc 文件結尾寫入ollama/bin文件路徑

vi ~/.bashrc

然后在下面添加以下內容(假設壓縮包下載的路徑為/home/data,讀者應該根據自己實際路徑調整)

export PATH=$PATH:/home/data/ollama/bin

更新環境變量

source ~/.bashrc

修改Ollama模型保存路徑

這一步還是很有必要的,能夠方便管理模型,尤其是在windows系統中,如果不做相關的設置,會默認下載到C盤

Windows環境修改保存路徑

在這里插入圖片描述
在這里插入圖片描述
然后點擊環境變量
在這里插入圖片描述
這里選任意一個就行
變量名為OLLAMA_MODELS
在這里插入圖片描述

Linux環境修改保存路徑

Linux環境更為簡單,直接打開bashrc添加環境變量即可

vi ~/.bashrc

然后添加

export OLLAMA_MODELS=你想設置的路徑

保存并退出后

source ~/.bashrc

然后可以使用以下命令啟動ollama

ollama start

模型下載

在線下載

ollama官網: https://ollama.com/
打開官網直接搜索需要的模型,本文以qwen3為例
在這里插入圖片描述
在這里插入圖片描述
然后點擊適合自己設備的模型(基本上size比自己的顯存小一點就合適)
在這里插入圖片描述
然后復制命令到命令行
在這里插入圖片描述
隨后ollama會自動下載并運行該模型

手動下載

手動下載的方式參照玩轉大語言模型——ollama導入huggingface下載的模型,這里不再贅述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/96383.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/96383.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/96383.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

滲透測試信息收集詳解

我們來詳細解析一下滲透測試中信息收集(Information Gathering)的完整內容、步驟及工具方法。信息收集是整個滲透測試的基石,其深度和廣度直接決定了后續測試的成功率,因此有“滲透測試成功與否,90%取決于信息收集”的…

Kafka面試精講 Day 16:生產者性能優化策略

【Kafka面試精講 Day 16】生產者性能優化策略 在“Kafka面試精講”系列的第16天,我們將聚焦于生產者性能優化策略。這是Kafka中極為關鍵的技術點,也是大廠面試中的高頻考點——尤其是在涉及高并發數據寫入、日志采集、實時數倉等場景時,面試…

深入解析AI溫度參數:控制文本生成的隨機性與創造性

引言 在人工智能飛速發展的今天,文本生成模型如GPT系列已經成為內容創作、代碼編寫、對話系統等領域的核心工具。然而,許多用戶在使用這些模型時,可能會發現輸出結果有時過于保守和重復,有時又過于天馬行空而缺乏連貫性。這背后其…

20250912在榮品RD-RK3588-MID開發板的Android13系統下在接電腦的時候禁止充電

20250912在榮品RD-RK3588-MID開發板的Android13系統下在接電腦的時候禁止充電 2025/9/12 10:21緣起:某人的電腦接榮品RD-RK3588-MID開發板的時候做APK開發板的時候,通過Android Studio連接榮品RD-RK3588-MID開發板。 經常斷聯/時斷時續。投訴了/抱怨了好…

Unity Addressable System 本地服務器功能驗證

1.從Package Manger里安裝Addressable 注意這里有Addressables和Addressables兩個包,前者是核心框架,處理跨平臺通用邏輯,比如用 地址(Address)來異步加載、卸載資源;自動做引用計數,避免資源泄…

碎片化采購是座金礦:數字化正重構電子元器件分銷的價值鏈

在電子元器件的分銷江湖里,長期存在著一條隱秘的“鄙視鏈”:訂單金額大、需求穩定的頭部客戶是眾星捧月的“香餑餑”,而需求碎片化、品類繁多的小微企業長尾訂單,則常被視作食之無味、棄之可惜的“雞肋”。行業固有認知告訴我們&a…

Typescript - 通俗易懂的 interface 接口,創建接口 / 基礎使用 / 可選屬性 / 只讀屬性 / 任意屬性(詳細教程)

前言 在面向對象語言中,接口是一個很重要的概念,它是對行為的抽象,而具體如何行動需要由類去實現。 TypeScript 中的接口是一個非常靈活的概念,除了可用于 對類的一部分行為進行抽象 以外,也常用于對「對象的形狀&…

【硬件-筆試面試題-92】硬件/電子工程師,筆試面試題(知識點:米勒效應,米勒平臺)

題目匯總版--鏈接: 【硬件-筆試面試題】硬件/電子工程師,筆試面試題匯總版,持續更新學習,加油!!!-CSDN博客 【硬件-筆試面試題-92】硬件/電子工程師,筆試面試題(知識點…

C語言深度入門系列:第十一篇 - 動態內存管理與數據結構:程序世界的高效算法大師

C語言深度入門系列:第十一篇 - 動態內存管理與數據結構:程序世界的高效算法大師 本章目標 本章將深入探討C語言中的動態內存管理和經典數據結構實現,這是從基礎編程邁向算法工程師的關鍵一步。您將掌握內存的精確控制、理解各種數據結構的本質…

Go 語言開發環境安裝與 GOPROXY 鏡像配置(含依賴管理與版本切換技巧)

在國內搭建 Go 開發環境的最大障礙不是“怎么裝”,而是“下不動”。本文是我在多臺 Windows / macOS / Linux 機器上踩坑后的整合筆記:用最穩妥的安裝方式 合理的鏡像配置 一套通吃的依賴/版本管理流程,把速度、穩定性和可維護性一次性解決…

崔傳波教授:以科技與人文之光,點亮近視患者的清晰視界?

崔傳波教授:以科技與人文之光,點亮近視患者的清晰視界?在臨沂新益民眼科醫院,有這樣一位眼科醫師——他不僅是近視矯正領域的專家,更是“金視青春之光手術”的研發倡導者。?崔傳波教授?以其深厚的學術功底、創新的技術理念和以…

如何寫過濾條件wrapper的使用

模糊查詢 &#xff1a;功能是&#xff1a;查詢 WORK_NUM 字段包含 ${workOrder.workNum} 的記錄。<if test"workOrder.workNum ! null and workOrder.workNum ! ">and b.WORK_NUM like CONCAT(%,CONCAT(#{workOrder.workNum},%)) </if>一、比較條件方法示…

【Spring Boot 報錯已解決】徹底解決 “Main method not found in class com.xxx.Application” 報錯

文章目錄引言一、問題描述1.1 報錯示例1.2 報錯分析1.3 解決思路二、解決方法2.1 方法一&#xff1a;添加標準的main方法2.2 方法二&#xff1a;檢查main方法的定義是否規范2.3 方法三&#xff1a;檢查主類的位置是否正確2.4 方法四&#xff1a;重新構建項目并清理緩存三、其他…

配置自簽證書多域名的動態網站+部署http的repo倉庫+基于nfs與yum倉庫的http部署

1.配置自簽證書多域名的動態網站1.1配置自簽證書1.1.1配置倉庫[rootapache ~]# vim /etc/yum.repos.d/epel.repo [epel] nameepel baseurlhttps://mirrors.aliyun.com/epel/9/Everything/x86_64/ gpgcheck0 1.1.2安裝easy-rsa工具(用于生成和…

【開題答辯全過程】以 12306候補購票服務系統為例,包含答辯的問題和答案

個人簡介一名14年經驗的資深畢設內行人&#xff0c;語言擅長Java、php、微信小程序、Python、Golang、安卓Android等開發項目包括大數據、深度學習、網站、小程序、安卓、算法。平常會做一些項目定制化開發、代碼講解、答辯教學、文檔編寫、也懂一些降重方面的技巧。感謝大家的…

計算機畢業設計 基于深度學習的酒店評論文本情感分析研究 Python畢業設計項目 Hadoop畢業設計選題 機器學習選題【附源碼+文檔報告+安裝調試】

博主介紹&#xff1a;?從事軟件開發10年之余&#xff0c;專注于Java技術領域、Python、大數據、人工智能及數據挖掘、小程序項目開發和Android項目開發等。CSDN、掘金、華為云、InfoQ、阿里云等平臺優質作者? &#x1f345;文末獲取源碼聯系&#x1f345; &#x1f447;&…

嵌入式第五十二天(GIC,協處理器,異常向量表)

一.GICGIC&#xff08;Generic Interrupt Controller&#xff0c;通用中斷控制器&#xff09; 是ARM架構中管理系統中斷的核心組件&#xff0c;負責接收、優先級排序、分發中斷信號給處理器核心。其核心功能和關鍵版本如下&#xff1a;核心功能1. 中斷接收與分發&#xff1a;接…

基于hiprint的票據定位打印系統開發實踐

基于hiprint的票據定位打印系統開發實踐 在日常的Web開發中&#xff0c;我們經常需要實現打印功能&#xff0c;特別是對于票據、標簽等需要精確排版的打印需求。今天我將分享一個基于hiprint插件實現的票據定位打印系統&#xff0c;重點介紹如何實現單行打印、批量打印以及金額…

Android ScrollView嵌套RecyclerView 導致RecyclerView數據展示不全問題

Android RecyclerView 數據展示不全問題&#xff08;ScrollView→NestedScrollView 修復&#xff09; 一、問題核心現象 布局初始結構&#xff1a;外層用ScrollView包裹包含兩個CustomBlogCardView&#xff08;內部均含RecyclerView&#xff09;的LinearLayout。 異常表現&…

AI助力數學學習,輕松掌握知識點!

小伙伴們&#xff0c;今天我們來利用AI輔助數學學習&#xff0c;將數學題目提交給AI,經過分析后給出相應的解題思路和知識點分析。現在有了AI這個"智能小老師"&#xff0c;學習變得更輕松&#xff01;只需把題目交給它&#xff0c;AI就能快速分析題目類型&#xff0c…