【開發心得】三步本地化部署llama3大模型

目錄

第一步:啟動ollama

第二步:啟動dify

第三步:配置模型(截圖)


最近llama3很火,本文追擊熱點,做一個本地化部署的嘗試,結果還成功了!

當然也是站在別人的肩膀上,文章最后有具體的參考文章,由于他們都是單獨講各自的部署,這里進行了整合。也就是說,如果你想本地化部署llama3大模型,本文是一套完整的部署方案。

第一步:啟動ollama

ollama是可以本地部署的模型,其他模型,大多需要key才能進行連接。并不能做到本地化部署,而ollama作為輕量級,可本地化部署的模型,就是我們當下最好的選擇了。

安裝ollama很簡單,只要你安裝了docker,一條命令就可以了。

docker pull ollama/ollamadocker run -d -v? $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama?docker exec -it ollama /bin/bashollama run llama3

安裝成功并且run以后,就可以看到下面的提示符,說明模型已經部署成功了!?

需要注意的是:

如果已啟動過,需要刪除原有的容器,當你再次重啟以后,這個容器是不會自動運行的,需要手動,如下代碼。當然也可以采用docker compose的方式,這里就偷懶了。

docker restart ollamadocker exec -it ollama /bin/bashollama run llama3

還有一種方法就是把容器刪除,重新啟動,浪費時間就不推薦了。

docker rm 容器名稱

第二步:啟動dify

第一步完成以后,后面就是安裝dify框架了,dify的介紹和功能,在下面的參考文章中都有,有興趣可以去看看,這里就不多說了,直接上代碼。

git clone https://github.com/langgenius/dify.gitcd /dify/dockerdocker-compose up -d

當dify安裝成功以后,首先要進行管理員配置,傻瓜式操作。

需要注意的是,當你添加新用戶的時候,是采用邀請的方式,并不能直接設定用戶的密碼,這一點與其他平臺有點兒不同。?

第三步:配置模型(截圖)

最后一步是在dify里配置ollama模型,如下圖:?

如果能夠保存成功,就大功告成了!

需要注意的是,本文采用的是純CPU模式,如果要上生產,還是要用到GPU的,否則生成回答的時候,會很慢很卡。

?

參考文章:

58k+star!ollama快速部署llama3大模型 - 大模型知識庫|大模型訓練|開箱即用的企業大模型應用平臺|智能體開發|53AI

內網穿透的應用-如何使用Docker本地部署Dify LLM結合內網穿透實現公網訪問本地開發平臺_difydocker部署-CSDN博客

接入 Ollama 部署的本地模型 | 中文 | Dify

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/21560.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/21560.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/21560.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【運維項目經歷|027】PXE自動化部署與管理平臺

🍁博主簡介: 🏅云計算領域優質創作者 🏅2022年CSDN新星計劃python賽道第一名 🏅2022年CSDN原力計劃優質作者 🏅阿里云ACE認證高級工程師 🏅阿里云開發者社區專…

Nginx企業級負載均衡:技術詳解系列(18)—— 作為上傳服務器

你好,我是趙興晨,97年文科程序員。 在上一期的技術分享中,我們探討了如何高效搭建Nginx下載服務器,并討論了長連接優化策略。那么今天,咱們進一步了解Nginx的另一面——作為上傳服務器的配置技巧。 作為上傳服務器&a…

怎么做好企業短信服務呢?(文字短信XML接口示例)

企業短信服務已經成為各行各業都信賴的行業推廣方式之一,并且短信行業也與時俱進的發展著,隨之而來的就是市場上短信平臺的數量也隨之增多。那么怎么在魚龍混雜的短信行業中選擇適合自己的企業短信服務平臺呢?企業短信服務平臺又適用于哪些應…

Django的PATH路徑轉換器

本書1-7章樣章及配套資源下載鏈接: https://pan.baidu.com/s/1OGmhHxEMf2ZdozkUnDkAkA?pwdnanc 源碼、PPT課件、教學視頻等,可以從前言給出的下載信息下載,大家可以評估一下。 在Django框架中,默認內置了一組PATH路徑轉換器,具…

第一篇【傳奇開心果系列】AI工業應用經典算法和Python示例:基于AI的智能制造技術經典算法與Python實踐

傳奇開心果博文系列 系列博文目錄AI工業應用經典算法和Python示例系列 博文目錄前言一、AI在智能制造方面的應用場景介紹二、基于AI的智能制造技術經典算法介紹三、支持向量機機器學習算法Python示例代碼四、隨機森林機器學習算法Python示例代碼五、深度學習算法Python示例代碼…

linux指令-高階指令用法

提示:文章寫完后,目錄可以自動生成,如何生成可參考右邊的幫助文檔 文章目錄 前言一、pandas是什么?二、使用步驟 1.引入庫2.讀入數據總結 前言 linux操作系統的環境變量的使用基礎需要先了解 提示:以下是本篇文章正文…

【linux】(2)文件內容排序sort

sort 是一個用于排序文件內容的命令行工具,在 Linux 和 Unix 系統中非常常用。 基本用法 sort [OPTION]... [FILE]...常用選項 按數值排序 -n sort -n filename例子:對包含數值的文件進行排序。 按字典順序排序 -d sort -d filename例子&#xff1…

大宋咨詢(深圳酒店神秘顧客調查)酒店客房神秘人體驗調查內容

酒店客房神秘檢查內容,是酒店管理中至關重要的環節。通過專業的神秘顧客對客房進行細致入微的檢查,可以確保客房的清潔度、設施設備的完好性以及服務質量等方面達到高標準,幫助他們更好地了解客戶的需求和滿意度,從而提高服務質量…

Facebook開戶|Facebook公共主頁疑難雜癥詳解

??要要切克鬧,公共主頁我來道...哈嘍呀家人們中午好,上一次學習還是在上一次..hhh相信很多家人在做Facebook的時候總會遇到各種各樣匪夷所思的bug!經常被搞心態吧!那么咱們今天呢就來總結一下各類的bug以及解決方法,…

InvokeAI學習教程三:換臉

啟動InvokeAI,我們先生成一張圖: 在正向提示詞里輸入:Avant-garde couture, tactile textures, vogue aesthetics, vibrant color palette, intricate embroidery details, dramatic silhouettes 生成一張高貴夫人的圖像, 或者你從…

標準發布 | 廢水處理減污降碳協同評估指南(碳中和標準)

本文件主編單位:北京林業大學、北京交通大學、中國電建集團華東勘測設計研究院有限公司、 眉山市城投中恒能環保科技有限公司、 中華環保聯合會水環境治理專業委員會。 本文件參編單位:中國市政工程中南設計研究總院有限公司、湖北君集環境科技股份有 公…

C++ B (1124) : 斐波那契數列第n項Plus

文章目錄 一、題目描述二、參考代碼 一、題目描述 二、參考代碼 #include <iostream> #include <vector>using namespace std;const long long MOD 1e9 7; // 取模的值// 定義矩陣類 class Matrix { public:vector<vector<long long>> data;// 構造…

JavaWeb項目規范開發流程詳細分解

在JavaWeb項目開發中&#xff0c;遵循規范化的開發流程和最佳實踐可以提高代碼的可維護性、可擴展性和團隊協作效率。規范化的開發流程主要從下面幾個方面進行&#xff1a; 1. 項目結構 分層架構&#xff1a;典型的分層架構包括表示層&#xff08;Controller&#xff09;、業…

字節裁員!開啟裁員新模式。。

最近&#xff0c;互聯網圈不太平&#xff0c;裁員消息此起彼伏。而一向以“狼性文化”著稱的字節跳動&#xff0c;卻玩起了“低調裁員”&#xff0c;用一種近乎“溫柔”的方式&#xff0c;慢慢擠掉“冗余”的員工。 “細水長流”&#xff1a;裁員新模式&#xff1f; 不同于以往…

【TB作品】MSP430F5529,單片機,打地鼠游戲

功能 針對這塊開發板做了一個打地鼠游戲&#xff1a; 1 給單片機上電后&#xff0c;初始化顯示界面&#xff0c;顯示出分數和等級。 2 游戲是一輪一輪進行的&#xff0c;每一輪會以50%幾率點亮板子上的五個小燈&#xff0c;表示地鼠露頭需要打了。 3 一輪游戲開始后&#xff…

亞馬遜又爆單了!做跨境電商就是靠選品!

其實亞馬遜運營并不難&#xff0c;只要遵循亞馬遜規則去做就不會有問題&#xff0c;亞馬遜規則其實就是運營&#xff0c;但是&#xff01;難就難在選品&#xff01;我自己是做精品的&#xff0c;我自己明顯的感覺就是&#xff0c;運營技術很厲害&#xff0c;但是好的產品面前一…

貪心算法拓展(反悔貪心)

相信大家對貪心算法已經見怪不怪了&#xff0c;但是一旦我們的決策條件會隨著我們的步驟變化&#xff0c;我們該怎么辦呢&#xff1f;有沒有什么方法可以反悔呢&#xff1f; 今天就來講可以后悔的貪心算法&#xff0c;反悔貪心。 https://www.luogu.com.cn/problem/CF865Dhttp…

C++棧、隊列

文章目錄 目錄 文章目錄 前言 一、stack、queue介紹 1.stack 2.queue 二、stack、queue的習題 1. 最小棧 2. 棧的壓入、彈出序列 3.二叉樹的層序遍歷 三、stack和queue的模擬實現 1.stack的模擬實現 2.queue的模擬實現 前言 棧和隊列是倆種特殊的容器&#xff0c;C在實現棧和隊…

Go Go-Simple-Mail包進行批量SMTP郵件發送

go-simple-mail 包提供了一種簡便的方式來處理和發送郵件。這個包支持保持活動連接、TLS和SSL加密協議,非常適合批量SMTP郵件發送需求。 1、安裝Go-Simple-Mail包 go get -u github.com/xhit/go-simple-mail/v2 2、配置SMTP服務器連接 go-simple-mail包支持多種SMTP服務器…

強達電路營收下滑凈利潤急劇放緩:周轉率驟降,2次因環保被罰

《港灣商業觀察》施子夫 自2022年6月向深交所創業板遞交招股書起&#xff0c;深圳市強達電路股份有限公司&#xff08;以下簡稱&#xff0c;強達電路&#xff09;已收到深交所下發的兩輪審核問詢函&#xff0c;并且公司已于2023年3月31日順利過會。但由于遲遲未提交注冊申請&a…