離線運行Llama3:本地部署終極指南_liama2 本地部署

4月18日,Meta在官方博客官宣了Llama3,標志著人工智能領域邁向了一個重要的飛躍。經過筆者的個人體驗,Llama3 8B效果已經超越GPT-3.5,最為重要的是,Llama3是開源的,我們可以自己部署!

本文和大家分享一下如何在個人電腦上部署Llama3,擁有你自己的GPT-3.5+!

很多讀者擔心本地部署時個人電腦的硬件配置不夠,實際上這種擔心是多余的,筆者使用的是MacBook M2 Pro (2023款), 主要硬件配置如下:

  • 10核CPU
  • 16G內存

部署步驟大致如下:

  • 安裝Ollama
  • 下載Llama3
  • 安裝Node.js
  • 部署WebUI

【一一AGI大模型學習 所有資源獲取處一一】

①人工智能/大模型學習路線

②AI產品經理入門指南

③大模型方向必讀書籍PDF版

④超詳細海量大模型實戰項目

⑤LLM大模型系統學習教程

⑥640套-AI大模型報告合集

⑦從0-1入門大模型教程視頻

⑧AGI大模型技術公開課名額

安裝Ollama

Ollama可以簡單理解為客戶端,實現和大模型的交互,讀者可以前往[ollama.com/download,根據…]

WX20240420-085342@2x

下載之后打開,直接點擊Next以及Install安裝ollama到命令行。安裝完成后界面上會提示ollama run llama2,不需要執行這條命令,因為我們要安裝llama3

image.png

下載Llama3

打開新的終端/命令行窗口,執行以下命令:

ollama run llama3

程序會自動下載Llama3的模型文件,默認是8B,也就80億參數版本,個人電腦完全可以運行。

成功下載模型后會進入交互界面,我們可以直接在終端進行提問,比如筆者問的Who are you?,Llama3幾乎是秒回答。

?  Projects ollama run llama3
>>> who are you?
I'm LLaMA, a large language model trained by a team of researcher at Meta 
AI. I'm here to chat with you and answer any questions you may have.I've been trained on a massive dataset of text from the internet and can 
generate human-like responses to a wide range of topics and questions. My 
training data includes but is not limited to:* Web pages
* Books
* Articles
* Research papers
* ConversationsI'm constantly learning and improving my responses based on the 
conversations I have with users like you.So, what's on your mind? Do you have a question or topic you'd like to 
discuss?

安裝Node.js

支持Ollama的WebUI非常多,筆者體驗過熱度第一的那個WebUI

image-20240420090338877

設置國內NPM鏡像

官方的NPM源國內訪問有點慢,筆者推薦國內用戶使用騰訊NPM源([mirrors.cloud.tencent.com/npm/),之前筆者使…]

打開終端執行以下命令設置NPM使用騰訊源:

npm config set registry http://mirrors.cloud.tencent.com/npm/

部署WebUI

打開終端,執行以下命令部署WebUI:

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
npm install
npm run dev

提示如下,WebUI已經在本地3000端口進行監聽:

> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000VITE v4.5.2  ready in 765 ms?  Local:   http://localhost:3000/

打開瀏覽器訪問[http://localhost:3000,可以看到如下圖所示界面。默認情況下是沒有選擇模型的,需要點擊截圖所示箭頭處選擇模型。]
image-20240420091143684

筆者給模型提了一個編寫一個Golang Echo Server的例子,大概5秒就開始打印結果,速度非常不錯。

image-20240420091325732

如何系統的去學習大模型LLM ?

作為一名熱心腸的互聯網老兵,我意識到有很多經驗和知識值得分享給大家,也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑,所以在工作繁忙的情況下還是堅持各種整理和分享。

但苦于知識傳播途徑有限,很多互聯網行業朋友無法獲得正確的資料得到學習提升,故此將并將重要的 AI大模型資料 包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰學習等錄播視頻免費分享出來

😝有需要的小伙伴,可以V掃描下方二維碼免費領取🆓

一、全套AGI大模型學習路線

AI大模型時代的學習之旅:從基礎到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型報告合集

這套包含640份報告的合集,涵蓋了AI大模型的理論研究、技術實現、行業應用等多個方面。無論您是科研人員、工程師,還是對AI大模型感興趣的愛好者,這套報告合集都將為您提供寶貴的信息和啟示。

img

三、AI大模型經典PDF籍

隨著人工智能技術的飛速發展,AI大模型已經成為了當今科技領域的一大熱點。這些大型預訓練模型,如GPT-3、BERT、XLNet等,以其強大的語言理解和生成能力,正在改變我們對人工智能的認識。 那以下這些PDF籍就是非常不錯的學習資源。

img

外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳

四、AI大模型商業化落地方案

img

階段1:AI大模型時代的基礎理解
  • 目標:了解AI大模型的基本概念、發展歷程和核心原理。
  • 內容
    • L1.1 人工智能簡述與大模型起源
    • L1.2 大模型與通用人工智能
    • L1.3 GPT模型的發展歷程
    • L1.4 模型工程
      - L1.4.1 知識大模型
      - L1.4.2 生產大模型
      - L1.4.3 模型工程方法論
      - L1.4.4 模型工程實踐
    • L1.5 GPT應用案例
階段2:AI大模型API應用開發工程
  • 目標:掌握AI大模型API的使用和開發,以及相關的編程技能。
  • 內容
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具類框架
      - L2.1.4 代碼示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架應用現狀
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架與Thought
      - L2.2.5 Prompt框架與提示詞
    • L2.3 流水線工程
      - L2.3.1 流水線工程的概念
      - L2.3.2 流水線工程的優點
      - L2.3.3 流水線工程的應用
    • L2.4 總結與展望
階段3:AI大模型應用架構實踐
  • 目標:深入理解AI大模型的應用架構,并能夠進行私有化部署。
  • 內容
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的設計理念
      - L3.1.2 Agent模型框架的核心組件
      - L3.1.3 Agent模型框架的實現細節
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的應用場景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特點
      - L3.3.2 ChatGLM的開發環境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特點
      - L3.4.2 LLAMA的開發環境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介紹
階段4:AI大模型私有化部署
  • 目標:掌握多種AI大模型的私有化部署,包括多模態和特定領域模型。
  • 內容
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的關鍵技術
    • L4.3 模型私有化部署的實施步驟
    • L4.4 模型私有化部署的應用場景
學習計劃:
  • 階段1:1-2個月,建立AI大模型的基礎知識體系。
  • 階段2:2-3個月,專注于API應用開發能力的提升。
  • 階段3:3-4個月,深入實踐AI大模型的應用架構和私有化部署。
  • 階段4:4-5個月,專注于高級模型的應用和部署。
這份完整版的大模型 LLM 學習資料已經上傳CSDN,朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費

😝有需要的小伙伴,可以Vx掃描下方二維碼免費領取🆓

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/43867.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/43867.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/43867.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

衡量股票價值的尺度

勞倫女士說,“鄧普頓獵取便宜股的時候,總是運用證券分析師的‘一百種價值衡量尺度’中的好幾種。 原因之一呢,就是因為任何一種衡量方法都是萬能的,在不同的時期、不同的市場環境下,總會有它自己的局限性。就像有朋友…

大數據------JavaWeb------FilterListenerAJAXAxiosJSON

Filter Filter簡介 定義:Filter表示過濾器,是JavaWeb三大組件(Servlet、Filter、Listener)之一。 作用:它可把對資源(Servlet、JSP、Html)的請求攔截下來從而實現一些特殊功能 過濾器一般完成…

【QT中實現攝像頭播放、以及視頻錄制】

學習分享 1、效果圖2、camerathread.h3、camerathread.cpp4、mainwindow.h5、mainwindow.cpp6、main.cpp 1、效果圖 2、camerathread.h #ifndef CAMERATHREAD_H #define CAMERATHREAD_H#include <QObject> #include <QThread> #include <QDebug> #include &…

SAP顧問的核心競爭力是什么?

最近看到幾個業內大佬在討論這個話題&#xff0c;我也想談談我的看法。這位大佬的原話是“SAP顧問的核心技能不是配置軟件&#xff0c;而是對財務、供應鏈、銷售等運行流程的理解&#xff0c;解決的是企業流程和數據標準化的問題。” 我先不做評價&#xff0c;我先問幾個問題。…

選擇排序(C語言版)

選擇排序是一種簡單直觀的排序算法 算法實現 首先在未排序序列中找到最小&#xff08;大&#xff09;元素&#xff0c;存放到排序序列的起始位置。 再從剩余未排序元素中繼續尋找最小&#xff08;大&#xff09;元素&#xff0c;然后放到已排序序列的末尾。 重復第二步&…

【k8s安裝redis】k8s安裝單機版redis實現高性能高可用

文章目錄 簡介一.條件及環境說明&#xff1a;二.需求說明&#xff1a;三.實現原理及說明四.詳細步驟4.1.創建configmap 配置文件4.2.創建StatefulSet 配置4.3.創建service headless 配置 五.安裝說明 簡介 本文將根據在k8s環境中搭建【偽】單機模式的redis實例。由于共享存儲的…

020-GeoGebra中級篇-幾何對象之點與向量

本文概述了在GeoGebra中如何使用笛卡爾或極坐標系輸入點和向量。用戶可以通過指令欄輸入數字和角度&#xff0c;使用工具或指令創建點和向量。在笛卡爾坐標系中&#xff0c;示例如“P(1,0)”&#xff1b;在極坐標系中&#xff0c;示例如“P(1;0)”或“v(5;90)”。文章還介紹了點…

深入理解循環神經網絡(RNN)

深入理解循環神經網絡&#xff08;RNN&#xff09; 循環神經網絡&#xff08;Recurrent Neural Network, RNN&#xff09;是一類專門處理序列數據的神經網絡&#xff0c;廣泛應用于自然語言處理、時間序列預測、語音識別等領域。本文將詳細解釋RNN的基本結構、工作原理以及其優…

uniapp本地打包到Android Studio生成APK文件

&#xff08;1&#xff09;安裝 Android Studio 軟件&#xff1b; 下載地址&#xff1a;官方下載地址&#xff0c;英文環境 安裝&#xff1a;如下之外&#xff0c;其他一鍵 next &#xff08;2&#xff09;配置java環境&#xff1b; 下載&#xff1a;j…

基于SpringBoot構造超簡易QQ郵件服務發送 第二版

目錄 追加 郵箱附件 添加依賴 編碼 測試 第二版的更新點是追加了 郵箱附件功能 ( 后期追加定時任務 ) 基于SpringBoot構造超簡易QQ郵件服務發送(分離-圖解-新手) 第一版 追加 郵箱附件 添加依賴 <!-- 電子郵件 --><dependency><groupId>org.spri…

Java小白入門到實戰應用教程-介紹篇

writer:eleven 介紹 編程語言介紹 編程語言按照抽象層次和硬件交互的方式劃分為低級編程語言和高級編程語言。 低級編程語言更接近計算機硬件層面&#xff0c;通常具有執行效率高的特點&#xff0c;但是由于注重計算機底層交互&#xff0c;所以編程難度相對較大。 高級編程…

國內開源RAG知識庫ChatWiki MaxKb QAnyThing對比

RAG 知識庫 &#xff0c; 是一個比較火的賽道&#xff0c;以下是國內開源的RAG 知識庫 ChatWiki 芝麻小客服開源的一個RAG 知識庫&#xff0c;核心特點是和人工聊天系統打通&#xff0c;可以作為對外的聊天系統使用。 開源地址 https://github.com/zhimaAi/chatwiki 云端體…

如何評價Flutter?

哈嘍&#xff0c;我是老劉 我們團隊使用Flutter已經快6年了。 有很多人問過我們對Flutter的評價。 今天在這里回顧一下6年前選擇Flutter時的原因&#xff0c;以及Flutter在這幾年中的實際表現如何。 選擇Flutter時的判斷 1、性能 最開始吸引我們的就是其優秀的性能。 特別是…

【vue3|第16期】初探Vue-Router與現代網頁路由

日期:2024年7月6日 作者:Commas 簽名:(? ?_?)? 積跬步以致千里,積小流以成江海…… 注釋:如果您覺得有所幫助,幫忙點個贊,也可以關注我,我們一起成長;如果有不對的地方,還望各位大佬不吝賜教,謝謝^ - ^ 1.01365 = 37.7834;0.99365 = 0.0255 1.02365 = 1377.4083…

力扣第226題“翻轉二叉樹”

在本篇文章中&#xff0c;我們將詳細解讀力扣第226題“翻轉二叉樹”。通過學習本篇文章&#xff0c;讀者將掌握如何使用遞歸和迭代的方法來翻轉二叉樹&#xff0c;并了解相關的復雜度分析和模擬面試問答。每種方法都將配以詳細的解釋&#xff0c;以便于理解。 問題描述 力扣第…

深入探索聯邦學習框架 Flower

聯邦學習框架 本文主要期望介紹一個設計良好的聯邦學習框架 Flower&#xff0c;在開始介紹 Flower 框架的細節前&#xff0c;先了解下聯邦學習框架的基礎知識。 作為一個聯邦學習框架&#xff0c;必然會包含對橫向聯邦學習的支持。橫向聯邦是指擁有類似數據的多方可以在不泄露…

【CVPR 2024】GART: Gaussian Articulated Template Models

【CVPR 2024】GART: Gaussian Articulated Template Models 一、前言Abstract1. Introduction2. Related Work3. Method3.1. Template Prior3.2. Shape Appearance Representation with GMM3.3. Motion Representation with Forward Skinning3.4. Reconstruct GART from Monocu…

Java--instanceof和類型轉換

1.如圖&#xff0c;Object&#xff0c;Person&#xff0c;Teacher&#xff0c;Student四類的關系已經寫出來了&#xff0c;由于實例化的是Student類&#xff0c;因此&#xff0c;與Student類存在關系的類在使用instanceof時都會輸出True&#xff0c;而無關的都會輸出False&…

負載均衡技術怎么實現的,負載均衡策略

目錄 負載均衡技術怎么實現的 負載均衡技術的實現方式 舉例說明 負載均衡策略 1. 輪詢(Round Robin) 2. 加權輪詢(Weighted Round Robin) 3. 最少連接數(Least Connections) 4. 響應時間(Response Time) 總結 負載均衡技術怎么實現的 負載均衡技術主要通過多種…

數據結構 —— Dijkstra算法

數據結構 —— Dijkstra算法 Dijkstra算法劃分集合模擬過程打印路徑 在上次的博客中&#xff0c;我們解決了使用最小的邊讓各個頂點連通&#xff08;最小生成樹&#xff09; 這次我們要解決的問題是現在有一個圖&#xff0c;我們要找到一條路&#xff0c;使得從一個頂點到另一個…