4月18日,Meta在官方博客官宣了Llama3,標志著人工智能領域邁向了一個重要的飛躍。經過筆者的個人體驗,Llama3 8B效果已經超越GPT-3.5,最為重要的是,Llama3是開源的,我們可以自己部署!
本文和大家分享一下如何在個人電腦上部署Llama3,擁有你自己的GPT-3.5+!
很多讀者擔心本地部署時個人電腦的硬件配置不夠,實際上這種擔心是多余的,筆者使用的是MacBook M2 Pro (2023款), 主要硬件配置如下:
- 10核CPU
- 16G內存
部署步驟大致如下:
- 安裝Ollama
- 下載Llama3
- 安裝Node.js
- 部署WebUI
【一一AGI大模型學習 所有資源獲取處一一】
①人工智能/大模型學習路線
②AI產品經理入門指南
③大模型方向必讀書籍PDF版
④超詳細海量大模型實戰項目
⑤LLM大模型系統學習教程
⑥640套-AI大模型報告合集
⑦從0-1入門大模型教程視頻
⑧AGI大模型技術公開課名額
安裝Ollama
Ollama可以簡單理解為客戶端,實現和大模型的交互,讀者可以前往[ollama.com/download,根據…]
下載之后打開,直接點擊Next
以及Install
安裝ollama
到命令行。安裝完成后界面上會提示ollama run llama2
,不需要執行這條命令,因為我們要安裝llama3
。
下載Llama3
打開新的終端/命令行窗口,執行以下命令:
ollama run llama3
程序會自動下載Llama3的模型文件,默認是8B,也就80億參數版本,個人電腦完全可以運行。
成功下載模型后會進入交互界面,我們可以直接在終端進行提問,比如筆者問的Who are you?
,Llama3幾乎是秒回答。
? Projects ollama run llama3
>>> who are you?
I'm LLaMA, a large language model trained by a team of researcher at Meta
AI. I'm here to chat with you and answer any questions you may have.I've been trained on a massive dataset of text from the internet and can
generate human-like responses to a wide range of topics and questions. My
training data includes but is not limited to:* Web pages
* Books
* Articles
* Research papers
* ConversationsI'm constantly learning and improving my responses based on the
conversations I have with users like you.So, what's on your mind? Do you have a question or topic you'd like to
discuss?
安裝Node.js
支持Ollama的WebUI非常多,筆者體驗過熱度第一的那個WebUI
設置國內NPM鏡像
官方的NPM源國內訪問有點慢,筆者推薦國內用戶使用騰訊NPM源([mirrors.cloud.tencent.com/npm/),之前筆者使…]
打開終端執行以下命令設置NPM使用騰訊源:
npm config set registry http://mirrors.cloud.tencent.com/npm/
部署WebUI
打開終端,執行以下命令部署WebUI:
git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
npm install
npm run dev
提示如下,WebUI已經在本地3000端口進行監聽:
> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000VITE v4.5.2 ready in 765 ms? Local: http://localhost:3000/
打開瀏覽器訪問[http://localhost:3000,可以看到如下圖所示界面。默認情況下是沒有選擇模型的,需要點擊截圖所示箭頭處選擇模型。]
筆者給模型提了一個編寫一個Golang Echo Server的例子,大概5秒就開始打印結果,速度非常不錯。
如何系統的去學習大模型LLM ?
作為一名熱心腸的互聯網老兵,我意識到有很多經驗和知識值得分享給大家,也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑,所以在工作繁忙的情況下還是堅持各種整理和分享。
但苦于知識傳播途徑有限,很多互聯網行業朋友無法獲得正確的資料得到學習提升,故此將并將重要的 AI大模型資料
包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰學習等錄播視頻免費分享出來。
😝有需要的小伙伴,可以V掃描下方二維碼免費領取🆓
一、全套AGI大模型學習路線
AI大模型時代的學習之旅:從基礎到前沿,掌握人工智能的核心技能!
二、640套AI大模型報告合集
這套包含640份報告的合集,涵蓋了AI大模型的理論研究、技術實現、行業應用等多個方面。無論您是科研人員、工程師,還是對AI大模型感興趣的愛好者,這套報告合集都將為您提供寶貴的信息和啟示。
三、AI大模型經典PDF籍
隨著人工智能技術的飛速發展,AI大模型已經成為了當今科技領域的一大熱點。這些大型預訓練模型,如GPT-3、BERT、XLNet等,以其強大的語言理解和生成能力,正在改變我們對人工智能的認識。 那以下這些PDF籍就是非常不錯的學習資源。
四、AI大模型商業化落地方案
階段1:AI大模型時代的基礎理解
- 目標:了解AI大模型的基本概念、發展歷程和核心原理。
- 內容:
- L1.1 人工智能簡述與大模型起源
- L1.2 大模型與通用人工智能
- L1.3 GPT模型的發展歷程
- L1.4 模型工程
- L1.4.1 知識大模型
- L1.4.2 生產大模型
- L1.4.3 模型工程方法論
- L1.4.4 模型工程實踐 - L1.5 GPT應用案例
階段2:AI大模型API應用開發工程
- 目標:掌握AI大模型API的使用和開發,以及相關的編程技能。
- 內容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具類框架
- L2.1.4 代碼示例 - L2.2 Prompt框架
- L2.2.1 什么是Prompt
- L2.2.2 Prompt框架應用現狀
- L2.2.3 基于GPTAS的Prompt框架
- L2.2.4 Prompt框架與Thought
- L2.2.5 Prompt框架與提示詞 - L2.3 流水線工程
- L2.3.1 流水線工程的概念
- L2.3.2 流水線工程的優點
- L2.3.3 流水線工程的應用 - L2.4 總結與展望
- L2.1 API接口
階段3:AI大模型應用架構實踐
- 目標:深入理解AI大模型的應用架構,并能夠進行私有化部署。
- 內容:
- L3.1 Agent模型框架
- L3.1.1 Agent模型框架的設計理念
- L3.1.2 Agent模型框架的核心組件
- L3.1.3 Agent模型框架的實現細節 - L3.2 MetaGPT
- L3.2.1 MetaGPT的基本概念
- L3.2.2 MetaGPT的工作原理
- L3.2.3 MetaGPT的應用場景 - L3.3 ChatGLM
- L3.3.1 ChatGLM的特點
- L3.3.2 ChatGLM的開發環境
- L3.3.3 ChatGLM的使用示例 - L3.4 LLAMA
- L3.4.1 LLAMA的特點
- L3.4.2 LLAMA的開發環境
- L3.4.3 LLAMA的使用示例 - L3.5 其他大模型介紹
- L3.1 Agent模型框架
階段4:AI大模型私有化部署
- 目標:掌握多種AI大模型的私有化部署,包括多模態和特定領域模型。
- 內容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的關鍵技術
- L4.3 模型私有化部署的實施步驟
- L4.4 模型私有化部署的應用場景
學習計劃:
- 階段1:1-2個月,建立AI大模型的基礎知識體系。
- 階段2:2-3個月,專注于API應用開發能力的提升。
- 階段3:3-4個月,深入實踐AI大模型的應用架構和私有化部署。
- 階段4:4-5個月,專注于高級模型的應用和部署。
這份完整版的大模型 LLM 學習資料已經上傳CSDN,朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費
】
😝有需要的小伙伴,可以Vx掃描下方二維碼免費領取🆓