大模型學習資料整理:如何從0到1學習大模型,搭建個人或企業RAG系統,如何評估與優化(更新中...)

通過本文您可以了解到:

  • 學習:從小白如何入手,從0到1開始學習大模型。
  • RAG系統:我想搭建屬于自己或者企業的RAG系統,我該怎么去做?
  • 評估:微調后的模型或者RAG系統,如何評估自己的模型和系統?有哪些工具集、數據庫、指標可以使用?
  • 優化:怎么去優化RAG系統?包括:prompt工程,LLM選擇,embedding選擇,數據清洗,如何分塊,檢索,二階段檢索等

文章目錄

  • 如何學習
    • llm-action
    • llm-universe
    • self-llm
    • Awesome-AGI
  • 模型下載地址
    • Huggingface官網
    • Huggingface 鏡像站
    • ModelScope
    • wisemodel
  • 開源模型
    • LLama
      • Chinese-LLaMA-Alpaca
      • Llama-Chinese
    • 國內大模型整理
      • Awesome-Chinese-LLM
  • Prompt工程
    • promptingguide
    • LearnPrompt
    • LangGPT
  • 優化
  • 評估
    • Awesome-LLM-Eval
  • 工具
    • langchain
    • streamlit
    • gradio

歡迎大家訪問個人博客網址:https://www.maogeshuo.com,博主努力更新中…

如何學習

給了以下幾個推薦網站,每個網站各有側重點

llm-action

  • https://github.com/liguodongiot/llm-action

側重于大模型的訓練、推理、壓縮等

llm-universe

  • https://github.com/datawhalechina/llm-universe

大模型應用開發,如何搭建知識庫、構建RAG應用等

self-llm

  • https://github.com/datawhalechina/self-llm

各類開源大模型提供包括環境配置、本地部署、高效微調等技能在內的全流程指導

在這里插入圖片描述

Awesome-AGI

  • https://github.com/ArronAI007/Awesome-AGI

模型下載地址

國內訪問Huggingface官網下載模型和數據集,容易被墻。
可以使用Huggingface鏡像站、ModelScope、wisemodel,若無法訪問Huggingface官網,推薦Huggingface鏡像站,理由是里面收集的模型和數據集比較全

Huggingface官網

  • https://huggingface.co/

Huggingface 鏡像站

  • https://hf-mirror.com/

ModelScope

  • https://modelscope.cn/my/overview

wisemodel

  • https://wisemodel.cn/home

開源模型

LLama

Chinese-LLaMA-Alpaca

  • github地址

Llama-Chinese

  • Llama-Chinese

國內大模型整理

在這里插入圖片描述

Awesome-Chinese-LLM

  • Awesome-Chinese-LLM

介紹了如何訓練、微調、部署llama

Prompt工程

提示工程是一個較新的學科,應用于開發和優化提示詞(Prompt),幫助用戶有效地將語言模型用于各種應用場景和研究領域。

promptingguide

  • 官網地址
    在這里插入圖片描述

LearnPrompt

  • 官網地址
    在這里插入圖片描述

LangGPT

飛書地址
在這里插入圖片描述

優化

評估

Awesome-LLM-Eval

  • https://github.com/onejune2018/Awesome-LLM-Eval/blob/main/README_CN.md

總結了幾乎所有的測試工具、數據集合、model、論文等,以評估工具為例:

  • OpenCompass
  • evals

補充:

  • 評估工具:LangSmith https://docs.smith.langchain.com/

工具

langchain

  • langchain中文網

LangChain 是一個用于開發由語言模型驅動的應用程序的框架。它使得應用程序能夠:

  • 具有上下文感知能力:將語言模型連接到上下文來源(提示指令,少量的示例,需要回應的內容等)
  • 具有推理能力:依賴語言模型進行推理(根據提供的上下文如何回答,采取什么行動等)

streamlit

  • streamlit

快速構建和部署應用程序

gradio


由于作者水平有限,因此不能保證文中內容準確無誤,如有錯誤,請在下方留言,歡迎指出,謝謝!

大家有更好的學習資料,或者訓練、應用落地,優化、評估等經驗,歡迎大家在評論區留言,大家一起共勉和進步~

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/20284.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/20284.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/20284.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

windows配置dns訪問git , 加快訪問速度保姆級教程

設置 DNS 訪問 Git 需要修改電腦的 DNS 配置。下面是具體的操作流程: 第一步:打開命令提示符或終端窗口 在 Windows 系統中,可以按下 Win R 組合鍵,然后輸入 “cmd”,按下 Enter 鍵打開命令提示符窗口。在 macOS 或 …

【活動】GPT-4O:AI語言生成技術的新里程碑

🌈個人主頁: 鑫寶Code 🔥熱門專欄: 閑話雜談| 炫酷HTML | JavaScript基礎 ?💫個人格言: "如無必要,勿增實體" 文章目錄 GPT-4O:AI語言生成技術的新里程碑引言GPT系列簡史回顧GPT-1: 初露鋒…

國際薦酒師(香港)協會亮相香港國際葡萄酒和烈酒展覽會

2024年5月28日至30日,備受矚目的香港國際葡萄酒和烈酒展覽會VINEXPO Hong Kong在香港盛大舉辦。作為亞太區最盛大的葡萄酒展會,本屆展會不僅吸引了全球葡萄酒和烈酒行業的目光,更見證了國際薦酒師(香港)協會&#xff0…

(2) qml誕生的原因 和Qt Creator開發環境的介紹

文章目錄 qml誕生原因Qt Quick應?程序Qt Creator環境1、MSVC2、MinGWMSVC的優缺點MinGW的優缺點 最后的選擇延伸閱讀 一些常用的快捷鍵統一格式化代碼統一qml 語言的格式Locator 定位器幫助 qml誕生原因 可以在Qt5中開發的不同類型的經典應?程序。桌?應?程 序正在發?著改…

物聯網斷點續傳

斷點續傳是一種在網絡傳輸中斷后,能夠從中斷的位置繼續傳輸的技術。它可以有效地避免因為網絡不穩定、服務器故障、用戶操作等原因導致的傳輸失敗,節省了用戶的時間和流量,提高了傳輸的效率和可靠性。斷點續傳在很多場景中都有廣泛的應用&…

GIS結合物聯網:塑造智慧地球的新篇章

在信息技術飛速發展的今天,地理信息系統(GIS)與物聯網(IoT)的深度融合,正以前所未有的方式重塑著我們對世界的認知。本文將深入探討GIS與物聯網結合的原理、應用實踐以及面臨的挑戰與未來展望,共…

鄉村振興與鄉村旅游品牌化:打造具有地方特色的鄉村旅游品牌,提升鄉村旅游吸引力,促進美麗鄉村建設

目錄 一、引言 二、鄉村旅游品牌化的重要性 (一)增強鄉村旅游的辨識度 (二)提升鄉村旅游的附加值 (三)促進鄉村文化的傳承與創新 三、打造具有地方特色的鄉村旅游品牌 (一)明…

Python知識點6---列表和元組

提前說一點:如果你是專注于Python開發,那么本系列知識點只是帶你入個門再詳細的開發點就要去看其他資料了,而如果你和作者一樣只是操作其他技術的Python API那就足夠了。 Python的列表和和元組定義方式如下,且注意列表和元組擁有…

【深度強化學習入門:結合直覺與算法的學習之旅】

文章目錄 前言深度強化學習的關鍵要素簡單的深度Q網絡(DQN)實現分析代碼結論 前言 深度強化學習結合了深度學習的表征學習能力和強化學習的決策制定機制,這使得機器能夠在復雜環境中自我學習并做出合理的行動策略。它在游戲玩耍、自動駕駛、…

Linux實驗報告(二)——Linux系統中的常用命令

目錄 一、實驗名稱: 二、儀器、設備: 三、參考資料: 四、實驗目的: 五、實驗內容(步驟): 六、實驗數據(程序)記錄: ?編輯 ?編輯 七、實驗結果分析…

Python知識點9---推導式

提前說一點:如果你是專注于Python開發,那么本系列知識點只是帶你入個門再詳細的開發點就要去看其他資料了,而如果你和作者一樣只是操作其他技術的Python API那就足夠了。 Python提供的推導式,只對列表、字典、集合三種數據類型生…

公司網站模板制作

公司網站模板的制作是一項極其重要的工作,因為網站模板決定了網站的整體風格和用戶體驗。一個漂亮、易用的網站模板將會吸引更多的用戶,而一個糟糕的網站模板則會讓用戶不供選擇。下面就讓我們介紹一下公司網站模板的制作。 首先,一個好的網站…

iCold編程入門:探索未知的編程世界

iCold編程入門:探索未知的編程世界 在浩瀚的數字宇宙中,iCold編程猶如一顆璀璨的新星,吸引著無數好奇而勇敢的探險家。然而,對于初學者來說,這個神秘的世界往往充滿了未知與挑戰。今天,我們就將一同踏入這…

前端 CSS 經典:mac docker 效果

前言:瀏覽器上實現 mac docker 效果,實現思路,1. 布局,方框間距用元素代替,因為有放大縮小功能,不用元素的話,不好控制。2. 定義個 css 變量 i,用來代表放大比例。3. 確定每個元素的…

信息系統項目管理師軟考高級論文教程必過論文分享

很多人提到軟考就會想到信息系統項目管理師和系統集成項目管理工程師,這兩個不同的軟考內容的區別不僅僅在于一個是高級,一個是中級,還有一個區別是它們的考試內容也是不同的,高級的信息系統項目管理師考試多了一項論文的考試&…

K-means 聚類算法和K-means ++聚類算法詳解【5】

1、通俗易懂的講解鏈接 補充鏈接,K- means算法的K值選擇策略:鏈接一,鏈接二???????; 后續關鍵點漸次補充

MySQL入門學習-查詢進階.正則表達式

在 MySQL 中,正則表達式是用于匹配文本模式的工具。正則表達式可以用于在查詢中進行模式匹配,以便更精確地查找和操作數據。 一、以下是一些常見的查詢進階操作和正則表達式的特點、使用方法以及與其他比較和高級應用的示例: 1. LIKE操作符…

USART串口數據包

USART串口數據包 先來看兩張圖,本次程序是串口收發HEX數據包,第二種是串口收發文本數據包,之后兩個圖,展示的就是接收數據包的思路。 在PB1這里接了一個按鍵,用于控制。在串口助手,在發送模式和接收模式都…

Debian 常用命令指南:基礎篇

Debian 是一款廣泛使用的 Linux 發行版,以其穩定性和安全性著稱。對于新手來說,掌握一些常用的命令行工具是順利使用 Debian 的第一步。本篇文章將介紹一些 Debian 系統中最常用的基礎命令,幫助你更好地管理和操作你的系統。 1. 系統信息相關…

JAVA攔截器的三種實現方式

JAVA攔截器的三種實現方式 一、java原生過濾器Filter二、springMVC攔截器三、aop切面實現攔截器 一、java原生過濾器Filter /*** 自定義Filter* 對請求的header 過濾token** 過濾器Filter可以拿到原始的HTTP請求和響應的信息,* 但是拿不到你真正處理請求方法的…