通過本文您可以了解到:
- 學習:從小白如何入手,從0到1開始學習大模型。
- RAG系統:我想搭建屬于自己或者企業的RAG系統,我該怎么去做?
- 評估:微調后的模型或者RAG系統,如何評估自己的模型和系統?有哪些工具集、數據庫、指標可以使用?
- 優化:怎么去優化RAG系統?包括:prompt工程,LLM選擇,embedding選擇,數據清洗,如何分塊,檢索,二階段檢索等
文章目錄
- 如何學習
- llm-action
- llm-universe
- self-llm
- Awesome-AGI
- 模型下載地址
- Huggingface官網
- Huggingface 鏡像站
- ModelScope
- wisemodel
- 開源模型
- LLama
- Chinese-LLaMA-Alpaca
- Llama-Chinese
- 國內大模型整理
- Awesome-Chinese-LLM
- Prompt工程
- promptingguide
- LearnPrompt
- LangGPT
- 優化
- 評估
- Awesome-LLM-Eval
- 工具
- langchain
- streamlit
- gradio
歡迎大家訪問個人博客網址:https://www.maogeshuo.com,博主努力更新中…
如何學習
給了以下幾個推薦網站,每個網站各有側重點
llm-action
- https://github.com/liguodongiot/llm-action
側重于大模型的訓練、推理、壓縮等
llm-universe
- https://github.com/datawhalechina/llm-universe
大模型應用開發,如何搭建知識庫、構建RAG應用等
self-llm
- https://github.com/datawhalechina/self-llm
各類開源大模型提供包括環境配置、本地部署、高效微調等技能在內的全流程指導
Awesome-AGI
- https://github.com/ArronAI007/Awesome-AGI
模型下載地址
國內訪問Huggingface官網下載模型和數據集,容易被墻。
可以使用Huggingface鏡像站、ModelScope、wisemodel,若無法訪問Huggingface官網,推薦Huggingface鏡像站,理由是里面收集的模型和數據集比較全。
Huggingface官網
- https://huggingface.co/
Huggingface 鏡像站
- https://hf-mirror.com/
ModelScope
- https://modelscope.cn/my/overview
wisemodel
- https://wisemodel.cn/home
開源模型
LLama
Chinese-LLaMA-Alpaca
- github地址
Llama-Chinese
- Llama-Chinese
國內大模型整理
Awesome-Chinese-LLM
- Awesome-Chinese-LLM
介紹了如何訓練、微調、部署llama
Prompt工程
提示工程是一個較新的學科,應用于開發和優化提示詞(Prompt),幫助用戶有效地將語言模型用于各種應用場景和研究領域。
promptingguide
- 官網地址
LearnPrompt
- 官網地址
LangGPT
飛書地址
優化
評估
Awesome-LLM-Eval
- https://github.com/onejune2018/Awesome-LLM-Eval/blob/main/README_CN.md
總結了幾乎所有的測試工具、數據集合、model、論文等,以評估工具為例:
- OpenCompass
- evals
補充:
- 評估工具:LangSmith https://docs.smith.langchain.com/
工具
langchain
- langchain中文網
LangChain 是一個用于開發由語言模型驅動的應用程序的框架。它使得應用程序能夠:
- 具有上下文感知能力:將語言模型連接到上下文來源(提示指令,少量的示例,需要回應的內容等)
- 具有推理能力:依賴語言模型進行推理(根據提供的上下文如何回答,采取什么行動等)
streamlit
- streamlit
快速構建和部署應用程序
gradio
由于作者水平有限,因此不能保證文中內容準確無誤,如有錯誤,請在下方留言,歡迎指出,謝謝!
大家有更好的學習資料,或者訓練、應用落地,優化、評估等經驗,歡迎大家在評論區留言,大家一起共勉和進步~