---

1. 簡介與背景

一直比較關注LLM 相關內容的業界進展，所以特定來參加這個訓練營《書生·浦語大模型實戰營》，動手學習LLM，看看大模型生態鏈中具體的最佳實踐(Best Practice)，很早的時候GPT3.5 時代，我只是注意到了他的發布，之前的聊天機器人還是這么個架構

智能聊天機器人與大語言模型

ChatGPT在效果強大的GPT 3.5大規模語言模型（LLM，Large Language Model）基礎上，引入“人工標注數據+強化學習”（RLHF，Reinforcement Learning from Human Feedback ，這里的人工反饋其實就是人工標注數據）來不斷Fine-tune預訓練語言模型，主要目的是讓LLM模型學會理解人類的命令指令的含義（比如給我寫一段小作文生成類問題、知識回答類問題、頭腦風暴類問題等不同類型的命令），以及讓LLM學會判斷對于給定的prompt輸入指令（用戶的問題），什么樣的答案是優質的（富含信息、內容豐富、對用戶有幫助、無害、不包含歧視信息等多種標準）。

ChatGPT 使用來自人類反饋的強化學習進行訓練，這種方法通過人類干預來增強機器學習以獲得更好的效果。在訓練過程中，人類訓練者扮演著用戶和人工智能助手的角色，并通過近端策略優化算法進行微調。

目前的開源智能聊天機器人與云上運行模式

在人工智能飛速發展的時代，大模型已經成為引領創新和突破的大力推動者。但開發和應用大模型可不是一件容易的事情，需要我們掌握一堆技巧和方法。所以，這次實戰營的目標就是讓大家能夠高效地學習，玩轉大模型的微調、部署和評測全套工具。

---

2. InternLM2 大模型 簡介

官網：https://internlm.intern-ai.org.cn/
GitHub: https://github.com/InternLM
InternLM2 技術報告【英文版】：https://arxiv.org/pdf/2403.17297.pdf

3. 視頻筆記：書生·浦語大模型全鏈路開源體系

內容要點

1. 大模型成為發展通用人工智能的重要途徑
2. 從2023年七月InternLM全面開源到，2024年1月17日開源InternLM2，半年版本一更新

書生浦語 2.0 (InternLM2) 的主要亮點

• 超長上下文200k
• 綜合性能全面提升
• 優秀的對話和創作體驗
• 工具調用能力整體升級
• 突出的數理能力和實用的數據分析能力

從模型到應用典型流程

全鏈路開源體系

從實際商業項目的調研來看

• XTuner微調是剛需，特別是LoRA這種低成本微調，能和RAG連續覆蓋場景和成本，在一定范圍內，預計避免隨著數據規模增加出現成本激增的情況
• LMDeploy部署是剛需，從過去二十多年的商業項目經驗來看，客戶對于部署這類非直接需求的費用比較敏感
• OpenCompass評測是剛需，實際商業項目不需要全方位評測，更多的可能是針對商業項目的需求編寫評測集，保障微調達到預期效果
• Lagent和AgentLego是剛需，實際商業項目中需要針對存量數據進行定制開發

4. 論文筆記:InternLM2 Technical Report

論文地址

• https://arxiv.org/pdf/2403.17297.pdf

官方翻譯

• https://mp.weixin.qq.com/s/IUUj_CWUJPdrhLq1XAR-KA

中文翻譯參考

• https://hub.baai.ac.cn/view/36639

簡介

軟硬件基礎設施 Infrastructure

預訓練方法 Pre-train

對齊 Alignment

評價與分析 Evaluation and analysis

數據收集與整理

典型網頁內容獲取工具：https://trafilatura.readthedocs.io/en/latest/

網上的c++ 代碼確實太多了，所以你應該多利用AI幫忙寫c++代碼

其他學習內容

RAG綜述

https://arxiv.org/pdf/2402.19473.pdf

Retrieval-Augmented Generation for AI-Generated Content A Survey

LLM 帶給世界的改變！

以下觀點來源于 《動手學自然語言處理》書籍首發直播

1. 通過NLP 任務統一了大部分AI 任務
2. 定義問題，解決問題的周期加快
3. 未來能與AI 協作的能力是最重要的能力！

---

參考文獻

課程資源

學員手冊

• https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

算力平臺

• https://studio.intern-ai.org.cn/

課程文檔

• https://github.com/InternLM/Tutorial/tree/camp2

課程視頻

• https://www.bilibili.com/video/BV1Vx421X72D/

代碼倉庫

• https://github.com/InternLM/Tutorial/tree/camp2

論文

其他參考

胡老師博客：

• 第一課
• https://blog.csdn.net/hu_zhenghui/article/details/138811450