目錄

一、大模型面試指南

重點面題精講

【LLM面題精講 - RAG系統面】?查看答案

【LLM面題精講 - 實體識別面】?查看答案

【LLM面題精講 - 文本分類面】?查看答案

【LLM面題精講 - 分布式訓練面】?查看答案

【LLM面題精講 - 大模型微調面】?查看答案

【LLM面題精講 - 大模型架構面】?查看答案

【LLM面題精講 - Transformer面】?查看答案

【LLM面題精講 - LSTM面】?查看答案

【LLM面題精講 - RNN面】?查看答案

【LLM面題精講 - Word2Vec面】?查看答案

【LLM面題精講 - 分詞面】?查看答案

高頻面題匯總

NLP 基礎面?查看答案

BERT 模型面?查看答案

LLMs 微調面?查看答案

二、項目實踐

預訓練模型

文本分類

LangChain

動手學 RAG

三、算法理論

LLMs篇

BERT篇

Transformer

NLP 基礎

四、面經分享

五、大廠AI實踐

阿里

百度

騰訊

美團

小米

其他

---

我在 AI 領域工作多年，長期負責算法團隊的招聘和面試，我精心整理了大模型面試中的的一些高頻面試題，適合大模型初學者和正在準備面試的小伙伴。

本專欄全面總結了【大模型面試】的高頻面題和答案解析，答案盡量保證通俗易懂且有一定深度。旨在幫助AI工程師快速完成面試準備，先人一步順利拿到心儀 Offer?🎉🎉🎉

一、大模型面試指南

重點面題精講

【LLM面題精講 - RAG系統面】?查看答案

• 用戶問題總是召回不準確，在用戶理解階段可以做哪些優化？

• 文檔問答中，如何構建索引，提升對用戶問題的泛化能力？

• 如何合并多路檢索的結果，對它們做排序？

• BM25檢索器總是召回無關的知識，最可能的原因是什么？

• 如何構建重排序模型的微調數據？

• More ......

【LLM面題精講 - 實體識別面】?查看答案

• 實體識別中有哪些難點？

• 實體識別有哪些常用的解碼方式？

• 如何解決實體嵌套問題？

• 實體識別的數據是如何進行標注的？

• 如何解決超長實體識別問題？

• More ......

【LLM面題精講 - 文本分類面】?查看答案

• 如何用檢索的方式做文本分類？

• 如何用Prompt的方式做文本分類？

• 文本分類任務中有哪些難點？

• 如何解決樣本不均衡的問題？

• 如果類別會變化如何設計文本分類架構？

• More ......

【LLM面題精講 - 分布式訓練面】?查看答案

• PS架構和Ring-AllReduce架構有何不同？

• 什么是張量并行，如何使用集群計算超大矩陣？

• ZeRO1、ZeRO2、ZeRO3分別做了哪些優化？

• 用DeepSpeed進行訓練時主要配置哪些參數？

• More ......

【LLM面題精講 - 大模型微調面】?查看答案

• 如果想微調大模型本體參數，有哪些訓練技巧？

• 什么是BitFit微調？

• 什么是LoRA微調？有哪些可配置的參數？

• 從零訓練一個大模型有哪幾個核心步驟？

• 如何將一個通用大模型訓練成行業大模型？

• 如何準備SFT階段的訓練數據？

• More ......

【LLM面題精講 - 大模型架構面】?查看答案

• LLM架構對Transformer都有哪些優化？

• 什么是旋轉位置編碼（RoPE）？

• RoPE相對正弦位置編碼有哪些優勢？

• RoPE如何進行外推？

• LLM為何使用GQA代替MHA？

• PreNorm和PostNorm有何不同？

• 為何使用RMSNorm代替LayerNorm？

• LLM使用SwiGLU相對于ReLU有什么好處？

• More ......

【LLM面題精講 - Transformer面】?查看答案

• 自注意力層和全連接層有什么區別？

• 多頭注意力相對于單頭注意力有什么優勢?

• Transformer中自注意力模塊的計算過程？

• 什么是縮放點積注意力，為什么要除以根號d？

• BatchNorm和LayerNorm的區別？

• 解碼器為什么要使用Mask？是如何實現的？

• More ......

【LLM面題精講 - LSTM面】?查看答案

• LSTM 如何緩解 RNN 梯度消失的問題?

• LSTM中記憶單元的作用是什么？

• LSTM有幾個門，分別起什么作用？

• LSTM的前向計算如何進行加速？

• LSTM中的tanh和sigmoid分別用在什么地方？為什么？

• More ......

【LLM面題精講 - RNN面】?查看答案

• RNN的輸入輸出分別是什么？

• RNN是如何進行參數學習（反向傳播）的？

• 用RNN訓練語言模型時如何計算損失？

• RNN不能很好學習長期依賴的原因是什么？

• 怎么解決RNN的梯度爆炸問題？

• More ......

【LLM面題精講 - Word2Vec面】?查看答案

• 基于計數的表示方法存在哪些問題？

• CBOW 和 Skip-gram 哪個模型的詞嵌入更好？

• Word2Vec的詞向量存在哪些問題？

• 為什么說Word2vec的詞向量是靜態的？

• Word2Vec如何優化從中間層到輸出層的計算？

• More ......

【LLM面題精講 - 分詞面】?查看答案

• 如何處理超出詞表的單詞（OVV）？

• BPE 分詞器是如何訓練的？

• WordPiece 分詞器是如何訓練的？

• Unigram 分詞器是如何訓練的？

• More ......

高頻面題匯總

NLP 基礎面?查看答案

• 【NLP 面試寶典 之 模型分類】 必須要會的高頻面題

• 【NLP 面試寶典 之 神經網絡】 必須要會的高頻面題

• 【NLP 面試寶典 之 主動學習】 必須要會的高頻面題

• 【NLP 面試寶典 之 超參數優化】 必須要會的高頻面題

• 【NLP 面試寶典 之 正則化】 必須要會的高頻面題

• 【NLP 面試寶典 之 過擬合】 必須要會的高頻面題

• 【NLP 面試寶典 之 Dropout】 必須要會的高頻面題

• 【NLP 面試寶典 之 早停法】 必須要會的高頻面題

• 【NLP 面試寶典 之 標簽平滑】 必須要會的高頻面題

• 【NLP 面試寶典 之 Warm up 】 必須要會的高頻面題

• 【NLP 面試寶典 之 置信學習】 必須要會的高頻面題

• 【NLP 面試寶典 之 偽標簽】 必須要會的高頻面題

• 【NLP 面試寶典 之 類別不均衡問題】 必須要會的高頻面題

• 【NLP 面試寶典 之 交叉驗證】 必須要會的高頻面題

• More ......

BERT 模型面?查看答案

• 【NLP 面試寶典 之 BERT模型】 必須要會的高頻面題

• 【NLP 面試寶典 之 BERT變體】 必須要會的高頻面題

• 【NLP 面試寶典 之 BERT應用】 必須要會的高頻面題

• More ......

LLMs 微調面?查看答案

• 【NLP 面試寶典 之 LoRA微調】 必須要會的高頻面題

• 【NLP 面試寶典 之 Prompt】 必須要會的高頻面題

• 【NLP 面試寶典 之 提示學習微調】 必須要會的高頻面題

• 【NLP 面試寶典 之 PEFT微調】 必須要會的高頻面題

• More ......

二、項目實踐

預訓練模型

• 【預訓練模型實戰（一）】文本分類任務

• 【預訓練模型實戰（二）】序列標注任務

• 【預訓練模型實戰（三）】文本摘要任務

• 【預訓練模型實戰（四）】閱讀理解任務

文本分類

• 【文本分類 理論（一）】如何使用DL做文本分類任務？

• 【文本分類 理論（二）】多標簽分類和長文本分類如何做

• 【文本分類 理論（三）】層次化多標簽文本分類如何做？

• 【文本分類 實戰（一）】使用LSTM完成情感分析任務

• 【文本分類 實戰（二）】基于檢索的多層次文本分類

• 【文本分類 實戰（三）】基于 Prompt 的小樣本文本分類實踐

LangChain

• 【LangChain 實戰（一）】LangChain 初見

• 【LangChain 實戰（二）】PDF 文檔問答

• 【LangChain 實戰（三）】源碼簡讀

• More ......

動手學 RAG

• 【RAG 項目實戰 01】在 LangChain 中集成 Chainlit

• 【RAG 項目實戰 02】Chainlit 持久化對話歷史

• 【RAG 項目實戰 03】優雅的管理環境變量

• 【RAG 項目實戰 04】添加多輪對話能力

• More ......

三、算法理論

LLMs篇

• 【分布式訓練 學習筆記（一）】 流水線并行

• 【分布式訓練 學習筆記（二）】 DP和DDP

• 【分布式訓練 學習筆記（三）】 零冗余優化（ZeRO）

• 【分布式訓練 學習筆記（四）】 張量并行（TP）

• 【分布式訓練 學習筆記（五）】 Megatron 源碼解讀（上）

• 【分布式訓練 學習筆記（六）】 Megatron 源碼解讀（下）

• 【PEFT 學習筆記（一）】PEFT技術綜述

• 【PEFT 學習筆記（二）】技術原理 - BitFit、Prefix Tuning、Prompt Tuning

• 【PEFT 學習筆記（三）】技術原理 - P-Tuning、P-Tuning v2

• 【PEFT 學習筆記（四）】技術原理 - Adapter Tuning及其變體

• 【LoRA 學習筆記（一）】LoRA 原理篇

• 【LoRA 學習筆記（二）】LoRA 源碼篇

BERT篇

• 【BERT 學習筆記（一）】論文精讀

• 【BERT 學習筆記（二）】源碼解析 - 運行示例

• 【BERT 學習筆記（三）】源碼解析 - 模型架構

• 【BERT 學習筆記（四）】源碼解析 - 預訓練

• 【BERT 學習筆記（五）】源碼解析 - 模型微調

• More ......

Transformer

• 【Transformer 學習筆記（一）】論文精讀

• 【Transformer 學習筆記（二）】核心機制 - 位置編碼

• 【Transformer 學習筆記（三）】核心機制 - 自注意力機制

• 【Transformer 學習筆記（四）】核心機制 - 層歸一化

• More ......

NLP 基礎

• 【NLP 入門（一）】：自然語言處理概述

• 【NLP 入門（二）】：中文分詞概述

• 【NLP 入門（三）】：詞向量化概述

• 【NLP 入門（四）】：Seq2Seq 模型概述

• 【NLP 入門（五）】：Transformer 概述

四、面經分享

• 雙非研究生斬獲大廠offer（百度、阿里、順豐）

• 六面！雙非本科終斬騰訊NLP offer

• 超詳細！騰訊NLP算法崗面經（已offer）

• 秋招算法面經集合 -- 華為、百度、騰訊、美團等

• 算法崗通關寶典 -- 社招一年經驗，字節5輪、阿里7輪

• NLP面經集結 -- 達摩院、騰訊、微軟、美團、百度

• NLP面試復盤 -- 阿里、騰訊、頭條、paypal、快手

• More ......

五、大廠AI實踐

阿里

• 阿里小蜜智能服務技術實踐及場景探索

• 阿里云基于預訓練模型、智能運維的QA生成算法落地

• 情感計算在淘寶UGC的應用

• AliceMind大規模預訓練實踐及AIGC在ModelScope中的應用

• More ......

百度

• 百度：大模型推動的人機交互對話

• 百度：基于異構互聯知識圖譜的多模內容創作技術

• 百度：如何從零樣本做中文文本知識標注與挖掘？

• 百度：文檔智能技術與應用

• 百度：文心開放域對話技術及其應用

• More ......

騰訊

• 騰訊：可控、可靠的數據到文本生成技術

• 騰訊：微信搜一搜中的智能問答技術

• 騰訊：QQ瀏覽器搜索中的智能問答技術

• 騰訊：QQ音樂命名實體識別技術

• More ......

美團

• 美團：對話理解技術及實踐

• 美團：大眾點評信息流基于文本生成的創意優化實踐

• 美團：對話摘要技術在美團的探索（SIGIR）

• 美團：基于知識圖譜的問答在美團智能交互場景中的應用和演進

• 美團：美團搜索中查詢改寫技術實踐

• 美團：美團智能客服核心技術與實踐

• 美團：事件圖譜在美團智能客服問答中的應用

• 美團：小樣本學習+自訓練實戰

• More ......

小米

• 小米：音樂垂域的自然語言理解

• 小米：NLP技術在小米語音助手中的應用

• More ......

其他

• 飛豬：POI 識別在飛豬搜索的探索與實踐

• 京東：基于知識圖譜的商品營銷文案自動生成實踐

• 微軟：基于預訓練的自然語言生成在搜索與廣告中的應用

• More ......