LLM面試題目 3

1. 什么是自注意力機制（Self-Attention）？為什么它在LLM中很重要？
2. 如何評估LLM的性能？
3. LLM面臨的挑戰有哪些？
4. Transformer和RNN的區別是什么？
5. LLM如何處理多輪對話？
   

題目講解

1. 什么是自注意力機制（Self-Attention）？為什么它在LLM中很重要？
   自注意力機制是一種能讓模型在處理序列數據時，計算每個元素與序列中其他所有元素之間關聯程度的機制。在處理文本時，比如對于句子“貓追老鼠，它很敏捷”，自注意力機制會計算“它”與“貓”“追”“老鼠”等詞的關聯權重，從而確定“它”具體指代的對象。
   在LLM中，自注意力機制至關重要。傳統的RNN類模型處理長文本時，隨著序列長度增加，早期信息容易丟失，難以捕捉長距離依賴。而自注意力機制可以并行處理序列中的所有元素&#