Machine Learning Q and AI 中文譯名 大模型技術30講，主要總結了大模型相關的技術要點，結合學術和工程化，對LLM從業者來說，是一份非常好的學習實踐技術地圖.
本文是Machine Learning Q and AI 讀書筆記的第2篇，對應原書第二章 《自監督學習》.
TL;DR
本文著重圍繞3個問題：
- 什么是自監督學習;
- 自監督學習在哪些情況下有效;
- 自監督學習的實現方法有哪些.
什么是自監督學習
Self-supervised learning is a pretraining procedure that lets neural networks leverage large unlabeled datasets in a supervised fashion.
從原文可以看到，自監督學習是一個預訓練過程, 能讓神經網絡在監督學習的方式下，學習大規模的無標簽數據集.
因為自監督學習和遷移學習有相關性，因此先介紹一下遷移學習(Transfer Learning)的概念。
遷移學習
Transfer learning (TL) is a technique in machine learning (ML) in which knowledge learned from a task is re-used in order to boost performance on a related task. For example, for image classification, knowledge gained while learning to recognize cars could be applied when trying to recognize trucks. This topic is related to the psychological literature on transfer of learning, although practical ties between the two fields are limited. Reusing/transferring information from previously learned tasks to new tasks has the potential to significantly improve learning efficiency
from wiki
遷移學習（Transfer Learning，TL）是機器學習（Machine Learning，ML）中的一種技術，它將從一個任務中獲得的知識重新用于提升在相關任務上的性能。例如，在圖像分類中，學習識別汽車時獲得的知識可以應用于識別卡車。這一主題與心理學中關于學習遷移的文獻相關，盡管這兩個領域之間的實際聯系是有限的。從先前學習的任務中重用/轉移信息，有可能顯著提高學習效率。
自監督學習
自監督學習是遷移學習的一種替代方案，區別在于，遷移學習是在有標簽數據集上，而自監督學習在無標簽數據集上.
自監督學習的一個例子是NLP任務中預測缺失詞，這和BERT的完形填空式訓練任務基本一致. 方法是把句子中的某個詞語替換成[MASK] 標簽讓模型去預測.
什么場景下有效
文中提到，遷移學習和自監督學習的主要區別在于如何獲取標簽. 在遷移學習中，假設所有的數據都有標簽并且這些標簽大多是由人工標注. 在自監督學習中，標簽是從數據中直接獲取的。例如LLM的預訓練，就是直接輸入語料(嚴格來說，也是把語料拆分為輸入和標簽，只不過標簽本身來自于語料).
那么，這里可以回答開頭的第二個問題，什么場景下有效，就是無標簽數據集下.
實現方式
這里談到實現方式，是在說訓練的下游任務.
文中提到兩種類型的任務：
- 自預測
- 對比自監督
自預測
In self-prediction, we typically change or hide parts of the input and train the model to reconstruct the original inputs.
在自預測中，我們通常會更改或隱藏輸入的一部分，并訓練模型重建原始輸入。
文中的例子：
這里通過掩蓋輸入圖片中的一部分讓模型去預測，達到自預測的訓練目標.
對比自監督
對比自監督任務中，則是訓練神經網絡學習一個嵌入空間，其中，相似的輸入彼此接近，而不相似的輸入則距離遠。 也就是網絡能產生的嵌入向量能夠滿足相似樣本間向量距離近，不相似的距離遠.
總結
本文介紹自監督學習的概念，適用場景，以及實現自監督學習的兩種任務.
； using var 是什么意思)
)
