---

在找論文時，發現的相關概念。

---

1. 知識蒸餾

知識蒸餾（knowledge distillation）是模型壓縮的一種常用的方法，不同于模型壓縮中的剪枝和量化，知識蒸餾是通過構建一個輕量化的小模型，利用性能更好的大模型的監督信息，來訓練這個小模型，以期達到更好的性能和精度。最早是由Hinton在2015年首次提出并應用在分類任務上面，這個大模型我們稱之為teacher（教師模型），小模型我們稱之為Student（學生模型）。來自Teacher模型輸出的監督信息稱之為knowledge(知識)，而student學習遷移來自teacher的監督信息的過程稱之為Distillation(蒸餾)。

2. 可微搜索索引（DSI）

DSI主要有兩個部分，分別是
（1）索引（Indexing）—給定文件，輸出文件的docid
（2）檢索（Retrieval）—根據給定的查詢x，輸出docid整體流程如下
query -》docid 《- documents
查詢到docid稱為檢索，documents到docid稱為索引

參考資料

【1】知識蒸餾：https://zhuanlan.zhihu.com/p/258390817
【2】DSI：https://zhuanlan.zhihu.com/p/665924073