第一章

注意力（Attention）機制詳解

1、注意力機制的背景和動機（為什么需要注意力機制？注意力機制的起源和發展）。

2、注意力機制的基本原理：什么是注意力機制？注意力機制的數學表達與基本公式、用機器翻譯任務帶你了解Attention機制、如何計算注意力權重？

3、注意力機制的主要類型：自注意力（Self-Attention）與多頭注意力（Multi-Head Attention）、Soft Attention?與?Hard Attention、全局（Global）與局部（Local）注意力

4、注意力機制的優化與變體：稀疏注意力（Sparse Attention）、加權注意力（Weighted Attention）

5、注意力機制的可解釋性與可視化技術：注意力權重的可視化（權重熱圖）

6、案例演示?????7、實操練習

第二章

Transformer模型詳解

1、Transformer模型的提出背景（從RNN、LSTM到注意力機制的演進、Transformer模型的誕生背景及其在自然語言處理和計算視覺中的重要性）

2、Transformer模型拓撲結構（編碼器、解碼器、多頭自注意力機制、前饋神經網絡、層歸一化和殘差連接等）

2、Transformer模型工作原理（為什么Transformer模型需要位置信息？位置編碼的計算方法？Transformer模型的損失函數？）

3、自然語言處理（NLP）領域的Transformer模型：BERT、GPT-1 / GPT-2 / GPT-3 / GPT-3.5 / GPT-4（模型的總體架構、輸入和輸出形式、預訓練目標、預訓練數據的選擇和處理、詞嵌入方法、GPT系列模型的改進與演化、……）。

4、計算視覺（CV）領域的Transformer模型：DETR / ViT / Swin Transformer（DERT：基于Transformer的檢測頭設計、雙向匹配損失；ViT：圖像如何被分割為固定大小的patches？如何將圖像patches線性嵌入到向量中？Transformer在處理圖像上的作用？Swin：窗口化自注意力機制、層次化的Transformer結構、如何利用位移窗口實現長范圍的依賴？）

5、案例演示???????6、實操練習

第三章

生成式模型詳解

1、變分自編碼器VAE（自編碼器的基本結構與工作原理、變分推斷的基本概念及其與傳統貝葉斯推斷的區別、VAE的編碼器和解碼器結構及工作原理）。

2、生成式對抗網絡GAN（GAN提出的背景和動機、GAN的拓撲結構和工作原理、生成器與判別器的角色、GAN的目標函數）。

3、擴散模型Diffusion Model（擴散模型的核心概念？如何使用隨機過程模擬數據生成？擴散模型的工作原理）。

4、跨模態圖像生成DALL.E（什么是跨模態學習？DALL.E模型的基本架構、模型訓練過程）。

5、案例演示????????????6、實操練習

第四章

目標檢測算法詳解

1.?目標檢測任務與圖像分類識別任務的區別與聯系。

2.?兩階段（Two-stage）目標檢測算法：R-CNN、Fast R-CNN、Faster R-CNN（RCNN的工作原理、Fast R-CNN和Faster R-CNN的改進之處 ）。

3.?一階段（One-stage）目標檢測算法：YOLO模型、SDD模型（拓撲結構及工作原理）。

4.?案例演示??????????5、實操練習

第五章

圖神經網絡詳解

1.?圖神經網絡的背景和基礎知識（什么是圖神經網絡？圖神經網絡的發展歷程？為什么需要圖神經網絡？）

2.?圖的基本概念和表示（圖的基本組成：節點、邊、屬性；圖的表示方法：鄰接矩陣；圖的類型：無向圖、有向圖、加權圖）。

3.?圖神經網絡的工作原理（節點嵌入和特征傳播、聚合鄰居信息的方法、圖神經網絡的層次結構）。

4.?圖卷積網絡（GCN）的工作原理。

5.?圖神經網絡的變種和擴展：圖注意力網絡（GAT）、圖同構網絡（GIN）、圖自編碼器、圖生成網絡。

6、案例演示????????7、實操練習

第六章

強化學習詳解

1、強化學習的基本概念和背景（什么是強化學習？強化學習與其他機器學習方法的區別？強化學習的應用領域有哪些？

2、Q-Learning（馬爾可夫決策過程、Q-Learning的核心概念、什么是Q函數？Q-Learning的基本更新規則）。

3、深度Q網絡（DQN）（為什么傳統Q-Learning在高維或連續的狀態空間中不再適用？如何使用神經網絡代替Q表來估計Q值？目標網絡的作用及如何提高DQN的穩定性？）

4、案例演示?????????5、實操練習

第七章

物理信息神經網絡

（PINN）

1、?物理信息神經網絡的背景（物理信息神經網絡（PINNs）的概念及其在科學計算中的重要性、傳統數值模擬方法與PINNs的比較）

2、?PINN工作原理：物理定律與方程的數學表達、如何將物理定律嵌入到神經網絡模型中？PINN的架構（輸入層、隱含層、輸出層的設計）、物理約束的形式化（如何將邊界條件等物理知識融入網絡？）損失函數的設計（數據驅動與物理驅動的損失項）

3、?常用的PINN庫和框架介紹

4、?案例演示?????????5、實操練習

第八章

神經架構搜索（Neural Architecture Search, NAS）

1、?NAS的背景和動機（傳統的神經網絡設計依賴經驗和直覺，既耗時又可能達不到最優效果。通過自動搜索，可以發現傳統方法難以設計的創新和高效架構。）

2、?NAS的基本流程：搜索空間定義（確定搜索的網絡架構的元素，如層數、類型的層、激活函數等。）、搜索策略（隨機搜索、貝葉斯優化、進化算法、強化學習等）、性能評估

3、?NAS的關鍵技術：進化算法（通過模擬生物進化過程，如變異、交叉和選擇，來迭代改進網絡架構）、強化學習（使用策略網絡來生成架構，通過獎勵信號來優化策略網絡）、貝葉斯優化（利用貝葉斯方法對搜索空間進行高效的全局搜索，平衡探索和利用）

4、?案例演示?????????5、實操練習

第九章

深度學習模型可解釋性與可視化方法詳解

1、什么是模型可解釋性？為什么需要對深度學習模型進行解釋？

2、可視化方法有哪些（特征圖可視化、卷積核可視化、類別激活可視化等）？

3、類激活映射CAM（Class Activation Mapping）、梯度類激活映射GRAD-CAM、局部可解釋模型-敏感LIME（Local Interpretable Model-agnostic Explanation）、等方法原理講解。

4、t-SNE的基本概念及使用t-SNE可視化深度學習模型的高維特征。

5、案例演示?????????6、實操練習

第十章

討論與答疑

1、相關學習資料分享與拷貝（圖書推薦、在線課程推薦等）

2、建立微信群，便于后期的討論與答疑