Task： GPU訓練及類的call方法
1.CPU性能的查看：看架構代際、核心數、線程數
2.GPU性能的查看：看顯存、看級別、看架構代際
3.GPU訓練的方法：數據和模型移動到GPU device上
4.類的call方法：為什么定義前向傳播時可以直接寫作self.fc1(x)
1. CPU 性能的查看：看架構代際、核心數、線程數
- 架構代際： 架構代際代表了 CPU 的設計和技術水平。一般來說，架構代際越新，性能越好，能效比越高。新的架構通常會帶來指令集優化、緩存改進、功耗控制等方面的提升。
- 核心數： 核心數是指 CPU 中實際處理數據的獨立處理單元的數量。核心數越多，CPU 并行處理能力越強，可以同時執行更多的任務。
- 線程數： 線程數是指 CPU 可以同時執行的線程數量。通常，每個核心可以支持一個或多個線程（例如，通過超線程技術）。線程數越多，CPU 的并發處理能力越強。
總結： 評估 CPU 性能時，需要綜合考慮架構代際、核心數和線程數。新的架構代際通常意味著更好的性能，而更多的核心和線程數則可以提高并行處理能力。
2. GPU 性能的查看：看顯存、看級別、看架構代際
- 顯存 (VRAM)： 顯存是 GPU 專用的內存，用于存儲紋理、模型、幀緩沖區等數據。顯存越大，GPU 可以處理更復雜的場景和更大的數據集。對于深度學習來說，顯存的大小直接決定了你可以訓練的模型的大小和 batch size。
- 級別： GPU 的級別通常指的是其性能等級，例如高端、中端、低端。不同級別的 GPU 在計算能力、顯存帶寬、功耗等方面都有差異。
- 架構代際： 類似于 CPU，GPU 的架構代際也代表了其設計和技術水平。新的架構通常會帶來計算單元的改進、內存帶寬的提升、以及對新技術的支持（例如，Tensor Cores）。
總結： 評估 GPU 性能時，需要考慮顯存大小、性能級別和架構代際。顯存決定了可以處理的數據量，級別決定了整體性能，而架構代際則影響了效率和對新技術的支持。
3. GPU 訓練的方法：數據和模型移動到 GPU device 上
在 PyTorch 或 TensorFlow 等深度學習框架中，要利用 GPU 進行訓練，需要將模型和數據都移動到 GPU 設備上。
-
模型移動到 GPU：
import torch# 檢查是否有可用的 GPU device = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 創建模型實例 model = YourModel()# 將模型移動到 GPU model.to(device) -
數據移動到 GPU：
# 假設 data 和 labels 是你的數據和標簽 data = data.to(device) labels = labels.to(device)
重要提示：
- 確保你的 CUDA 和 cuDNN 已經正確安裝和配置。
- 在訓練循環中，每次迭代都需要將數據移動到 GPU 上。
- 如果你的數據集太大，無法一次性加載到 GPU 顯存中，可以使用數據加載器 (DataLoader) 來分批加載數據。
4. 類的 __call__ 方法：為什么定義前向傳播時可以直接寫作 self.fc1(x)
在 Python 中，__call__ 是一個特殊方法（也稱為魔術方法或雙下劃線方法）。當一個對象被“調用”時（就像調用一個函數一樣），Python 解釋器會自動調用該對象的 __call__ 方法。
示例：
class MyClass:def __init__(self, name):self.name = namedef __call__(self, x):print(f"Hello, {self.name}! You passed in: {x}")return x * 2# 創建 MyClass 的實例
obj = MyClass("Alice")# 調用對象 obj，實際上是調用了 obj.__call__(5)
result = obj(5) # 輸出: Hello, Alice! You passed in: 5
print(result) # 輸出: 10
在神經網絡中的應用：
在 PyTorch 的 nn.Module 類中，__call__ 方法被重寫了。當你定義一個神經網絡層（例如 nn.Linear）時，實際上創建了一個 nn.Module 的子類的實例。當你調用這個實例時，例如 self.fc1(x)，PyTorch 會自動調用該層的 forward 方法。
簡化理解：
self.fc1(x) 實際上是 self.fc1.__call__(x) 的簡寫，而 self.fc1.__call__(x) 內部會調用 self.fc1.forward(x)。
為什么這樣做？
- 封裝性：
__call__方法隱藏了底層的forward方法，使得代碼更簡潔易懂。 - 靈活性：
__call__方法允許在調用forward方法之前或之后執行一些額外的操作，例如注冊鉤子函數、進行性能分析等。 - PyTorch 的設計理念： PyTorch 旨在提供一個靈活且易于使用的深度學習框架，
__call__方法的使用符合這一設計理念。
總結：
__call__ 方法使得你可以像調用函數一樣調用對象，從而簡化了神經網絡層的調用方式。當你寫 self.fc1(x) 時，實際上是在調用 self.fc1 對象的 __call__ 方法，而該方法內部會調用 self.fc1.forward(x) 來執行前向傳播。
