Pyramid Vision Transformer（PVT）
Pyramid Vision Transformer（PVT）是一種深度學習模型，它結合了Transformer架構和金字塔結構，旨在將Transformer的強大能力引入計算機視覺任務中，特別是那些需要密集預測的任務，如目標檢測、語義分割等。
PVT的主要特點在于其金字塔結構的設計。與原始的Vision Transformer（ViT）相比，PVT在多個階段使用了不同尺度的特征圖，從而形成了金字塔結構。這種設計使得PVT能夠捕獲不同尺度的特征信息，提高了模型對圖像中不同大小目標的處理能力。
在每個階段，PVT首先對輸入圖像或特征進行token化（即patch embedding），然后應用Transformer的編碼器結構進行特征提取。與ViT不同的是，PVT在每個階段都使用了不同尺度的特征圖，并通過下采樣操作來逐步減小特征圖的尺寸。這種設計使得PVT能夠在保持計算復雜度的同時，提高模型的輸出分辨率，從而更好地適應密集預測任務的需求。
PVT作為YOLO主干網絡的可行性分析
- 性能優勢：PVT作為一種結合了Transformer和金字塔結構的模型，具有強大的特征提取能力和多尺度特征處理能力。這使得PVT作為YOLO的主干網絡時，能夠提供更豐富的特征信息，有助于提高目標檢測的精度和效率。特別是對于那些需要處理多尺度目標的任務，PVT的優勢更加明顯。
- 兼容性：YOLO是一種基于卷積神經網絡的目標檢測算法，而PVT雖然主要基于Transformer架構，但其金字塔結構的設計使得它仍然可以與YOLO的檢測頭進行有效地融合。通過合理的網絡結構和參數設置，可以將PVT作為YOLO的主干網絡來使用，并形成完整的目標檢測模型。
- 優化與改進：雖然PVT已經具有很好的性能表現，但在實際應用中還可以根據具體任務需求進行進一步的優化和改進。例如，可以通過調整PVT的網絡結構、深度、寬度等參數來平衡模型的性能和速度；也可以采用一些先進的優化技術（如剪枝、量化等）來減小模型的參數量和計算量，進一步提高模型的實時性和部署能力。
替換Pyramid Vision Transformer（PVT）(基于MMYOLO)
OpenMMLab 2.0 體系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注冊表都繼承自 MMEngine 中的根注冊表，允許這些 OpenMMLab 開源庫直接使用彼此已經實現的模塊。 因此用戶可以在 MMYOLO 中使用來自 MMDetection、MMClassification、MMSelfsup 的主干網絡，而無需重新實現。
假設想將'Pyramid Vision Transformer（PVT）'作為 'yolov5' 的主干網絡，則配置文件如下：
_base_ = './yolov5_s-v61_syncbn_8xb16-300e_coco.py'deepen_factor = _base_.deepen_factor
widen_factor = 1.0
channels = [128, 320, 512]
checkpoint_file = 'https://github.com/whai362/PVT/releases/download/v2/pvt_tiny.pth' #model = dict(backbone=dict(_delete_=True, # 將 _base_ 中關于 backbone 的字段刪除type='mmdet.PyramidVisionTransformer', # 使用 mmdet 中的 PyramidVisionTransformernum_layers=[2, 2, 2, 2],out_indices =(1, 2, 3), #設置PyramidVisionTransformer輸出的stage，這里設置為1,2,3，默認為(0,1,2,3)init_cfg=dict(type='Pretrained', checkpoint=checkpoint_file)),neck=dict(type='YOLOv5PAFPN',deepen_factor=deepen_factor,widen_factor=widen_factor,in_channels=channels, # 注意：PyramidVisionTransformer 輸出的3個通道是 [ 128, 320, 512]，和原先的 yolov5-s neck 不匹配，需要更改out_channels=channels),bbox_head=dict(type='YOLOv5Head',head_module=dict(type='YOLOv5HeadModule',in_channels=channels, # head 部分輸入通道也要做相應更改widen_factor=widen_factor))
)
