目標檢測:YOLO 模型詳解

目錄

一、YOLO(You Only Look Once)模型講解

YOLOv1

YOLOv2 (YOLO9000)

YOLOv3

YOLOv4

YOLOv5

YOLOv6

YOLOv7

YOLOv8

YOLOv9

YOLOv10

YOLOv11

YOLOv12

其他變體:PP-YOLO

二、YOLO 模型的 Backbone:Focus 結構

三、YOLO 模型的 Neck:FPN 和 PAN 結構

FPN(Feature Pyramid Network)

PAN(Path Aggregation Network)

四、YOLO 模型的實戰應用

安裝環境

YOLO V5 模型訓練和推理

1. 模型訓練

2. 模型推理


一、YOLO(You Only Look Once)模型講解

YOLOv1

  • 發布時間:2015 年。

  • 核心創新:首次提出將目標檢測任務轉化為回歸問題,直接從圖像像素預測邊界框和類別概率,實現端到端的實時目標檢測。這種創新性的思路使得 YOLOv1 能夠在保持較高檢測速度的同時,獲得相對較好的檢測精度。

  • 網絡架構:采用了 24 個卷積層和 2 個全連接層的結構。卷積層用于特征提取,而全連接層用于預測邊界框的位置和類別概率。

  • 損失函數:YOLOv1 設計了一個綜合損失函數,該函數同時考慮了邊界框的坐標誤差、寬度高度誤差以及類別置信度誤差,通過加權的方式將這些誤差項結合起來進行優化,以提高檢測的準確性。

  • 應用場景:適用于對實時性要求較高的場景,如實時視頻監控等,能夠在保證一定檢測精度的同時快速地對圖像中的目標進行定位和分類。

YOLOv2 (YOLO9000)

  • 發布時間:2016 年。

  • 主要改進

    • Batch Normalization:在卷積層后添加 Batch Normalization 層,加速訓練過程并提高模型的穩定性,使模型更容易優化,且在一定程度上防止過擬合。

    • High Resolution Classifier:使用高分辨率圖像進行分類訓練,使模型能夠更好地捕捉圖像中的細節信息,從而提高對小目標的檢測能力以及目標類別的識別準確性。

    • Anchor Boxes:引入預定義的邊界框(Anchor Boxes),提高邊界框預測的準確性,解決 YOLOv1 中邊界框預測不夠準確的問題。

    • Dimension Clusters:通過聚類算法生成 Anchor Boxes,使其更符合數據集中的目標分布,從而提高邊界框的匹配度和檢測性能。

  • 網絡架構:基礎網絡采用 Darknet-19,該網絡包含 19 個卷積層和 5 個最大池化層,能夠有效地提取圖像特征并減少計算量。

  • 損失函數:在 YOLOv1 的損失函數基礎上進行了改進,對邊界框的坐標誤差和寬度高度誤差的計算方式進行了調整,使其更加注重邊界框的精確度,并且對類別置信度誤差的計算也進行了優化,以提高分類的準確性。

  • 應用場景:除了實時視頻監控外,還可以應用于需要較高檢測精度的場景,如自動駕駛中的目標檢測等,能夠在保持較快檢測速度的同時提供更準確的檢測結果。

YOLOv3

  • 發布時間:2018 年。

  • 主要改進

    • Darknet-53:采用 Darknet-53 作為 Backbone 網絡,具有更深的網絡結構和更高的特征提取能力,能夠更好地捕捉圖像中的復雜特征和深層次信息,從而提高對不同類型目標的檢測性能。

    • Multi-Scale Prediction:在不同尺度的特征圖上進行預測,使模型能夠同時檢測到大中小不同尺寸的目標,有效解決了 YOLOv1 和 YOLOv2 對小目標檢測效果不佳的問題。

    • ** mieuxanchors**:優化 Anchor Boxes 的生成方式,提高邊界框預測的精度,使模型能夠更準確地定位目標的位置和大小。

  • 網絡架構:包括 Darknet-53 作為 Backbone,以及多個上采樣和下采樣層組成的 Neck 部分,最后通過三個不同尺度的特征圖進行目標檢測預測。

  • 損失函數:進一步改進了損失函數,采用了不同尺度特征圖的損失加權求和的方式,使得模型在不同尺度上的檢測結果都能夠得到有效的優化,并且對邊界框的坐標、寬度高度以及類別置信度的誤差計算都進行了精細化的設計,以提高整體檢測性能。

  • 應用場景:適用于對檢測精度要求較高的場景,如安防監控中的行人、車輛檢測以及醫療影像中的病變檢測等,能夠提供高精度的檢測結果,幫助用戶更準確地識別和定位目標。

YOLOv4

  • 發布時間:2020 年。

  • 主要改進

    • Mish Activation Function:采用 Mish 激活函數,提高模型的非線性表達能力,使模型能夠更好地擬合復雜的圖像數據分布,從而增強對不同類型目標的檢測性能。

    • CSPDarknet53:使用 CSPDarknet53 作為 Backbone 網絡,減少計算量并提高特征提取效率,通過引入跨階段部分網絡結構,有效地減少了網絡的計算冗余,同時增強了特征的傳播和利用效率。

    • SPP Block:引入空間金字塔池化(SPP)塊,增強模型對不同尺度目標的適應能力,使模型能夠更好地處理圖像中目標大小變化較大的情況,提高檢測的靈活性和準確性。

    • PANet:采用 PANet(Path Aggregation Network)進行特征融合,提高特征傳播效率,確保低層次特征圖能夠充分獲取高層次特征圖的語義信息,從而提高模型對小目標的檢測能力和多尺度目標檢測的性能。

  • 網絡架構:基于 CSPDarknet53 構建 Backbone,通過 SPP Block 進行特征增強,再利用 PANet 進行特征融合,最后在不同尺度的特征圖上進行目標檢測預測。

  • 損失函數:在前幾代 YOLO 的基礎上,對損失函數進行了進一步的優化和完善,使其能夠更好地平衡邊界框定位誤差和類別分類誤差之間的關系,并且針對不同尺度特征圖的預測結果采用了不同的損失權重,以提高模型在不同尺度上的檢測效果。

  • 應用場景:在各種需要高精度目標檢測的場景中表現出色,如智能交通中的交通標志識別、無人駕駛車輛的障礙物檢測等,能夠快速準確地識別出圖像中的目標,并為其提供精確的定位信息,為后續的決策和控制提供有力支持。

YOLOv5

  • 發布時間:2020 年。

  • 主要改進

    • Simplified Architecture:簡化了網絡結構,使其更易于訓練和部署,降低了模型的復雜度,提高了訓練和推理的效率,同時也便于用戶根據實際需求進行定制和優化。

    • AutoAnchor:自動計算 Anchor Boxes,提高邊界框預測的準確性,能夠根據訓練數據自適應地調整 Anchor Boxes 的尺寸和比例,使其更好地匹配數據集中的目標分布,從而提高檢測性能。

    • Efficient Training:優化了訓練過程,使其在相同硬件條件下能夠訓練更深的網絡,通過采用一些高效的訓練技巧和優化策略,如混合精度訓練等,提高了模型的訓練速度和收斂性能。

  • 網絡架構:整體結構相對簡潔,主要包括一個 Backbone 網絡用于特征提取、一個 Neck 部分用于特征融合以及一個 Head 部分用于目標檢測預測。Backbone 網絡采用了類似 CSPDarknet 的結構,Neck 部分則通過特征金字塔結構進行特征融合,Head 部分在不同尺度的特征圖上進行目標檢測預測。

  • 損失函數:繼承了 YOLO 系列經典的損失函數設計思路,并根據 YOLOv5 的網絡結構和特點進行了適當的調整和優化,以確保模型能夠快速穩定地收斂,并且在檢測精度和速度之間取得良好的平衡。

  • 應用場景:由于其簡潔高效的網絡結構和良好的性能表現,YOLOv5 廣泛應用于各種目標檢測任務中,如工業檢測中的產品缺陷檢測、無人機航拍圖像中的目標識別等,能夠快速準確地完成目標檢測任務,滿足不同用戶在不同場景下的需求。

YOLOv6

  • 發布時間:2022 年。

  • 主要改進

    • RepVGG 思想:借鑒 RepVGG 思想設計高效骨干網絡,通過將標準卷積和多分支結構在訓練時進行聯合學習,然后在推理時將多分支結構替換為單個卷積,從而在保持較高精度的同時顯著提高推理速度,提高模型的實際應用效率。

    • SimOTA:借鑒 YOLOX 中的 SimOTA 進行正負樣本匹配,使得正負樣本的匹配更加準確合理,提高了模型的訓練效果和檢測性能。

    • SIoU Loss:使用 SIoU Loss 更好地回歸檢測框位置,通過引入邊界框的重疊面積、中心點距離以及邊界框的長寬比等多因素綜合考量,使邊界框的回歸更加精準,提高了目標定位的準確性。

  • 網絡架構:采用了較為輕量化的骨干網絡結構,并結合高效的特征融合策略,使得整個模型在保證檢測精度的同時具有更快的推理速度,更適合在資源受限的設備上運行。

  • 損失函數:以 SIoU Loss 為核心,對邊界框回歸損失進行了優化,同時對分類損失也進行了一定的調整和改進,使模型在訓練過程中能夠更好地平衡邊界框回歸和類別分類任務,提高整體檢測性能。

  • 應用場景:適用于對模型體積和推理速度有較高要求的移動設備或嵌入式設備上的目標檢測任務,如手機端的圖像識別應用、智能攝像頭的目標檢測等,能夠在有限的計算資源下快速準確地完成目標檢測任務。

YOLOv7

  • 發布時間:2022 年。

  • 主要改進

    • 重參數化:引入重參數化技術,通過將多個卷積層和批歸一化層融合為一個等價的卷積層,有效地減少了模型的參數數量和計算量,同時提高了模型的推理速度和性能表現。

    • 動態標簽分配策略:優化了標簽分配過程,使得模型能夠更加合理地利用訓練數據中的信息,提高了模型的訓練效率和檢測精度。

  • 網絡架構:在保持 YOLO 系列模型簡潔高效的特點基礎上,通過重參數化等技術對網絡結構進行了優化,使得模型結構更加緊湊高效,同時具備較強的特征提取和檢測能力。

  • 損失函數:對損失函數進行了進一步的優化和完善,使其能夠更好地適應 YOLOv7 的網絡結構和訓練策略,并且在平衡邊界框回歸和類別分類任務方面表現出色,有助于提高模型的整體檢測性能。

  • 應用場景:廣泛應用于各種需要高效目標檢測的場景,如智能安防中的行為分析、工業生產中的自動化檢測等,能夠在保證檢測精度的前提下快速地對目標進行識別和定位,滿足實時性要求較高的應用需求。

YOLOv8

  • 發布時間:2023 年。

  • 主要改進

    • BoT(Bottleneck Transformer)注意力機制:融合 Transformer 架構中的注意力機制,增強了模型對圖像全局特征的捕捉能力,使模型能夠更好地理解圖像中目標與背景以及目標之間的相互關系,從而提高檢測精度。

    • 改進的 CSP(Cross Stage Partial)結構:進一步優化了 CSP 結構,在減少計算量的同時提高了特征提取的效率和質量,使得模型能夠更充分地利用圖像信息進行目標檢測。

    • 更高效的訓練策略:采用了一些先進的訓練技巧,如漸進式訓練等,提高了模型的訓練效率和收斂速度,縮短了模型的訓練時間。

  • 網絡架構:結合 BoT 注意力機制和改進的 CSP 結構,構建了一個更加高效、強大的目標檢測模型。其整體結構仍然延續了 YOLO 系列的風格,包括 Backbone、Neck 和 Head 三個主要部分,通過合理的設計和優化,使得模型在檢測精度和速度方面都取得了顯著提升。

  • 損失函數:繼承并優化了 YOLO 系列的損失函數設計,在處理邊界框回歸和類別分類任務時更加得心應手,能夠有效地引導模型朝著正確的方向進行學習和優化,提高檢測結果的質量。

  • 應用場景:除了常見的目標檢測任務外,YOLOv8 還在一些對檢測精度和速度要求極高的特定領域表現出色,如醫療影像中的細胞檢測、航空航天領域的目標識別等,為相關領域的研究和應用提供了有力的技術支持。

YOLOv9

  • 發布時間:2024 年 2 月。

  • 主要改進

    • 可編程梯度信息(PGI):通過引入可編程梯度信息,能夠更精準地控制模型訓練過程中的梯度更新方向和大小,提高模型的訓練效率和穩定性,加速模型的收斂過程。

    • 廣義高效層聚合網絡(GELAN):提出了一種新的特征融合網絡結構,能夠更加高效地聚合不同層次的特征信息,充分發揮多尺度特征的優勢,提高模型對不同類型和尺度目標的檢測能力。

  • 網絡架構:以 PGI 和 GELAN 為核心,構建了一個具有創新性的目標檢測模型。該架構在保持 YOLO 系列高效性的同時,通過新穎的特征融合和梯度控制機制,進一步提升了模型的性能和適用性。

  • 損失函數:根據 YOLOv9 的特點和改進點,對損失函數進行了相應的優化和調整,使其能夠更好地配合 PGI 和 GELAN 的工作,充分挖掘模型的潛力,提高檢測精度和速度。

  • 應用場景:適用于各種復雜場景下的目標檢測任務,尤其是在目標尺度變化大、背景復雜的情況下,能夠發揮其優越的性能,如野生動物保護中的動物監測、智能物流中的物品識別等,為解決實際應用中的難題提供了有效的技術手段。

YOLOv10

  • 發布時間:2024 年 5 月。

  • 主要改進:由清華大學提出,通過引入端到端頭,消除了非最大抑制(NMS)要求,實現了實時目標檢測的進步。這一改進使得 YOLOv10 能夠在保持高精度的同時,進一步提高檢測速度和效率,簡化了檢測流程。

  • 網絡架構:采用了先進的網絡設計,將端到端的檢測思想貫徹到底,通過創新的網絡結構和算法優化,實現了對目標的直接檢測,無需后續的 NMS 處理,提高了整個檢測流程的連貫性和實時性。

  • 損失函數:針對端到端的檢測框架,設計了與之匹配的損失函數,能夠更好地引導模型學習到準確的目標檢測能力,提高檢測結果的可靠性和穩定性。

  • 應用場景:在需要實時性極高且檢測精度要求不降低的場景中具有很大的應用潛力,如實時的體育賽事分析、智能交通系統的實時目標監測等,能夠快速準確地捕捉到目標信息,為相關決策提供及時準確的數據支持。

YOLOv11

  • 發布時間:2024 年 9 月。

  • 主要改進:繼承自 YOLOv8,在同等精度下參數量降低 20%,具有出色的性能和靈活性,適用于各種硬件平臺。這使得 YOLOv11 能夠在資源受限的設備上運行得更加流暢,同時保持較高的檢測精度。

  • 網絡架構:基于 YOLOv8 的架構進行了優化和精簡,在不損失關鍵檢測能力的前提下減少了模型的參數數量和計算量,使得模型更加輕量化和高效。

  • 損失函數:沿用并優化了 YOLOv8 的損失函數,使其更加適應 YOLOv11 的網絡結構和應用場景,確保模型在不同硬件平臺上都能夠穩定地發揮其性能,提供準確的檢測結果。

  • 應用場景:廣泛適用于各種硬件設備上的目標檢測任務,無論是高性能的服務器端應用還是資源受限的移動設備端應用,YOLOv11 都能夠以良好的性能表現完成目標檢測任務,如移動設備上的增強現實應用、服務器端的大規模圖像識別服務等。

YOLOv12

  • 發布時間:2025 年 2 月。

  • 主要改進:首次將注意力機制引入單階段目標檢測框架,在速度和性能上取得新的突破,為單階段目標檢測領域開辟了新的方向。這一創新使得 YOLOv12 能夠更加關注圖像中重要的目標區域,減少背景信息的干擾,提高檢測精度。

  • 網絡架構:將注意力機制深度融合到 YOLO 的單階段檢測框架中,通過在不同層次的特征圖上應用注意力模塊,使得模型能夠自動學習到圖像中不同區域的重要性程度,并據此調整特征提取和檢測的策略。

  • 損失函數:結合注意力機制的特點,對損失函數進行了相應的調整和優化,使其能夠更好地引導模型關注重要目標區域的檢測任務,進一步提高檢測性能。

  • 應用場景:對于需要高精度檢測且目標與背景差異不明顯的復雜場景,如醫學影像中的病變檢測、遙感圖像中的目標識別等,YOLOv12 能夠發揮其獨特的優勢,提供更精準的檢測結果,助力相關領域的研究和應用發展。

其他變體:PP-YOLO

  • 發布時間:由 PaddlePaddle 團隊開發并持續更新。

  • 主要改進:PP-YOLO 系列通過深度結合 PaddlePaddle 深度學習平臺的特性,對網絡結構、訓練策略以及優化方法等方面進行了全面優化。例如,在網絡結構上進行了剪枝和量化等操作,以適應不同硬件平臺的部署需求;在訓練策略上采用了更先進的數據增強和正則化方法,提高模型的泛化能力。

  • 網絡架構:PP-YOLO 的架構在借鑒 YOLO 系列經典設計的基礎上,根據 PaddlePaddle 的平臺優勢進行了定制化開發,使其在 PaddlePaddle 生態系統中能夠高效運行,并且易于與其他 PaddlePaddle 工具和組件進行集成。

  • 損失函數:根據 PP-YOLO 的具體改進點和應用場景,設計了與之相匹配的損失函數,充分利用 PaddlePaddle 的優化能力,提高模型的訓練效率和檢測性能。

  • 應用場景:緊密圍繞 PaddlePaddle 的用戶群體和應用場景,廣泛應用于智能安防、智能交通、工業質檢等領域,尤其在國產化 AI 生態建設和行業定制化解決方案方面發揮著重要作用,為國內企業和開發者提供了高效易用的目標檢測工具。

二、YOLO 模型的 Backbone:Focus 結構

Focus 結構是 YOLO V4 中引入的一種新型 Backbone 結構,旨在提高特征提取效率。它通過將圖像分割成多個 patches 并進行堆疊,實現對圖像的高效特征提取。Focus 結構的具體操作如下:

  1. 圖像分割:將圖像分割成多個非重疊的 patches。

  2. 通道堆疊:將這些 patches 在通道維度上進行堆疊,形成一個新的特征圖。

  3. 卷積操作:對堆疊后的特征圖進行卷積操作,提取高級特征。

這種結構能夠在不增加過多計算量的情況下,提取到更豐富的特征信息。

三、YOLO 模型的 Neck:FPN 和 PAN 結構

FPN(Feature Pyramid Network)

FPN 是一種用于多尺度目標檢測的特征金字塔結構。它通過將不同層次的特征圖進行融合,能夠有效檢測不同大小的目標。FPN 的主要特點包括:

  1. 自底向上構建特征金字塔:通過卷積層和池化層逐步提取圖像的高層次特征。

  2. 自頂向下融合多尺度特征:將高層次特征圖上采樣并與低層次特征圖進行融合,增強低層次特征圖的語義信息。

  3. 側向連接:在融合過程中,使用側向連接來結合不同層次的特征圖。

FPN 的引入顯著提高了 YOLO 模型對不同尺度目標的檢測能力。

PAN(Path Aggregation Network)

PAN 是另一種用于特征融合的結構,旨在提高特征傳播效率。它通過自底向上的路徑聚合低層次特征圖的高分辨率信息,增強模型對小目標的檢測能力。PAN 的主要特點包括:

  1. 自底向上特征傳播:將低層次特征圖的高分辨率信息傳播到高層次特征圖中。

  2. 多尺度特征融合:結合不同尺度的特征圖,提高模型對多尺度目標的檢測能力。

PAN 結構在 YOLO V4 中與 FPN 結合使用,進一步提升了模型的檢測性能。

四、YOLO 模型的實戰應用

安裝環境

在開始實戰之前,確保已經安裝了以下 Python 庫:

pip install torch torchvision

YOLO V5 模型訓練和推理

以下是使用 YOLO V5 進行目標檢測的示例代碼:

1. 模型訓練
import torch# 加載預訓練模型
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)# 設置訓練參數
model.train(data='data.yaml', epochs=100, imgsz=640)
2. 模型推理
# 加載訓練好的模型
model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt')# 推理圖像
results = model('image.jpg')# 顯示結果
results.show()

YOLO 模型憑借其高效的端到端檢測能力,在實時目標檢測領域取得了顯著的成果。從 YOLO V1 到 YOLO V5,每個版本都在不斷地改進和優化,以提高檢測精度和速度。希望這篇博客能夠幫助你深入理解 YOLO 模型的原理和實現,為進一步探索目標檢測技術提供堅實的基礎。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/81849.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/81849.shtml
英文地址,請注明出處:http://en.pswp.cn/web/81849.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

開源 FcDesigner 表單設計器組件事件詳解

FcDesigner 是一款基于Vue的開源低代碼可視化表單設計器工具,通過數據驅動表單渲染。可以通過拖拽的方式快速創建表單,提高開發者對表單的開發效率,節省開發者的時間。并廣泛應用于在政務系統、OA系統、ERP系統、電商系統、流程管理等領域。 …

關于 smali:2. 從 Java 到 Smali 的映射

一、對照 Java 代碼與 Smali 代碼差異 1.1 方法調用差異:Java vs Smali Java 方法分類: 方法類型Java 示例Smali 指令特點說明靜態方法Utils.print("hi")invoke-static沒有 this 指針實例方法obj.show()invoke-virtual有 this,虛…

2025年05月29日Github流行趨勢

項目名稱:agenticSeek 項目地址url:https://github.com/Fosowl/agenticSeek項目語言:Python歷史star數:11898今日star數:2379項目維護者:Fosowl, steveh8758, klimentij, ganeshnikhil, apps/copilot-pull-…

Dubbo高頻面試題

引言 作為分布式服務框架的標桿,Dubbo憑借其高性能RPC通信、靈活的服務治理能力和豐富的容錯機制,成為Java技術棧中微服務領域的核心考點。本文系統梳理Dubbo高頻面試核心知識點,涵蓋容錯策略、負載均衡、注冊中心原理、服務上下線感知等關鍵…

氮氣吹掃電磁閥

一、氮氣吹掃電磁閥的概述 氮氣吹掃電磁閥是一種重要的工業自動控制設備,用于對工業設備中出現的雜質和沉淀物進行清理,以保證生產線的暢通和生產效率的穩定。其作用是在需要吹掃清洗的工業設備中,通過控制氣源的氣壓,打開電磁閥…

網絡安全的守護者:iVX 如何構建全方位防護體系

一、安全技術的三大趨勢 在數字化時代,網絡安全面臨著前所未有的挑戰。隨著企業級應用的普及,安全技術也在不斷演進。目前,安全技術架構的發展呈現出三大趨勢: 零信任架構的崛起:傳統的網絡安全依賴于邊界防護&#…

微軟云如何申請使用

微軟云(Azure)新手“開荒”指南:5步搞定賬戶,直達云端! 還在為云計算的復雜門檻發愁嗎?別擔心!當全球83%的企業都在加速“上云”,微軟智能云Azure憑借其在全球34個區域、200服務的龐…

magic-api配置Git插件教程

一、配置gitee.com 1,生成rsa密鑰,在你的電腦右鍵使用管理員身份運行(命令提示符),執行下面命令 ssh-keygen -t rsa -b 2048 -m PEM一直按回車鍵,不需要輸入內容 找到 你電腦中的~/.ssh/id_rsa.pub 文件…

ojs導入顯示空白頁錯誤信息

ojs技術支持:ojs.net.cn error: Uncaught Error: Call to a member function getData() on null in /var/www/html/ojs3/classes/search/ArticleSearchIndex.inc.php:38 Stack trace: #0 /var/www/html/ojs3/plugins/importexport/esci/filter/esciXmlArticleFilter.inc.php(…

【ConvLSTM第一期】ConvLSTM原理

目錄 🧠 一、ConvLSTM 原理詳解1.1 背景1.2 ConvLSTM 的結構 參考 ConvLSTM(Convolutional Long Short-Term Memory)是一種結合了卷積神經網絡(CNN)與循環神經網絡(RNN)中 LSTM(長短…

4.8.1 利用Spark SQL實現詞頻統計

在利用Spark SQL實現詞頻統計的實戰中,首先需要準備單詞文件并上傳至HDFS。接著,可以通過交互式方法或創建Spark項目來實現詞頻統計。交互式方法包括讀取文本文件生成數據集,扁平化映射得到新數據集,然后將數據集轉成數據幀&#…

Linux相關概念和易錯知識點(41)(UDP、TCP報頭結構)

目錄 1.UDP(1)傳輸層(2)UDP報頭(3)緩沖區和sk_buff①緩沖區②sk_buff 2.TCP(1)發送和接受緩沖區(2)報頭結構①按序到達②可靠傳輸③流量控制④緊急指針 1.UDP…

光譜相機在生態修復監測中的應用

光譜相機通過多維光譜數據采集與智能分析技術,在生態修復監測中構建起?“感知-評估-驗證”?的全周期管理體系,其核心應用方向如下: 一、土壤修復效能量化評估 ?重金屬污染動態監測? 通過短波紅外(1000-2500nm)波…

[網頁五子棋]項目介紹以及websocket的消息推送(輪詢操作)、報文格式和握手過程(建立連接過程)

文章目錄 項目背景核心技術創建項目WebSocket消息推送輪詢操作 報文格式握手過程(建立連接過程) 項目背景 用戶模塊 用戶的注冊和登錄管理用戶的天梯分數,比賽場數,獲勝場數等信息 匹配模塊 依據用戶的天梯積分,來實現匹配機制 對戰模塊 把兩…

時序模型介紹

一.整體介紹 1.單變量 vs 多變量時序數據 單變量就是只根據時間預測,多變量還要考慮用戶 2.為什么不能用機器學習預測: a.時間不是影響標簽的關鍵因素 b.時間與標簽之間的聯系過于弱/過于復雜,因此時序模型依賴于時間與時間的相關性來進行預…

尚硅谷redis7 86 redis集群分片之3主3從集群搭建

86 redis集群分片之3主集群搭建 3主3從redis集群配置 找3臺真實虛擬機,各自新建 m?dir -p /myredis/cluster 新建6個獨立的redis實例服務 IP:192.168.111.175端口6381/端口6382 vim /myredis/cluster/redisCluster6381.conf bind 0.0.0.0 daemonize yes protected-mode no …

Python服務器請求轉發服務

前言: 服務器無法連接外網 配置步驟 準備python腳本服務器內下載python 示例 1.下載python創建虛擬環境以及配置 -- 磁盤空間 df -h -- 下載apt sudo yum install apt -y-- 下載python pip sudo apt install python3 python3-pip python3-venv -y-- 測試查看 …

02.K8S核心概念

服務的分類 有狀態服務:會對本地環境產生依賴,例如需要把數據存儲到本地磁盤,如mysql、redis; 無狀態服務:不會對本地環境產生任何依賴,例如不會存儲數據到本地磁盤,如nginx、apache&#xff…

Java八股-Java優缺點,跨平臺,jdk、jre、jvm關系,解釋和編譯

java優勢劣勢? 優勢:面向對象,平臺無關,垃圾回收,強大的生態系統 劣勢:運行速度慢(相比于c和rust這樣的原生編譯語言會比較慢),語法繁瑣(相比于python&…

Attention Is All You Need論文閱讀筆記

Attention is All You Need是如今機器學習研究者必讀的論文,該文章提出的Transformer架構是如今很多機器學習項目的基礎,說該文章極大推動了機器學習領域的研究也不為過。 但這么重要,也是必讀的文章對初學者來說其實并不友好,很多…