通信技術以及5G和AI保障電網安全與網絡安全

摘 要:電網安全是電力的基礎,隨著智能電網的快速發展,越來越多的ICT信息通信技術被應用到電力網絡。本文分析了歷史上一些重大電網安全與網絡安全事故,介紹了電網安全與網絡安全、通信技術與電網安全的關系以及相應的電網安全標準,分享了中國國家電網公司保障電網安全的相關措施和成功經驗,并對5G、AI等新技術在電網安全和網絡安全方面的創新和應用做了分析和展望。

關鍵詞:電網安全;網絡安全;5G;人工智能

引言

從1882年世界首個發電廠建設開始,電網已經有一百多年的歷史,成為人們生產和生活的重要基礎設施。電網從其誕生初始就與安全緊密相關。而隨著智能電網的快速發展,越來越多的通信技術被引入到電力系統,極大地提升了電網的運營效率。但新技術在給電網帶來高效便捷的同時是否也帶來潛在的安全隱患,成為電力公司關注的焦點。有必要分析清楚電網安全與網絡安全、通信設備與電網安全的關系。5G和AI作為通信領域的新技術正在引起各行業的廣泛關注,他們能給電網安全和網絡安全帶來哪些創新也是電力行業的熱點話題。這里的電網安全和網絡安全在英文是不同的詞,電網安全是Safety,體現為非主動無意識的事故。而網絡安全是Security,意指人為策劃的有意識的事故。

電網安全事故

電網安全事故多種多樣,包括自然災害如雷電、暴風雨、積雪導致輸電線路故障和設備損環,人員操作不當導致各種停電事故,交通事故導致電線桿、輸電線纜的破壞,設備老化導致系統故障等。下表是2003年以來全球發生的重大電力事故,多數是自然災害和一次設備故障造成。

W020190225541618149843.jpg

國際大電網組織CIGRE(法語International Council for Large Electric Systems縮寫)曾對歷史上70次大停電原因進行統計,其中火災、暴風雨等占比35%,一次設備故障占比29%,保護誤動占比18%,其它故障包括人為錯誤占比18%。總體來看,網絡安全或者通信設備故障導致大停電事故的情況較少。

網絡安全事故

網絡安全是利用網絡的安全漏洞對電網進行攻擊,最有名的電網網絡安全事故有兩起,一個是烏克蘭電網黑客攻擊事件,另一個是伊朗核電站震網(Stuxnet)事件。

烏克蘭電網黑客攻擊發生在2015年12月23日。烏克蘭一個區域配電公司的SCADA(Supervisory Control And Data Acquisition)信息采集和控制系統被黑客控制,導致7個110KV變電站和23個35KV變電站關閉,造成22.5萬用戶停電3小時。黑客對這次攻擊進行了精心準備,在攻擊前6個月就通過釣魚郵件將蠕蟲病毒軟件植入烏克蘭電力公司的IT辦公系統,再通過仿造操作帳號和密碼、結合VPN等進入電力運營網絡獲得電力系統控制權限,同時修改了一些PLC(Programmable Logic Control)可編程邏輯設備的編碼阻止設備自動恢復,還攻擊了電力電話系統,影響客戶報障和電話通信,延緩運維人員獲得事故信息手動恢復。

伊朗核電站震網事件發生在2006年至2010年。伊朗生產濃縮鈾的離心機經常出現異常加速導致極高故障率,最終發現是遭遇了惡意軟件攻擊。由于伊朗核設施網絡與互聯網物理隔離,所以傳統遠程植入病毒方式無法攻擊,目前推測是美國和以色列特工利用U盤植入病毒到控制系統電腦。情報專家利用了windows操作系統的2個漏洞和西門子核電站設備控制系統軟件的7個漏洞編寫了震網攻擊軟件,通過修改程序命令,讓生產濃縮鈾的離心機異常加速,超越設計極限導致離心機報廢,而在運維告警系統中又一切顯示正常,致使該軟件攻擊持續多年未被發現。

從上述事件可以看出,電網需要有嚴格的網絡安全防護措施。否則就會被網絡軟件攻擊帶來電網安全問題。因此,電網標準組織發布了系列標準來保證電網安全和網絡安全。

電網安全與網絡安全相關標準

電網安全的標準主要有IEC 61508和IEC 61511,他們的目的是保障相關系統的安全運行以及其他降低風險的措施,如安全儀表系統、報警系統和基本過程控制系統。IEC 61508的名稱是《電氣/電子/可編程電子安全相關系統的功能安全》,其目的是建立一個可應用于工業領域的基本功能安全標準。IEC 61511是過程工業領域安全儀表系統的功能安全標準,關注過程控制,涵蓋整個安全生命周期中安全儀表系統的設計和管理要求。IEC 61508和IEC 61511對應中國的國標分別為GB/T 20438和GB/T 21109。

目前這兩個標準對通信設備的要求有兩種方式,一種是全部通信通道按照IEC 61508和IEC 61784-3或IEC 62280標準要求進行設計實現的,被稱為“白色通道”。另一種是部分通信通道未按照IEC 61508要求進行設計或確認,被稱為“黑色通道”。在這種情況下,需要在安全相關子系統或組件中實施必要措施。

通信設備在多數場景下屬于“黑色通道”,需要與兩端的設備一起保證功能安全。比如繼電保護設備通過IEC 60834-1標準在通信報文上加時間戳、限制最大信息傳輸時間,以及應對通信誤碼、抖動、延時等采取相應可靠性處理措施。而IEC 62351標準定義了“電力系統管理和相關信息交換 - 數據和通信安全”,并考慮智能電網的通信安全,包括安全訪問控制、密鑰管理和安全體系結構。通過對通信報文進行加密,可以規避通信設備從中間截獲報文,即使通信設備被網絡攻擊,兩端的設備在應用層仍能保障通信控制信息不會被篡改,從而保障電網安全。

多種通信技術保障電網安全

目前通信技術在電網應用中與安全相關的主要有繼電保護(Teleprotection)、電網SCADA信息采集和控制系統、數字電表AMI(Advanced Metering Infrastructure)等。

過去輸電系統使用較多的是SDH傳輸設備,通過滿足IEC 61850要求的各種接口如C37.94、E1、X.21、RS232/485等與繼電保護裝置相連,中間對相關的信號進行透傳。隨著數據量的增大,現在越來越多地使用波分設備,即在同一根光纖里傳輸多個波長,能夠傳送更多的數據,這些原則上都屬于管道設備,即按照OSI協議分層原理,設備只能做管道交換,將數據流送到不同的接口。設備沒有處理器去識別和終截管道中的數據,不具有數據處理能力,即使設備被黑客攻擊,也無法修改數據內容或者植入命令,操控遠端設備帶來安全隱患,因此這些通信管道的網絡安全影響相對要低。

隨著大量視頻監控的應用以及多業務融合通信的部署,IP設備的應用越來越多,而IP設備據有一定的數據報文處理能力,同時也會帶來報文的亂序、丟包、時延不一致等問題,因此安全標準也根據IP特點不斷改進和提升。不管是用傳輸還是IP,兩端設備都會基于不可信的“黑色管道”在其上構建通信層和應用層的安全保護機制來保障網絡安全。

在配電網絡,也有用PON(Passive Optical Network)設備通過手拉手保護來實現主機與遠端模塊RTU(Remote Terminal Unit)的通信。在沒有光纖或者部署光纖困難的情況下,可以采用微波或者eLTE無線方式進行通信。微波適合長距離點對點的傳輸,而eLTE更適合點對多點或者構建一個局域網絡通信系統。

繼電保護和SCADA的數據傳輸遵循IEC 60870通信標準,通過部署工業網關實現訪問控制、數據加密、入侵檢測等防護功能,并通過制定白名單策略,對傳輸數據進行過濾與管控,阻止互聯網非法訪問和惡意攻擊,防止數據在傳輸過程中被惡意篡改、破壞或竊取。

在AMI數字電表中,涉及電表數據的防篡改和用戶隱私的保護,目前的通信技術有基于電力載波PLC-IoT的有線通信和基于eLTE-IoT的無線通信等。數據傳輸和管理遵循IEC 62056通信標準,通過采用互聯網安全協議(IPSec)、安全套接字層(SSL)、虛擬專網(VPN)、安全外殼(SSH)等安全協議,保障數據傳輸的安全。

技術發展提升網絡安全

通信產品的開發設計需要不斷發展以滿足網絡安全的要求,比如PCB電路板過去為了生產測試方便都有JTEG(Joint Test Action Group)測試頭,但這會給黑客破解和反編譯單板軟件提供方便必須去掉。主控板為了配置調試都有本地串口、以太網口、USB口等,這在室外應用場景時,容易給黑客提供接入網絡的通道,因此這些接口的設計需要具備遠程關閉能力,只保留帶內管理通道。包括設備輔助調試用的Wi-Fi、藍牙等功能均要能遠程關閉。

而設備間的管理通信也需要采用具有加密功能的協議,比如用SNMP V3而不是V1/V2的設備管理協議,用SSH而不是Telnet進行遠程訪問控制等,對于不用的UDP端口都要關閉。設備管理的帳號和密碼采用獨立的AAA(Authentication, Authorization, Acing)服務器認證,支持加密存貯和傳輸等。

采用微波、eLTE等無線技術需要進行空口加密,防止黑客在中間對信號進行截獲破解。普遍采用的密鑰長度是128位,目前的超級計算還無法破解。當然未來量子計算出來有可能需要256位密鑰。

另外,電網的安全保護有著多道防線,通信設備本身會有雙電源、雙主控、雙接口等設備級保護,而通信系統還會有環網或鏈路保護,當一條通信鏈路故障時,會自動倒換到另一條鏈路上。此外,電力系統除了遠程通信保護外,還有本地保護裝置,包括電流、電壓、距離保護以及差動保護等。在極端情況下,即使所有電子設備都不可控,還可以切到手動操作保障電網安全。

國家電網公司成功經驗和措施

中國國家電網公司SGCC(State Grid Corporation of China)作為全球最大的電力企業在電網安全方面積累了豐富經驗。通過發布《電力監控系統安全防護規定》等法令與標準,指導建立“安全分區、網絡專用、橫向隔離、縱向認證”的安全防護體系。

安全分區:根據系統中的業務重要性和對一次系統的影響程度進行分區防護,整個二次系統分為實時控制區、非控制業務區、生產管理區、管理信息區四個安全工作區,重點保護生產和控制系統。

網絡專用:電力調度數據網應當在專用通道上使用獨立的網絡設備組網,在物理層面上實現與電力企業其它數據網及外部公用數據網的安全隔離。

橫向隔離:橫向隔離是電力二次系統安全防護體系的橫向防線,采用不同強度的安全設備隔離各安全區。在生產控制大區與管理信息大區之間必須設置經國家指定部門檢測認證的電力專用橫向單向安全隔離裝置。生產控制大區內部的安全區之間應當采用具有訪問控制功能的設備、防火墻或者相當功能的設施,實現邏輯隔離。

縱向認證:縱向加密認證是電力二次系統安全防護體系的縱向防線,采用認證、加密、訪問控制等技術實現數據的安全傳輸以及縱向邊界的安全防護。在生產控制大區與廣域網的縱向聯接處應當設置經過國家指定部門檢測認證的電力專用縱向加密認證裝置或者加密認證網關及相應設施。

按照上述規范建立的電力二次系統的安全防護體系,可以有效防范黑客及惡意軟件等對電力二次系統包括電力調度自動化系統和調度數據網等的攻擊侵害,保障生產控制大區安全及電力系統安全穩定運行。

在電網智能化及“互聯網+”新形式下,智能電網、互聯網、物聯網等相互融合,用戶與各類用電設備廣泛交互,與電網雙向互動,電網安全風險增加。因此“十三五”期間,國家電網公司網絡安全的目標是實現 “可管可控、精準防護、可視可信、智能防御”的電網安全防御體系。

可管可控:健全網絡安全管理與內控治理體系,落實網絡安全職責,構建生命周期安全管理與內控治理體系,實現全過程各環節可管可控。

精準防護:深入結合發、輸、變、配、用、調及經營管理等環節業務特點,緊跟大數據、云、物聯網、移動等新技術應用,動態優化防護體系,深入開展新業務新技術安全防護,實現業務差異化、精準化防護。

可視可信:利用視頻、物聯網、人工智能等新技術,全面提升信息安全基礎設施實時態勢感知能力和智能可信水平,實現網絡、主機、終端、應用及數據等各環節安全威脅全景可視。

智能防御:利用大數據、人工智能等創新技術,實現安全威脅智能預防和自動發現,提高監測、防御、處置、預警等能力,構建態勢感知、協同聯動、快速響應的智能防御管理體系。

中國國家電網公司在通信技術的應用和電網數字化改造方面走在了世界的前列,35KV以上輸電地線均已支持OPGW(Optical Ground Wire)光纖化改造,在輸電和配電網絡中大量部署傳輸、IP、PON、eLTE等現代通信技術,電表的數字化率超過99%,處于世界領先水平。中國國家電網公司的實踐表明,通過前瞻性的網絡安全頂層設計,配合嚴格的網絡安全標準規范和分區分級、立體縱深的網絡安全防護措施,結合現代通信和泛在電力物聯網技術,打造堅強智能電網,保障電網的安全穩定運行。

5G與網絡安全

5G作為新一代通信技術正在成為各行業關注熱點,目前第一階段主要是eMBB(Enhanced Mobile broadband)增強型移動寬帶的應用,下一步uRLLC(Ultra Reliable and Low Latency Communications)超高可靠低時延通信和mMTC(Massive Machine Type Communications)海量物聯網將滿足更多的工業應用需求,在保障網絡安全方面也有著更多的設計考慮。

5G網絡安全的頂層設計普遍采用NIST(National Institute of Standards and Technology)推薦的IPDRR(Identify Protect Detect Response Recover)方法論,即識別、保護、檢測、響應、恢復五個方面。識別是整個框架的基礎,實現對系統、資產、數據和能力的網絡安全風險的評估,如資產管理、風險評估等;保護是限制或抑制網絡安全事件的潛在影響,包括身份管理和訪問控制、數據安全、維護保護技術等;檢測可以及時發現網絡安全事件,如異常事件、安全持續監測等;響應用于遏制潛在網絡安全事件的影響,并進行根因分析、緩解損失等;恢復即快速恢復正常操作以減輕網絡安全事件的影響。

5G定義了管理面、控制面、用戶面三面嚴格分離,不能互相訪問。各功能模塊間使用HTTPS(Hyper Text Transfer Protocol Secure)協議保護傳遞信息安全,通過TLS(Transport Layer Security)對傳輸數據進行加密、完整性保護,采用TLS雙向身份認證防止假冒設備接入網絡。5G的網絡切片功能可以對不同的業務提供不同的資源,結合超高可靠低時延處理可以為業務配置不同的服務質量,通過資源有效隔離和多重安全措施協同,削減各切片網絡間相互影響,以應對非法訪問和越權管理。

在空口加密的密鑰管理上,5G提供了256位密鑰選項,相對于128位密鑰,其破解復雜度相當于從秒級提升至百億年級,可以應對未來量子計算的破解能力。另外在用戶認證上,5G引入了用戶永久標識符SUPI(Subscriber Permanent Identifier)和用戶隱藏標識符SUCI(Subscriber Concealed Identifier)的概念,并用加密傳送的方式規避原先4G在認證前明文傳送設備標識IMSI(International Mobile Subscriber Identity)的安全隱患。針對DNS(Domain name system)域名地址解析的攻擊,5G增加了用戶面完整性保護,防止中間篡改報文接入到惡意DNS服務器。

在海量物聯網應用場景中,針對IoT設備被劫持在空口發起DDOS攻擊耗盡網絡資源的情況,5G定義了基于流量控制機制來規避空口DDoS風險。另外,5G針對安全證書失效問題的管理也從靜態升級為動態,安全策略隨網元生命周期自動編排,縮短安全防護失效時間。5G技術未來必將在電網安全中發揮出重大作用。

AI與電網安全

隨著物聯網、大數據、云計算的快速發展,人工智能就有了學習、分析、預測的基礎。現在人工智能已經在語言識別、圖像處理、自動駕駛、智慧家庭、智能醫療等領域開始應用。在電網安全領域,人工智能可以在設備主動運維、操作規范檢測、網絡安全防護方面發揮出重要作用。

過去設備的運維往往是被動響應,等設備出現告警或者出了問題后才去維護,此時往往已經出現業務中斷或者產生設備故障,而采用人工智能技術,通過歷史數據分析對比,可以變被動響應為主動運維,提前發現問題。比如光纖連接可以通過歷史數據的學習,利用人工智能主動學習光連接器信號衰減曲線,在出現問題前主動維護。設備運維也可以通過電流、電壓、電感或者運轉噪聲等歷史數據分析和學習,通過細微數據變化提前預測潛在的故障風險。還有現在電力巡檢已經采用無人機和機器人進行視頻和照片的拍攝,但靠人眼去分析圖片和視頻的效率很低,而且準確度也打折扣,而利用人工智能和機器學習對圖片和視頻分析就能更加高效快捷,準確度也大大提高。

在一些無人值守的電力場所如變電站、配電房等都裝有視頻監控攝像頭,結合人工智能,可以對周邊異常人員和車輛的闖入和反常舉止發出告警,保障電力場所的安全。另外就是維護人員電網操作規范性檢測,人工智能技術結合視頻監測可以自動識別操作人員是否配戴安全帽、正確穿著工裝、操作是否規范等。另外結合可穿戴設備測量心跳血壓以及監視操作人員的步伐姿態,與歷史數據做學習對比,主動分析操作人員當時的身體狀態是否健康,是否適合上塔、上桿等維護操作,保障電網操作維護安全。

在網絡安全方面,人工智能技術已經開始廣泛應用。比如智能反釣魚郵件和垃圾郵件系統,通過掃描郵件及附件進行智能識別,及時發現文件中的異常信息,采取有效措施阻止惡意郵件激活和傳播。智能防火墻通過人工智能技術主動對數據流量進行分析和過濾,有效攔截對網絡有害的數據流和異常報文,還可以結合模糊信息識別、規則專家系統等技術,有效地發現、識別、過濾、攔截不法網絡行為和不良網絡信息,提升病毒軟件入侵檢測效率,更好地保障網絡安全。人工智能還能主動監管操作流程,通過對歷史操作行為的學習對異常操作進行規避,包括對異常時間、異常地點、異常數量的操作自動發出告警并進行阻止,類似烏克蘭黑客攻擊事件就可以利用人工智能進行防范。未來人工智能技術將是網絡安全的基礎。

結束語

電網是關系國計民生的國家重要基礎設施,有著極高的安全防護要求。電網安全是電力行業的立足之本,伴隨著電網發展的整個歷史。而網絡安全是人類邁入數字化和智能化社會所面對的共同問題,不只限于電力行業,在其它行業如何通信、金融、交通、制造等行業的網絡安全經驗同樣適用于電力行業。新ICT信息通信技術正在加速推進全聯接智能電網的快速發展,全方位端到端地提升電網運營效率。電網嚴格的網絡安全標準和規范規避了通信設備可能給電網帶來的網絡安全隱患,電網多層級的安全防護設計也降低了通信設備被網絡攻擊可能帶來的安全風險。5G通信技術從架構設計上采取了更加嚴格的標準和措施來保證網絡安全,而人工智能技術的快速發展和大量應用將極大提升網絡安全防護能力,保障電網的安全穩定運行。GG

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/63631.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/63631.shtml
英文地址,請注明出處:http://en.pswp.cn/web/63631.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

梯度(Gradient)和 雅各比矩陣(Jacobian Matrix)的區別和聯系:中英雙語

雅各比矩陣與梯度:區別與聯系 在數學與機器學習中,梯度(Gradient) 和 雅各比矩陣(Jacobian Matrix) 是兩個核心概念。雖然它們都描述了函數的變化率,但應用場景和具體形式有所不同。本文將通過…

時間序列預測論文閱讀和相關代碼庫

時間序列預測論文閱讀和相關代碼庫列表 MLP-based的時間序列預測資料DLinearUnetTSFPDMLPLightTS 代碼庫以及論文庫:Time-Series-LibraryUnetTSFLightTS MLP-based的時間序列預測資料 我會定期把我的所有時間序列預測論文有關的資料鏈接全部同步到這個文章中&#…

引言和相關工作的區別

引言和相關工作的區別 引言 目的與重點 引言主要是為了引出研究的主題,向讀者介紹為什么這個研究問題是重要且值得關注的。它通常從更廣泛的背景出發,闡述研究領域的現狀、面臨的問題或挑戰,然后逐漸聚焦到論文要解決的具體問題上。例如,在這篇關于聯邦學習數據交易方案的…

GitLab分支管理策略和最佳實踐

分支管理是 Git 和 GitLab 中非常重要的部分,合理的分支管理可以幫助團隊更高效地協作和開發。以下是一些細化的分支管理策略和最佳實踐: 1. 分支命名規范 ? 主分支:通常命名為 main 或 master,用于存放穩定版本的代碼。 ? …

批量提取zotero的論文構建知識庫做問答的大模型(可選)——含轉存PDF-分割統計PDF等

文章目錄 提取zotero的PDF上傳到AI平臺保留文件名代碼分成20個PDF視頻講解 提取zotero的PDF 右鍵查看目錄 發現目錄為 C:\Users\89735\Zotero\storage 寫代碼: 掃描路徑‘C:\Users\89735\Zotero\storage’下面的所有PDF文件,全部復制一份匯總到"C:\Users\89735\Downl…

LabVIEW實現NB-IoT通信

目錄 1、NB-IoT通信原理 2、硬件環境部署 3、程序架構 4、前面板設計 5、程序框圖設計 6、測試驗證 本專欄以LabVIEW為開發平臺,講解物聯網通信組網原理與開發方法,覆蓋RS232、TCP、MQTT、藍牙、Wi-Fi、NB-IoT等協議。 結合實際案例,展示如何利用LabVIEW和常用模塊實現物聯網…

面試題整理9----談談對k8s的理解2

面試題整理9----談談對k8s的理解2 1. Service 資源1.1 ServiceClusterIPNodePortLoadBalancerIngressExternalName 1.2 Endpoints1.3 Ingress1.4 EndpointSlice1.5 IngressClass 2. 配置和存儲資源2.1 ConfigMap2.2 Secret2.3 PersistentVolume2.4 PersistentVolumeClaim2.5 St…

精準采集整車信號:風丘混合動力汽車工況測試

一 背景 混合動力汽車是介于純電動汽車與燃油汽車兩者之間的一種新能源汽車。它既包含純電動汽車無污染、啟動快的優勢,又擁有燃油車續航便捷、不受電池容量限制的特點。在當前環境下,混合動力汽車比純電動汽車更符合目前的市場需求。 然而&#xff0c…

帶標題和不帶標題的內部表

什么是工作區? 什么是工作區?簡單來說,工作區是單行數據。它們應具有與任何內部表相同的格式。它用于一次處理一行內部表中的數據。 內表和工作區的區別 ? 一圖勝千言 內表的類型 有兩種類型的內表: 帶 Header 行…

【圖像分類實用腳本】數據可視化以及高數量類別截斷

圖像分類時,如果某個類別或者某些類別的數量遠大于其他類別的話,模型在計算的時候,更傾向于擬合數量更多的類別;因此,觀察類別數量以及對數據量多的類別進行截斷是很有必要的。 1.準備數據 數據的格式為圖像分類數據集…

【Leetcode 每日一題】2545. 根據第 K 場考試的分數排序

問題背景 班里有 m m m 位學生,共計劃組織 n n n 場考試。給你一個下標從 0 0 0 開始、大小為 m n m \times n mn 的整數矩陣 s c o r e score score,其中每一行對應一位學生,而 s c o r e [ i ] [ j ] score[i][j] score[i][j] 表示…

React系列(八)——React進階知識點拓展

前言 在之前的學習中,我們已經知道了React組件的定義和使用,路由配置,組件通信等其他方法的React知識點,那么本篇文章將針對React的一些進階知識點以及React16.8之后的一些新特性進行講解。希望對各位有所幫助。 一、setState &am…

PCIe_Host驅動分析_地址映射

往期內容 本文章相關專欄往期內容,PCI/PCIe子系統專欄: 嵌入式系統的內存訪問和總線通信機制解析、PCI/PCIe引入 深入解析非橋PCI設備的訪問和配置方法 PCI橋設備的訪問方法、軟件角度講解PCIe設備的硬件結構 深入解析PCIe設備事務層與配置過程 PCIe的三…

【閱讀記錄-章節6】Build a Large Language Model (From Scratch)

文章目錄 6. Fine-tuning for classification6.1 Different categories of fine-tuning6.2 Preparing the dataset第一步:下載并解壓數據集第二步:檢查類別標簽分布第三步:創建平衡數據集第四步:數據集拆分 6.3 Creating data loa…

ip_output函數

ip_output函數是Linux內核(特別是網絡子系統)中用于發送IPv4數據包的核心函數。以下是一個示例實現,并附上詳細的中文講解: int ip_output(struct net *net, struct sock *sk, struct sk_buff *skb) {struct iphdr *iph; /* 構建IP頭部 */iph = ip_hdr(skb);/* 設置服務…

梳理你的思路(從OOP到架構設計)_簡介設計模式

目錄 1、 模式(Pattern) 是較大的結構?編輯 2、 結構形式愈大 通用性愈小?編輯 3、 從EIT造形 組合出設計模式 1、 模式(Pattern) 是較大的結構 組合與創新 達芬奇說:簡單是複雜的終極形式 (Simplicity is the ultimate form of sophistication) —Leonardo d…

用SparkSQL和PySpark完成按時間字段順序將字符串字段中的值組合在一起分組顯示

用SparkSQL和PySpark完成以下數據轉換。 源數據: userid,page_name,visit_time 1,A,2021-2-1 2,B,2024-1-1 1,C,2020-5-4 2,D,2028-9-1 目的數據: user_id,page_name_path 1,C->A 2,B->D PySpark: from pyspark.sql import SparkSes…

【libuv】Fargo信令2:【深入】client為什么收不到服務端響應的ack消息

客戶端處理server的ack回復,判斷鏈接連接建立 【Fargo】28:字節序列【libuv】Fargo信令1:client發connect消息給到server客戶端啟動后理解監聽read消息 但是,這個代碼似乎沒有觸發ack消息的接收: // 客戶端初始化 void start_client(uv_loop_t

硬盤dma讀寫過程

pci初始化時,遍歷pci上的設置,如果BaseClassCode1,則為大容量存儲控制器,包括硬盤控制器、固態硬盤控制器、光盤驅動控制器、RAID控制器等。 BaseAdder4為DMA控制器基地址,包含兩個控制器,主控制器&#x…

Python-基于Pygame的小游戲(貪吃蛇)(一)

前言:貪吃蛇是一款經典的電子游戲,最早可以追溯到1976年的街機游戲Blockade。隨著諾基亞手機的普及,貪吃蛇游戲在1990年代變得廣為人知。它是一款休閑益智類游戲,適合所有年齡段的玩家,其最初為單機模式,后來隨著技術發…