在當今數字化轉型加速的背景下,海量的數據生成和實時處理需求已成為企業面臨的關鍵挑戰。無論是物聯網設備、工業自動化系統,還是智能城市的各類傳感器,數據的采集、傳輸與分析效率,直接影響企業的決策與運營。為此,TDengine 推出的邊云協同解決方案,通過將計算和存儲分布在邊緣和云端,提供高效的數據管理和實時處理能力,幫助企業在降低成本的同時,實現更靈活、更高效的業務運營。本篇文章將幫助大家深入了解這一解決方案的核心技術及其應用場景,以及它如何為企業帶來創新和價值。
為什么需要邊云協同?
在工業互聯網中,邊緣設備的作用是對本地生產數據進行實時監控和處理,但這只能為決策者提供局部視角,無法形成全局的認知。為了做出全面、準確的決策,邊緣設備采集的數據需要上傳至云端平臺(無論是公有云還是私有云)。在云端,數據不僅可以被匯聚,還能通過更強大的計算資源進行融合和分析,從而為管理者提供對整個生產系統的宏觀洞察。
邊云協同架構由此應運而生,它成為工業互聯網中不可或缺的支柱,尤其是在需要同時兼顧數據實時性和全局視角的復雜場景中。邊緣設備通常負責監控生產線上某一項或某幾項關鍵指標,如車間內的生產進度、設備運行狀態等,并對異常情況進行及時告警。邊緣設備在采集和處理這些數據后,會將其傳輸到云端的大數據平臺。此時,邊緣設備可以保證數據的實時性,云端則利用更強大的計算能力對這些分散的數據進行匯總、分析和深度挖掘。
然而,隨著邊緣設備的數量迅速增長,數據量也呈爆炸式增長。在這種情況下,要讓系統高效運行,邊云協同的數據庫或數據存儲系統需要具備選擇性上報和數據降采樣的功能。例如,邊緣設備可能每秒鐘采集一次數據,但為了減輕數據傳輸和存儲的壓力,可以選擇只上傳經過降采樣的數據,將采集頻率從一秒降為一分鐘。這不僅減少了數據量,還保留了足夠的信息,用于長期的趨勢分析和預測模型。
此外,邊云協同的需求還源于傳統工業數據采集系統的局限性。傳統的系統通常依賴于從 PLC(可編程邏輯控制器)采集數據,并通過工業實時數據庫(Historian)進行處理。這類系統往往采用主備架構,擴展性差,且依賴于特定的操作系統和軟硬件生態,導致整個系統的封閉性較高,靈活性和可擴展性有限。
相比之下,邊云協同架構的優勢在于它的高度靈活性和可擴展性,能夠在邊緣和云端實現數據的分層處理。邊緣設備處理實時數據,快速響應現場需求,而云端則通過強大的計算能力進行數據整合和分析,為管理層提供全局的決策支持。這種架構不僅提高了數據處理的效率,還能根據實際需求進行靈活擴展,適應不同規模的企業和應用場景。因此,邊云協同已經成為工業互聯網實現智能化、數字化轉型的關鍵技術,推動了整個行業的進步與創新。
TDengine 的邊云協同解決方案
正如前文所說,在工業互聯網和制造業場景中,實時、高效的數據同步是企業優化運營、提升決策能力的關鍵。在此背景下,TDengine Enterprise(企業版)憑借強大的邊云協同功能,為工業企業提供了一個靈活且高效的數據處理解決方案。通過該方案,企業可以實現邊緣側與云端之間的數據無縫協作,滿足各種復雜業務場景的需求。
TDengine Enterprise 的邊云協同解決方案具備以下幾大核心特性:
-
高效數據同步 支持每秒數百萬條數據的高速同步能力,確保在邊緣設備和云端平臺之間的數據傳輸既快速又穩定,無論是在工業物聯網設備密集的現場,還是云端的分析平臺,都能保持數據的實時同步。
-
多數據源兼容性 TDengine Enterprise 提供了廣泛的數據源對接能力,支持主流工業協議和標準如 AVEVA PI System、OPC-UA、OPC-DA、MQTT 等,實現對多種外部系統的數據接入。這種兼容性極大擴展了其應用場景,無論是傳統的工業系統還是新興的物聯網平臺,都能輕松接入。
-
靈活的同步規則配置 用戶可以根據實際業務需求配置數據同步規則,實現對數據同步策略的高度定制化。無論是降采樣、按條件篩選,還是選擇性同步不同級別的關鍵信息,TDengine Enterprise 都能通過配置滿足企業對數據的不同要求,確保同步的數據不僅有效,而且最為相關。
-
斷線續傳與重新訂閱 在復雜的工業環境中,網絡穩定性往往難以保障。TDengine Enterprise 支持斷線續傳和重新訂閱功能,確保即使在網絡中斷時,數據的同步也不會丟失,系統能夠在網絡恢復后繼續完成未完成的傳輸任務,保證數據完整性。
-
歷史數據遷移 當企業需要進行系統升級或更換時,TDengine Enterprise 提供了便捷的歷史數據遷移功能。用戶可以輕松將歷史數據從舊系統無縫遷移到新系統,確保數據的持續性和一致性,避免因系統變更而造成的數據丟失或不兼容問題。
此外,TDengine Enterprise 的數據訂閱功能賦予用戶極大的靈活性。用戶可以根據業務需求自由選擇訂閱的數據范圍,無論是單個數據庫、一張超級表,甚至是帶有篩選條件的查詢語句,均可實現選擇性的同步。通過這種方式,用戶可以將真正關心的數據,如離線數據或亂序數據,從邊緣側同步到云端或其他集群,最大限度地優化數據傳輸效率,減少帶寬占用和資源浪費。
在實際的工業場景中,比如一個生產車間(以下圖為例),TDengine Enterprise 可以高效地實現邊云協同架構的應用。生產車間內的設備產生的實時數據存儲在邊緣側的 TDengine 中。隨后,部署在分廠的 TDengine 會訂閱車間的生產數據,并根據業務需求靈活配置同步規則,如降采樣或僅同步超出閾值的數據。同理,集團總部的 TDengine 會進一步訂閱各個分廠的數據,完成集團維度的數據匯總和分析。這種多層次、分級的數據同步架構,保證了從生產車間到集團總部的數據流動高效、實時且具備業務相關性。
與傳統的離線數據同步方式相比,TDengine Enterprise 提供了多項顯著的優勢:
-
零代碼配置:無需編寫復雜的代碼,用戶只需通過簡單的配置即可實現邊緣和云端的數據同步。
-
自動化程度高:跨區域的數據同步可以自動完成,減少了手動操作中的出錯率,顯著提高了運維效率。
-
無緩存需求:TDengine 通過優化傳輸機制,避免了大批量數據同步時帶來的網絡帶寬阻塞問題,使數據傳輸更加平滑、高效。
-
靈活、實時的數據同步:通過數據訂閱方式實現的同步支持規則配置,能夠根據具體業務需求靈活調整數據的傳輸頻率和內容。
-
統一的數據模型:邊緣側和云端均使用 TDengine,確保了數據模型的一致性,大大降低了數據治理的復雜度,提升了管理效率。
針對制造業企業普遍面臨的數據同步挑戰,TDengine Enterprise 提供了一個具備實時性、靈活性和高效性的解決方案,尤其是在大規模數據同步和網絡環境復雜的情況下,極大優化了數據傳輸的效率和穩定性,避免了傳統方式中定期傳輸大數據量所導致的資源浪費和帶寬擁堵問題。
TDengine 邊云協同方案在某大型油田項目中的應用
在某大型油田的生產管理項目中,用戶需要集成多個系統,如自動化數據采集與控制、生產視頻監控、工業物聯網、生產數據服務和智能化生產管理等,同時也需要建設各環節的信息化采集標準。然而,隨著時間推移,項目中原先使用的 Oracle 系統在應對大規模時序數據的存儲和處理時,逐漸暴露出一些瓶頸問題:
-
在面對復雜查詢和大數據集的聚合時,寫入和查詢效率顯著下降,系統性能逐漸衰減;
-
隨著數據量的不斷增加,磁盤空間壓力增大,運維成本日益增加;
-
在分布式企業管理模式下,數據協同效率較低,難以滿足企業快速增長的業務需求。
為了解決這些問題,該項目團隊對多種技術方案進行了深入的驗證,最終選擇將 Oracle 系統中的時序數據存儲切換至 TDengine,并借助其邊云協同技術,實現了邊緣側數據到云端的實時匯聚與同步。
具體實施方案中,多個不同的 TDengine 服務將全量的歷史數據及后續產生的數據實時同步至云端 TDengine。TDengine 的核心組件之一,taosX 工具,只需在數據接收方部署,并通過一條簡單的命令,即可完成包括歷史數據遷移、實時同步及兩者混合的處理流程。
例如,使用以下命令可以將某臺服務器的 db1
歷史數據及實時數據同步到本地的 db2
數據庫:
taosx run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v
此外,taosX 還支持基于 TDengine 的 WAL 日志進行數據訂閱,通過事件驅動順序處理數據。無論是實時數據的插入,還是歷史數據的補錄,所有數據都能夠實時同步到目標集群,確保數據完整性和時效性。
實施該方案后,多個 TDengine 服務實現了跨省數據實時同步,將邊緣數據匯聚至云端總部集群。當前總部集群存儲的數據量已經達到 36 TB,總數據量超過 1034 億條,數據壓縮率控制在 10% 以內。通過TDengine的高效壓縮技術,大幅節省了存儲資源。
自項目將 Oracle 切換為 TDengine 后,優化效果顯著,主要體現在以下幾方面:
-
數據寫入性能大幅提升,硬件資源占用減少,系統運行更加高效;
-
集群支持在線水平擴展,能夠輕松應對未來的擴展需求,提升了系統靈活性;
-
靈活的數據生命周期管理,便于過期數據的自動清理和歸檔,簡化了數據管理流程;
-
秒級 500 萬測點的同步速率,有效滿足了該項目對邊云協同場景的高實時性需求。
通過 TDengine 邊云協同解決方案的應用,該油田項目實現了對海量時序數據的高效管理和實時處理,解決了原有系統性能瓶頸問題,為未來的擴展和智能化生產奠定了堅實基礎。
結語
TDengine 邊云協同解決方案憑借其高效的數據同步能力、靈活的配置機制和強大的實時處理性能,成為應對工業互聯網場景下數據管理挑戰的有力工具。通過統一的邊云架構,TDengine 能夠在滿足邊緣側實時處理需求的同時,將大量數據高效匯聚至云端,幫助企業在數據分析和決策上實現全局視角。希望本文能夠幫助企業更好地理解邊云協同技術的優勢,并為其未來的數字化轉型和智能化生產提供有價值的參考。