導讀
沃太能源是國內領先儲能設備生產廠商,數十萬儲能終端遍布世界各地。此前使用 MongoDB 存儲時序數據,但隨著設備測點增加,MongoDB 在存儲效率、寫入性能、查詢性能等方面暴露出短板。經過對比,沃太能源選擇了專業時序數據庫 TDengine,生產效能顯著提升:整體上,數據壓縮率超 10 倍、寫入性能提升 18 倍,查詢在特定場景上也實現了數倍的提升。同時減少了技術架構復雜度,實現了零代碼數據接入。本文將對TDengine在沃太能源的應用情況進行詳解。
1、源起
在 2024 年前,我司使用 MongoDB 數據庫存儲時序數據,包括運行數據、秒級數據、功率數據、能量數據、收益數據、FFR 和 FACS 數據,涉及數十萬設備的千萬測點數據寫入存儲與實時設備狀態查詢與分析。使用場景對數據庫性能要求高,響應時延在毫秒級。
在實際使用中,隨著接入設備測點的增加,MongoDB 在處理時序數據方面的局限性逐漸顯現:
-
存儲效率較低,單位數據存儲成本高:相較于專業時序數據庫,MongoDB 存儲數據壓縮率較低,在海量時序數據存儲時,存儲開銷大。且 MongoDB 尚不支持多級存儲,無法按數據價值,差異化使用存儲資源。
-
寫入性能較低,海量數據寫入時間長:對于高頻數據(毫秒級)數據寫入,MongoDB 寫入性能在秒級,很難滿足我司儲能設備高頻數據采集性能要求,數據產生速度大于數據寫入速度。
-
查詢性能較低,實時數據查詢時間長:MongoDB 對復雜查詢的支持全面,但實時查詢場景所需的實時數據返回,查詢性能仍不能滿足生產所需。
-
技術架構復雜,實時場景技術棧復雜:因 MongoDB 實時處理能力有限,故在技術架構設計時,需要引入 Redis,來滿足實時查詢需求。技術環節多,數據流轉復雜,增加應用開發與技術管理復雜度。
2、探索
針對實時場景痛點,我司開始進行專業時序數據庫選型,要求存儲成本低、寫入速度快,查詢實時返回,并期望有效降低架構復雜度。
經對市場多款時序數據庫調研,我司從技術可控、降本增效、架構簡潔、性能優越、生態豐富五個維度進行對比,最終比選出濤思數據的 TDengine 作為我司實時數據基礎數據庫平臺。
3、落地
我司 IT 團隊與 TDengine 服務團隊組成的項目實施團隊,經過近三個月的協同工作,分階段完成集群部署、MongoDB 數據遷移、數據庫調優,以及生產割接,最終完成了我司時序數據處理基礎架構從 MongoDB 向 TDengine 的遷移,在各方面均達成了項目預期目標。
例如:在設備綜合信息查詢場景,需要對具有 231 列的綜合數據信息表,在億級數據中查詢某單一設備綜合信息。此表存儲設備的電壓、電流、功率等信息。
使用 TDengine 后,單設備全天數據查詢時間縮短至十幾毫秒,單位時間業務數據查詢效率提升明顯,提升下游實時數據應用對客體驗。
另外就是存儲方面,TDengine 優秀的時序數據壓縮效率,大大提升了我司數據的存儲能力,壓縮率達到 10 倍以上,相比舊有 MongoDB,在硬件資源上有明顯的成本下降。
4、創新
在 TDengine企業版工具中,提供零代碼數據接入組件 taosX,可以通過界面配置接入 Kafka 等三方數據源數據。我司應用 taosX,直接對接 Kafka 消息,寫入數據至 TDengine,減少了系統復雜度,同時也降低了人力投入。
另我司基于 TDengine 時序數據查詢的優越性能,遷移原 Redis 實時報表數據應用至 TDengine,實踐效果完全滿足生產性能要求,驗證了 TDengine 可以在部分實時場景替代 Redis 實時數據查詢功能。
5、展望
TDengine在實時場景的投產成功,增強了我司實時數據處理能力,更高效地服務于廣大沃太儲能客戶。下一步,我司計劃進一步擴大TDengine 應用承載范圍,應用 TDengine 新發布的 TDgpt 與虛擬表等功能,深化時序數據應用場景,更好地服務于我司內外部客戶。
關于沃太能源
沃太能源股份有限公司自 2012 年成立以來專注于儲能產品的研發、生產和銷售,掌握 BMS、EMS、系統集成、云管理平臺等儲能核心控制技術,是行業領先的全功率段儲能系統提供商,致力于為家庭、 工商業園區、電網、發電站、電力公司等提供綜合的新能源智慧解決方案。
公司擁有國家級“專精特新”重點小巨人、國家高新技術企業認證、國家知識產權示范企業等多項榮譽,主要產品涵蓋微型、戶用、工商業和大型四大儲能核心領域,廣泛應用于電力系統的發電、輸電、配電、用電等環節,可幫助降低用電成本、 提高新能源電力使用率、減少碳排放,為可持續發展做出積極貢獻。
關于作者
沃太能源云平臺開發部主要負責 Alpha 儲能平臺的軟件、通訊以及物聯網平臺開發,實現儲能系統與設備的互聯互通,提供能源管理、數據分析及遠程管控等功能,實現儲能平臺數智化運營。