雙倍硬件=雙倍性能?TDengine線性擴展能力深度實測驗證!

軟件擴展能力是軟件架構設計中的一個關鍵要素,具有良好擴展能力的軟件能夠充分利用新增的硬件資源。當軟件性能與硬件增加保持同步比例增長時,我們稱這種現象為軟件具有線性擴展能力。要實現這種線性擴展并不簡單,它要求軟件架構精心設計,能夠最大化硬件性能的利用,同時減少內部資源消耗。這需要對現有架構進行深入的優化和調整。

測試目的

驗證在帶寬、IO 及內存不是瓶頸,僅 CPU 是瓶頸的情況下,寫入速度應與 CPU 核數成正比。

測試方法

測試系統:使用 TDengine 官網發布的 docker 鏡像,TDengine 版本為 V3.3.0.0

測試工具:taosBenchmark

表結構:TDengine 官網智能電表結構

增加 CPU 核數方法:docker 綁定固定數量 CPU 技術

兩階段配置方法:

1 ~ 4 核 VGROUP 為 4 ,寫入線程數為 4

5 ~ 12 核 VGROUP 為 12 ,寫入線程數為 12

使用兩階段配置,讓 CPU 始終保持在瓶頸狀態

測試參數

數據庫:1 個

超級表:1 個

子表數:100 個

每子表行數:100W

總數據量:1 億

測試結果

圖片

磁盤為 SSD,寫入最高可達 :350M/秒,IO 非常富余

帶寬:客戶端服務器同一臺機器,帶寬可認為無限制

圖片

數據解讀

  • 在 4 核時 CPU 使用率降至 88%,若再增加 CPU 可能 CPU 不會再成為瓶頸,所以升級配置至 12 個 VGROUPS、12 寫入線程,讓 CPU 始終保持在瓶頸狀態下

  • 每增加一個 CPU,寫入性能線性提升約 50W 左右,符合線程增長預期

  • 磁盤 IO 基本與寫入速度增長保持一致

測試結論:?與預期一致

測試目的

驗證在CPU、帶寬及內存不是瓶頸,僅 IO 是瓶頸情況下,寫入速度應與增加的磁盤個數成正比。

測試方法

測試系統:Linux Ubuntu 20.4 操作系統

硬件配置:CPU 24 核, 64 GB 內存,掛三塊普通 5400 轉低速機械盤(選擇性能普通的硬盤,有利于很快打滿 IO,達到 IO 成為瓶頸的條件 )

TDengine:版本 V3.3.0.0

測試工具:taosBenchmark

表結構:?

圖片

(每行長度 32618 字節,使用大寬行,更能把 IO 打滿)

增加磁盤方法:使用同級掛載多塊磁盤技術

測試參數

數據庫:1 個 VGROUP 16

超級表:1 個

子表數:100 個

每子表行數:1W

總數據量:100W

taosBenchmark?:

寫入線程數 = 16 個

寫入方式 = stmt vgroup 綁定線程快速寫入方法

測試結果

圖片

  • CPU: 24 核 CPU ,大部分都為空閑,CPU 非常富余

  • 帶寬:客戶端服務器同一臺機器,帶寬可認為無限制

  • Commit 線程數是數據落盤的線程數,直接操作 IO?

  • 磁盤掛載到 3 塊后,需求加大 Commit 線程數,才能打滿 IO

圖片

數據解讀

從數據上可看出,每增加一塊磁盤,寫入性能也會成比例增長,新增磁盤 IO 被充分使用。

測試結論:?與預期一致

通過對 TDengine 服務器的 CPU 和磁盤資源進行擴展實驗,我們驗證了其對硬件資源的利用能力。實驗結果表明,TDengine 展現出了顯著的線性擴展能力,這證明了其具備優秀的架構設計和先進的設計理念。TDengine 能夠有效地利用增加的硬件資源,這不僅提升了性能,也優化了資源的整體使用效率。這種能力是 TDengine 高效處理大規模數據需求的關鍵因素。

關于 TDengine

TDengine?是一款專為物聯網、工業互聯網等場景設計并優化的大數據平臺,其核心模塊是高性能、集群開源、云原生、極簡的時序數據庫。它能安全高效地將大量設備每天產生的高達 TB 甚至 PB 級的數據進行匯聚、存儲、分析和分發,并提供 AI 智能體對數據進行預測與異常檢測,提供實時的商業洞察。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/88157.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/88157.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/88157.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

頻繁迭代下完成iOS App應用上架App Store:一次快速交付項目的完整回顧

在一次面向商戶的會員系統App開發中,客戶要求每周至少更新一次版本,涉及功能迭代、UI微調和部分支付方案的更新。團隊使用Flutter進行跨平臺開發,但大部分成員日常都在Windows或Linux環境,只有一臺云Mac用于打包。如何在高頻率發布…

springsecurity03--異常攔截處理(認證異常、權限異常)

目錄 Spingsecurity異常攔截處理 認證異常攔截 權限異常攔截 注冊異常攔截器 設置跨域訪問 Spingsecurity異常攔截處理 認證異常攔截 /*自定義認證異常處理器類*/ Component public class MyAuthenticationExceptionHandler implements AuthenticationEntryPoint {Overr…

企業如何制作網站?網站制作的步驟與流程?

以下是2025年網站制作的綜合指南,涵蓋核心概念、主流技術及實施流程: 一、定義與范疇 網站制作是通過頁面結構設計、程序設計、數據庫開發等技術,將視覺設計轉化為可交互網頁的過程,包含前端展示與后臺功能實現。其核心目標是為企…

Rust+Blender:打造高性能游戲引擎

基于Rust和Blender的游戲引擎 以下是基于Rust和Blender的游戲引擎開發實例,涵蓋不同應用場景和技術方向的實際案例。案例分為工具鏈整合、渲染技術、物理模擬等類別,每個案例附核心代碼片段或實現邏輯。 工具鏈整合案例 案例1:Blender模型導出到Bevy引擎 使用blender-bev…

Git基本操作1

Git 是一款分布式版本控制系統,主要用于高效管理代碼版本和團隊協作開發。它能精確記錄每次代碼修改,支持版本回溯和分支管理,讓開發者可以并行工作而互不干擾。通過本地提交和遠程倉庫同步,Git 既保障了代碼安全,又實…

React Native 組件間通信方式詳解

React Native 組件間通信方式詳解 在 React Native 開發中,組件間通信是核心概念之一。以下是幾種主要的組件通信方式及其適用場景: 簡單父子通信:使用 props 和回調函數兄弟組件通信:提升狀態到共同父組件跨多級組件:…

TCP的可靠傳輸機制

TCP通過校驗和、序列號、確認應答、重發控制、連接管理以及窗口控制等機制實現可靠性的傳輸。 先來看第一個可靠性傳輸的方法。 通過序列號和可靠性提供可靠性 TCP是面向字節的。TCP把應用層交下來的報文(可能要劃分為許多較短的報文段)看成一個一個字節…

沒有DBA的敏捷開發管理

前言一家人除了我都去旅游了,我這項請假,請不動啊。既然在家了,閑著也是閑著,就復盤下最近的工作,今天就復盤表結構管理吧,隨系統啟動的,不是flyway,而是另一個liquibase&#xff0c…

go-carbon v2.6.10發布,輕量級、語義化、對開發者友好的 golang 時間處理庫

carbon 是一個輕量級、語義化、對開發者友好的 Golang 時間處理庫,提供了對時間穿越、時間差值、時間極值、時間判斷、星座、星座、農歷、儒略日 / 簡化儒略日、波斯歷 / 伊朗歷的支持。 carbon 目前已捐贈給 dromara 開源組織,已被 awesome-go 收錄&am…

【AI News | 20250708】每日AI進展

AI Repos 1、claude-code-templates Claude Code Templates是一款全面的命令行工具,旨在為不同編程語言和框架(如JavaScript/TypeScript、Python等,Go和Rust即將推出)提供優化的Claude Code配置。它通過交互式設置、自動化鉤子&a…

Nginx源碼安裝+靜態站點部署指南(CentOS 7)

安裝包:可自行前往我的飛書下載 Docs 也可以進入 nginx 官網,下載自己所需適應版本 nginx 開始安裝nginx 1. 創建準備目錄 cd /opt mkdir soft module # 創建軟件包和源碼解壓目錄 2. 安裝依賴環境 yum -y install make zlib zlib-devel gcc-c l…

交換機的核心原理和作用

一、交換機的核心原理交換機是一種用于連接多臺設備的網絡硬件,其核心原理基于二層網絡(數據鏈路層)的 MAC 地址尋址1. MAC 地址學習與存儲當交換機接收到數據幀時,會讀取幀中的源 MAC 地址,并將該地址與對應的端口號記…

【工具變量】上市公司企業金融強監管數據、資管新規數據(2001-2024年)

數據簡介:參考頂刊《經濟研究》李青原(2022)老師的做法,Post 為時間虛擬變量,根據資管新規實施的時間,當觀測期為2018 年上半年及之后時,Post 取值1,否則取值0。PreFin 為資管新規實…

CSS Grid與Flexbox布局實戰對比

概述 CSS布局技術在過去幾年經歷了重大變革,從傳統的基于浮動和定位的方法,到現在強大的Flexbox和Grid布局系統。這兩種現代布局方法極大地簡化了復雜界面的開發過程,但它們各自適用于不同的場景。本文將對Flexbox和Grid進行深入比較&#x…

[Pytest][Part 4]多種測試運行方式

實現需求2:有兩種運行測試的方式:通過config配置文件運行,測試只需要修改config配置文件cmdline 運行這里是新建一個config類來存儲所有的測試配置,以后配置有修改的話也只需要修改這個類。根據目前的測試需求,config中…

平衡二叉樹的刪除操作

對于平衡二叉樹的操作應對與考試只需要模擬出過程即可,且他的過程和插入的平衡方法一樣,不一樣的只是對于平衡因子的計算上。接下來我將給出方法①刪除結點(方法同“二叉排序樹”) ②一路向北找到最小不平衡子樹,找不到…

Spark 4.0的 VariantType 類型優點以及使用分析

背景 本文基于Spark 4.0。 總結 對于半結構化的數據來說,我們一般會有兩種方式進行存儲: 第一種是存儲為JSON String,這種可以保證Schema free,但是在使用的時候得解析為JSON,從而進行運算操作。 第二種是存儲為Struct類型,這種雖…

17-C#封裝,繼承,多態與重載

C#封裝繼承多態 1. 2. 3.多態 public abstract class animal//抽象類 {public abstract void eat();//抽象方法 } public class cat : animal//繼承 {public override void eat()//重寫{messagebox.show("cat eat");} } public class dog: animal//繼承 {public over…

恒創科技:香港站群服務器做seo站群優化效果如何

香港站群服務器做 SEO 站群優化效果如何?在當前搜索引擎優化競爭日益激烈的環境下,越來越多的企業開始關注站群策略這一高效的 SEO 手段。作為亞洲重要的網絡樞紐,香港站群服務器因其獨特優勢,正成為實施 SEO 站群優化的熱門選擇。本文將客觀…

Linux-進程管理

Linux-進程管理Linux 進程管理1. 進程的含義2. 進程狀態3. 進程工作模式4. 守護進程5. 進程查看命令5.1 ps 命令5.2 top 命令5.3 pstree 命令6. 終止進程的 kill 命令7. 前后臺運行8. 暫停進程9. 進程文件系統 /proc10. 定時任務管理10.1 at 命令10.2 batch 命令10.3 cron 與 c…