嵌入式分析利器:DuckDB與SqlSugar實戰

?

一、DuckDB 的核心特性與適用場景

DuckDB 是一款 嵌入式分析型數據庫(OLAP) ,專為高效查詢設計,主要特點包括:

  1. 列式存儲與向量化引擎
  • 數據按列存儲,提升聚合統計效率(如 SUM/AVG),減少 I/O 開銷 。
  • 向量化處理支持批量數據操作,顯著加速分析查詢 。
  1. 輕量級與嵌入式部署
  • 無需獨立服務器,以單文件(如 train_services.db)形式運行,類似 SQLite 。
  • 跨平臺支持(Windows/Linux/macOS),壓縮后僅約 8MB 。
  1. 兼容性與擴展性
  • 支持標準 SQL 語法 ,兼容 Pandas/R/Python 等工具 。
  • 可直接讀取 CSV、JSON、Parquet 等文件,支持遠程文件(HTTP/S3)。
  1. 適用場景
  • 實時數據分析、本地數據科學計算、嵌入式應用(如 IoT 設備)。
  • 替代傳統 OLAP 的輕量級解決方案,降低部署成本 。

二、SqlSugar 集成 DuckDB 的步驟

  1. 環境準備
    安裝 NuGet 包:
Install-Package SqlSugarCore
Install-Package SqlSugar.DuckDBCore
  1. 初始化數據庫連接
// 注冊 DuckDB DLL(避免運行時缺失)
InstanceFactory.CustomAssemblies = new[] {typeof(SqlSugar.DuckDB.DuckDBProvider).Assembly 
};var db = new SqlSugarClient(new ConnectionConfig() {DbType = DbType.DuckDB,                  // 指定數據庫類型ConnectionString = "DataSource=train_services.db", // 數據庫文件路徑IsAutoCloseConnection = true,            // 自動釋放連接LanguageType = LanguageType.Default       // 語言類型
}, it => {// SQL 日志輸出(調試用)it.Aop.OnLogExecuting = (sql, para) => {Console.WriteLine(UtilMethods.GetNativeSql(sql, para));};
});

關鍵參數解析:

  • ConnectionString:支持內存模式(:memory:)或文件路徑 。
  • IsAutoCloseConnection=true:避免手動管理連接生命周期 。
  • DLL 注冊必要性:DuckDB 依賴原生庫,需顯式加載程序集防止運行時錯誤 。

三、CodeFirst 初始化表結構

通過實體類映射自動創建表:

// 創建數據庫(若不存在)
db.DbMaintenance.CreateDatabase(); // 根據實體類生成表
db.CodeFirst.InitTables<UserInfo001>(); // 差異處理:當實體類與表結構不一致時
db.CodeFirst.InitTables<UserInfo002>(); 

實體類定義規范:

[SugarTable("UserInfo001")] // 指定表名
public class UserInfo001 {[SugarColumn(IsPrimaryKey = true, IsIdentity = true)] // 主鍵且自增public int UserId { get; set; }[SugarColumn(Length = 50)] // 字段長度限制public string UserName { get; set; }public string Email { get; set; }public decimal Price { get; set; }public DateTime RegistrationDate { get; set; }
}

注意事項:

  • InitTables 自動同步實體屬性與表字段 。
  • 字段差異處理:通過 [SugarColumn] 配置數據類型、長度、主鍵等 。

四、CRUD 操作實現

  1. 插入數據
var id = db.Insertable(new UserInfo001() {UserName = "admin",Email = "dfafa@qq.com",Price = 1.1m,Context = "Context",RegistrationDate = DateTime.Now
}).ExecuteReturnIdentity(); // 返回自增主鍵值
  1. 查詢數據
// 按主鍵查詢
var userInfo = db.Queryable<UserInfo001>().InSingle(id); // 條件查詢
var list = db.Queryable<UserInfo001>().Where(u => u.Price > 10).ToList();
  1. 更新數據
userInfo.Email = "updated@qq.com";
db.Updateable(userInfo).ExecuteCommand(); 
  1. 刪除數據
db.Deleteable<UserInfo001>().Where(u => u.UserId == id).ExecuteCommand();

性能優化:

  • 批量操作使用 db.Fastest().BulkCopy() 提升海量數據寫入效率 。
  • DuckDB 的向量化引擎加速復雜查詢 。

五、常見問題解決方案

  1. DLL 加載失敗
  • 使用工具(如金山毒霸 DLL 修復)自動修復 。
  • 手動注冊:regsvr32 “C:\Path\To\SqlSugar.dll”(管理員權限)。
  1. 表結構同步異常
  • 檢查實體類屬性與數據庫類型的匹配(如 decimal 對應 DECIMAL)。
  • 通過 db.Ado.GetDataTable(“SELECT …”) 驗證表結構 。
  1. 連接配置錯誤
  • 確保 DbType = DbType.DuckDB,文件路徑權限正確 。
  • 內存模式路徑設為 “:memory:” 。

六、最佳實踐建議

  1. 適用場景選擇
  • DuckDB 適合 本地分析型任務(如數據清洗、報表生成),高并發事務場景建議用 SQLite/MySQL。
  1. 性能調優
  • 啟用 DuckDB 的 列式壓縮 減少存儲 。
  • 使用 db.Ado.CommandTimeOut=30 設置查詢超時 。
  1. 擴展性
  • 通過 MotherDuck 擴展至云端,實現混合查詢 。
  • 集成 Apache Arrow 實現零拷貝數據交換 。
    ?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/83592.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/83592.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/83592.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

React---day6、7

6、組件之間進行數據傳遞 **6.1 父傳子&#xff1a;**props傳遞屬性 父組件&#xff1a; <div><ChildCpn name"蔣乙菥" age"18" height"1,88" /> </div>子組件&#xff1a; export class ChildCpn extends React.Component…

Windows上用FFmpeg采集攝像頭推流 → MediaMTX服務器轉發流 → WSL2上拉流播放

1. Windows上 FFmpeg 推流&#xff08;攝像頭采集&#xff09; 設備名稱可用 ffmpeg -list_devices true -f dshow -i dummy 查詢&#xff0c;假設為Integrated Camera 采集推流示例&#xff08;推RTMP到MediaMTX&#xff09;&#xff1a; ffmpeg -rtbufsize 100M -f dshow …

SpringBoot1--簡單體驗

1 Helloworld 打開&#xff1a;https://start.spring.io/ 選擇maven配置。增加SpringWeb的依賴。 Generate之后解壓&#xff0c;代碼大致如下&#xff1a; hpDESKTOP-430500P:~/springboot2/demo$ tree ├── HELP.md ├── mvnw ├── mvnw.cmd ├── pom.xml └── s…

MATLAB 中調整超參數的系統性方法

在深度學習中&#xff0c;超參數調整是提升模型性能的關鍵環節。以下是 MATLAB 中調整超參數的系統性方法&#xff0c;涵蓋核心參數、優化策略及實戰案例&#xff1a; 一、關鍵超參數及其影響 超參數作用典型范圍學習率 (Learning Rate)控制參數更新步長&#xff0c;影響收斂…

根目錄0xa0屬性對應的Ntfs!_SCB中的FileObject是什么時候被建立的----NTFS源代碼分析--重要

根目錄0xa0屬性對應的Ntfs!_SCB中的FileObject是什么時候被建立的 第一部分&#xff1a; 0: kd> g Breakpoint 9 hit Ntfs!ReadIndexBuffer: f7173886 55 push ebp 0: kd> kc # 00 Ntfs!ReadIndexBuffer 01 Ntfs!FindFirstIndexEntry 02 Ntfs!NtfsUpda…

(二)stm32使用4g模塊(移遠ec800k)連接mqtt

下面代碼是隨手寫的&#xff0c;沒有嚴謹測試僅供參考測試 uint8_t msgBuf[200]{"msg from mcu"}; uint8_t txBuf[250]{0}; uint16_t msgid0; uint16_t mqttTaskState0; uint16_t t100msCount0; uint8_t sendFlag10; uint8_t sendFlag20; void t100msTask1(void) { …

哈希表入門:用 C 語言實現簡單哈希表(開放尋址法解決沖突)

目錄 一、引言 二、代碼結構與核心概念解析 1. 數據結構定義 2. 初始化函數 initList 3. 哈希函數 hash 4. 插入函數 put&#xff08;核心邏輯&#xff09; 開放尋址法詳解&#xff1a; 三、主函數驗證與運行結果 1. 測試邏輯 2. 運行結果分析 四、完整代碼 五、優…

Windows下運行Redis并設置為開機自啟的服務

下載Redis-Windows 點擊redis-windows-7.4.0下載鏈接下載Redis 解壓之后得到如下文件 右鍵install_redis.cmd文件&#xff0c;選擇在記事本中編輯。 將這里改為redis.windows.conf后保存&#xff0c;退出記事本&#xff0c;右鍵后選擇以管理員身份運行。 在任務管理器中能夠…

2025年ESWA SCI1區TOP,改進成吉思汗鯊魚算法MGKSO+肝癌疾病預測,深度解析+性能實測

目錄 1.摘要2.成吉思汗鯊魚優化算法GKSO原理3.MGKSO4.結果展示5.參考文獻6.代碼獲取7.算法輔導應用定制讀者交流 1.摘要 本文針對肝癌&#xff08;HCC&#xff09;早期診斷難題&#xff0c;提出了一種基于改進成吉思汗鯊魚優化算法&#xff08;MGKSO&#xff09;的計算機輔助診…

李沐-動手學深度學習:RNN

1.RNN從零開始實現 import math import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l#8.3.4節 #batch_size&#xff1a;每個小批量中子序列樣本的數目&#xff0c;num_steps&#xff1a;每個子序列中預定義的時間步數 #loa…

【C++ Qt】多元素控件(ListWidget、TableWidget、TreeWidget)

每日激勵&#xff1a;“不設限和自我肯定的心態&#xff1a;I can do all things。 — Stephen Curry” 緒論?&#xff1a; 本章將通過代碼示例詳細介紹了Qt中QListWidget、QTableWidget和QTreeWidget三種多元素控件的使用方法與核心功能&#xff0c;涵蓋列表的增刪操作、表格…

基于TI DSP控制的光伏逆變器最大功率跟蹤mppt

基于TI DSP&#xff08;如TMS320F28335&#xff09;控制的光伏逆變器最大功率跟蹤&#xff08;MPPT&#xff09;程序通常涉及以下幾個關鍵部分&#xff1a;硬件電路設計、MPPT算法實現、以及DSP的編程。以下是基于TI DSP的光伏逆變器MPPT程序的一個示例&#xff0c;主要采用擾動…

Python實現P-PSO優化算法優化卷積神經網絡CNN回歸模型項目實戰

說明&#xff1a;這是一個機器學習實戰項目&#xff08;附帶數據代碼文檔&#xff09;&#xff0c;如需數據代碼文檔可以直接到文章最后關注獲取。 1.項目背景 隨著人工智能和深度學習技術的快速發展&#xff0c;卷積神經網絡&#xff08;CNN&#xff09;在圖像分類、目標檢測…

計算機視覺入門:OpenCV與YOLO目標檢測

計算機視覺入門&#xff1a;OpenCV與YOLO目標檢測 系統化學習人工智能網站&#xff08;收藏&#xff09;&#xff1a;https://www.captainbed.cn/flu 文章目錄 計算機視覺入門&#xff1a;OpenCV與YOLO目標檢測摘要引言技術原理對比1. OpenCV&#xff1a;傳統圖像處理與機器學…

【PCB工藝】繪制原理圖 + PCB設計大綱:最小核心板STM32F103ZET6

繪制原理圖和PCB布線之間的聯系,在繪制原理圖的時候,考慮到后續的PCB設計+嵌入式軟件代碼的業務邏輯,需要在繪制原理圖之初涉及到 硬件設計流程的前期規劃。在嵌入式系統開發中,原理圖設計是整個項目的基礎,直接影響到后續的: PCB 布線效率和質量 ☆☆☆重點嵌入式軟件的…

Centos系統搭建主備DNS服務

目錄 一、主DNS服務器配置 1.安裝 BIND 軟件包 2.配置主配置文件 3.創建正向區域文件 4.創建區域數據文件 5.檢查配置語法并重啟服務 二、從DNS服務配置 1.安裝 BIND 軟件包 2.配置主配置文件 3.創建緩存目錄 4.啟動并設置開機自啟 一、主DNS服務器配置 1.安裝 BIN…

LeetCode[513]找樹左下角的值

思路&#xff1a; 找樹左下角的值&#xff0c;有可能這個值不是左葉子節點&#xff0c;可能是右葉子節點&#xff0c;但怎么說這個值都是葉子節點&#xff0c;首先這道題用層序遍歷的思路比如什么隊列和BSF的遞歸都可以做&#xff0c;但我比較喜歡用純遞歸來搞&#xff0c;因為…

ubuntu20.04.5--arm64版上使用node集成java

ubuntu20.04.5arm上使用node集成java #ssh&#xff0c;可選 sudo apt update sudo apt install openssh-server sudo systemctl status ssh sudo systemctl enable ssh sudo systemctl enable --now ssh #防火墻相關&#xff0c;可選 sudo ufw allow ssh sudo ufw allow 22…

更新 Docker 容器中的某一個文件

&#x1f504; 如何更新 Docker 容器中的某一個文件 以下是幾種在 Docker 中更新單個文件的常用方法&#xff0c;適用于不同場景。 ? 方法一&#xff1a;使用 docker cp 拷貝文件到容器中&#xff08;最簡單&#xff09; &#x1f9f0; 命令格式&#xff1a; docker cp <…

JavaEE->多線程:定時器

定時器 約定一個時間&#xff0c;時間到了&#xff0c;執行某個代碼邏輯&#xff08;進行網絡通信時常見&#xff09; 客戶端給服務器發送請求 之后就需要等待 服務器的響應&#xff0c;客戶端不可能無限的等&#xff0c;需要一個最大的期限。這里“等待的最大時間”可以用定時…