工作中遇到的spark SQL小問題:包含某個或某些字符的條件

今天又來總結工作中遇到的問題了,今天是SQL,spark引擎

需求描述,篩選渠道包含”線上化“的數據

也就是討論where里面的這個篩選條件怎么寫

一般起手都是

where QD like '%線上化%‘

學習了其他的寫法:

1.INSTR函數

where INSTR(QD,"線上化") <> 0

INSTR函數的介紹:

INSTR?函數通常用于查找一個子字符串在另一個字符串中首次出現的位置。如果找到子字符串,函數會返回其首次出現的位置(位置從 1 開始計數);如果未找到,函數會返回 0。

2.正則表達式匹配

where QD REGEXP "線上化"

好處在于,如果我的應用場景是包含多個字符串其中一個的

WHERE QD REGEXP '金融科技部|投資銀行部|人力資源部'

|?表示或關系,意味著只要?QD?列中的字符串包含 “金融科技部”、“投資銀行部” 或者 “人力資源部” 中的任意一個,就會被篩選出來。

正則表達式的匹配操作通常會比普通的字符串比較操作更耗費資源,所以在處理大量數據時,可能會對性能產生一定影響。

三者的比較,參考豆包的回復

功能

  • WHERE QD LIKE '%線上化%'LIKE?是 SQL 中用于字符串模糊匹配的操作符。%?是通配符,表示任意數量(包括零個)的任意字符。因此,'%線上化%'?表示匹配包含 “線上化” 的任意字符串。它只能處理簡單的通配符匹配,無法進行復雜的模式匹配。
  • WHERE INSTR(QD, "線上化") <> 0INSTR?是一個函數,用于返回子字符串在字符串中第一次出現的位置。如果?QD?列包含 “線上化”,則?INSTR(QD, "線上化")?的返回值大于 0;如果不包含,則返回 0。因此,INSTR(QD, "線上化") <> 0?表示?QD?列包含 “線上化”。
  • WHERE QD REGEXP "線上化"REGEXP?是 SQL 中的正則表達式匹配操作符,用于按照正則表達式模式來匹配字符串。“線上化” 是一個簡單的正則表達式模式,表示匹配包含 “線上化” 的字符串。正則表達式可以進行更復雜的模式匹配,如字符類、量詞、分組等。

性能

  • WHERE QD LIKE '%線上化%':由于?LIKE?操作符使用了通配符?%?在開頭,數據庫無法使用索引進行快速查找,因此性能通常較差,尤其是在處理大量數據時。
  • WHERE INSTR(QD, "線上化") <> 0INSTR?函數同樣無法利用索引進行優化,需要對每一行數據進行全字符串掃描,因此性能也較差。
  • WHERE QD REGEXP "線上化":正則表達式匹配通常比?LIKE?和?INSTR?更復雜,需要更多的計算資源,因此性能可能是三者中最差的。

總結

  • 如果只需要進行簡單的模糊匹配,建議使用?LIKE?操作符,因為它的語法簡單,性能相對較好。
  • 如果對性能要求不高,且需要使用函數進行更靈活的處理,可以使用?INSTR?函數。
  • 如果需要進行復雜的模式匹配,如匹配特定格式的字符串、進行字符類匹配等,則應使用?REGEXP?操作符。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/73456.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/73456.shtml
英文地址,請注明出處:http://en.pswp.cn/web/73456.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Git 命令操作完全指南

Git 是現代軟件開發中不可或缺的分布式版本控制系統。它不僅能追蹤代碼變更&#xff0c;還能協調多人協作、管理項目歷史。本文從核心概念入手&#xff0c;逐步深入講解 Git 的基礎與高級命令&#xff0c;結合實用場景&#xff0c;幫助您從入門到精通。 一、Git 核心概念 理解…

深入剖析帶頭循環雙向鏈表的實現與應用

引言 場景描述 想象一個 環形地鐵線路&#xff08;如深圳地鐵11號線&#xff09;&#xff0c;這條線路首尾相連&#xff0c;列車可以順時針或逆時針循環行駛。為了方便管理&#xff0c;地鐵系統設置了一個 “虛擬調度中心”&#xff08;頭節點&#xff09;&#xff0c;它不承…

DeepSeek Smallpond 在火山引擎 AI 數據湖的探索實踐

資料來源&#xff1a;火山引擎-開發者社區 DeepSeek Smallpond 介紹 Smallpond 是一套由 DeepSeek 推出的 、針對 AI 領域&#xff0c;基于 Ray 和 DuckDB 實現的輕量級數據處理引擎&#xff0c;具有以下優點&#xff1a; 1.輕量級 2.高性能 3.支持規模大 4.無需運維 5.P…

Linux進程間的通信

進程間通信 1.進程間通信介紹2.匿名命名管道原理操作 1.進程間通信介紹 1.1 進程間通信目的&#xff1a;一個進程需要將他的數據發送給另一個進程&#xff0c;大家應該都多少接觸過linux中的管道符"|"&#xff0c;這個符號就是用來多個命令執行&#xff0c;在Linux中…

直播預告 | TDgpt 智能體發布 時序數據庫 TDengine 3.3.6 發布會即將開啟

從海量監控數據&#xff0c;到工業、能源、交通等場景中實時更新的各類傳感器數據&#xff0c;時序數據正在以指數級速度增長。而面對如此龐雜的數據&#xff0c;如何快速分析、自動發現問題、精準預測未來&#xff0c;成為企業數字化轉型過程中的關鍵挑戰。 TDengine 的答案是…

手撕FIO工具指南:從壓測翻車到避坑實戰

文章目錄 手撕FIO工具指南&#xff1a;從壓測翻車到避坑實戰一、背景&#xff1a;一次FIO壓測引發的驚魂夜二、FIO vs 其他IO工具&#xff1a;為何讓人又愛又怕&#xff1f;三、安裝指南&#xff1a;避開依賴地獄四、參數詳解五、避坑指南&#xff1a;血淚經驗總結六、安全壓測…

智能汽車圖像及視頻處理方案,支持視頻星軌拍攝能力

美攝科技作為智能汽車圖像及視頻處理領域的先行者&#xff0c;正以革新性的技術引領著行業的未來發展。美攝科技智能汽車圖像及視頻處理方案&#xff0c;一個集高效性、智能化、畫質增強于一體的創新解決方案&#xff0c;旨在重塑智能汽車圖像畫質的新標準&#xff0c;并支持前…

B站左神算法課學習筆記(P7):圖

目錄 一、圖的存儲方式&#xff08;千奇百怪&#xff09; 1&#xff09;鄰接表 2&#xff09;鄰接矩陣 3&#xff09;其他 4&#xff09;推薦存儲方式&#xff08;代碼&#xff09; 二、圖的遍歷 &#xff08;1&#xff09;寬度優先遍歷 &#xff08;2&#xff09;深度…

深度解析「前綴和」與「差分法」:高效算法的基石

深度解析前綴和與差分法&#xff1a;高效算法的基石 在計算機科學和數據處理領域&#xff0c;前綴和&#xff08;Prefix Sum&#xff09;與差分法&#xff08;Difference Method&#xff09;是兩種基礎且高效的算法技術。它們在處理數組的區間查詢和區間修改操作時&#xff0c…

2-1 基本放大電路

放大的概念 mV →V mA→A 特征&#xff1a;放大功率&#xff08;電壓與電流&#xff09;。 本質&#xff1a;能量在控制下的轉換。&#xff08;外接供電電源&#xff09; 必要條件&#xff1a;有源元件&#xff08;能量控制原件&#xff09; 前提&#xff1a;不失真 測試的…

詳解接口的常見請求方式

詳解接口的常見請求方式 一、 常見接口請求方式1. GET2. POST3. PUT4. DELETE5. PATCH6. HEAD7. OPTIONS 二、 實現方法1. 前端實現2. 后端實現 三、 作用與主要區別四、 舉例講解1. 創建 Spring Boot 工程2. 添加依賴3. 編寫 Controller 實現接口關鍵點說明 4. 啟動與測試5. 總…

【附代碼】【MILP建模】3D裝箱問題(3D-Bin Packing Problem)

文章目錄 相關教程相關文獻問題描述建模思路——carton 方向平行軸建模方法&#xff08;9變量6約束&#xff09;平行軸建模方法&#xff08;4變量8約束&#xff09;枚舉建模方法&#xff08;6變量1約束&#xff09; 建模思路——carton 位置平行軸建模方法枚舉建模方法 Bin長寬…

【計算機網絡中的奈氏準則與香農定理】

文章目錄 一、前言二、奈氏準則1. 概念2. 奈氏準則公式3. 奈氏準則的意義 三、香農定理1. 概念2. 香農定理公式3. 香農定理的意義 四、奈氏準則與香農定理的對比五、應用示例1. 奈氏準則示例2. 香農定理示例 六、總結 一、前言 在計算機網絡中&#xff0c;數據的傳輸速率與信道…

【C++】回調函數和回調對象

文章目錄 回調可調用對象函數指針作回調函數對象作回調函數對象的使用std::function【C11】作回調使用 【C11】Lambda表達式作回調【C11】bind對象作回調std::bind的使用作回調使用 回調 當發生某種事件時需要調用或觸發另一個事件即為回調&#xff0c;回調的核心即為將可調用…

DeepSeek助力文案,智能音箱如何改變你的生活?

你好&#xff0c;我是三橋君 你有沒有為寫智能音箱的宣傳文案而抓耳撓腮過&#xff1f;三橋君在這方面可是有些感想&#xff0c;今天就來給你嘮嘮怎么用DeepSeek寫出超贊的智能音箱宣傳文案。 首先&#xff0c;你得給DeepSeek喂足“料”。這就好比做飯&#xff0c;你得準備好各…

【區塊鏈安全 | 第一篇】密碼學原理

文章目錄 1.哈希函數1.1 哈希函數的性質1.2 常見哈希算法1.3 Merkle Tree&#xff08;默克爾樹&#xff09;1.4 HMAC&#xff08;哈希消息認證碼&#xff09; 2. 公鑰密碼學2.1 對稱加密 vs 非對稱加密2.2 RSA 算法2.3 ECC&#xff08;橢圓曲線密碼學&#xff09;2.4 Diffie-He…

基于websocketpp實現的五子棋項目

該博客對于學完C和linux操作系統&#xff0c;但不知道如何用C開發項目&#xff0c;已經不知道C如何使用第三方庫的人來說一定很有幫助&#xff0c;請耐心看完&#xff01; 先看一下游戲會顯示的前端界面&#xff0c;對理解這個游戲的前后端交互過程會有幫助 1. 開發環境 1.1 …

基于Redis分布鎖+事務補償解決數據不一致性問題

基于Redis的分布式設備庫存服務設計與實現 概述 本文介紹一個基于Redis實現的分布式設備庫存服務方案&#xff0c;通過分布式鎖、重試機制和事務補償等關鍵技術&#xff0c;保證在并發場景下庫存操作的原子性和一致性。該方案適用于物聯網設備管理、分布式資源調度等場景。 …

RK3568筆記八十: Linux 小智AI環境搭建

若該文為原創文章&#xff0c;轉載請注明原文出處。 最近小智AI火了&#xff0c;韋老師出了 Linux 小智 AI 聊天機器人 版本&#xff0c;想移植到 RK3568上&#xff0c; 由于和韋老師硬件不同&#xff0c;所以需要交叉編譯一些庫&#xff0c;為后續移植做準備。 一、環境 1、…

C# SerialPort 使用詳解

總目錄 前言 在工業控制、物聯網、嵌入式開發等領域&#xff0c;串口通信&#xff08;Serial Port Communication&#xff09;是連接串行設備&#xff08;如條碼掃描器、GPS接收器等&#xff09;與計算機的重要手段。C# 提供了內置的 SerialPort 類&#xff0c;簡化了串口開發…