CloudDBA新功能上線--SQL過濾/限制/防火墻

1 前言

CloudDBA是阿里云數據庫團隊開發的智能診斷和優化平臺,可以幫助用戶更好使用阿里云數據庫。
CloudDBA不斷提升算法和規則,更好的匹配更多用戶場景,剛剛上線了SQL過濾功能,用來解決某類SQL給系統帶來的沖擊。

2 功能描述

匹配用戶設置的關鍵字和并發數,對某類SQL(SELECT/UPDATE/DELETE)進行按并發數限流,當這一類SQL的并發小于并發數的進到Server層,大于并發數的丟棄。
該功能只能用來救急,不適合長時間運行。

3 對業務的影響

3.1 收益

限制了問題SQL后,保障DB Server端能正常響應正常業務的語句,保障大部分的業務正常運轉

3.2 弊端

如果設置了SQL防火墻,該SQL被限制后,應用端會收到1317錯誤,即

query execution was interrupted

4 適用場景

如果業務方能夠接受舍小(小部分業務損失)保大(大部分業務正常運轉),可以進行限流;
如果不能接受上述報錯,就要接受整個業務被拖垮的可能。

4.1 能解決的場景

4.1.1 某類SQL并發急劇上升,影響正常業務

比如緩存穿透,或者異常調用,可能會造成原來并發不大的SQL語句,并發量突然上升

4.1.2 有數據傾斜SQL,影響正常業務

比如大促時拉取某個特別大的數據,造成整體系統繁忙

4.1.3 未創建索引SQL,影響正常業務

比如新上線SQL調用量特別大,又沒有創建索引,造成整體系統繁忙

4.2 處理誤區

4.2.1 切換主備

以前碰到上述情況,見有的運維人員是切換主備嘗試解決上述問題,主備的配置是一樣的,如果主庫有問題,同樣的請求到備庫也是同樣的問題,所以切換是解決不了問題的。

4.2.2 kill問題語句

kill語句是可以減少系統壓力,未嘗不是一種處理手段。但是,請求是不斷進來的,不停kill語句手都酸了吧?

4.3 可以嘗試的解決方法

上面提到這個功能只是應急手段那么如何才能解決該類問題呢?

  • 提高緩存命中率
  • 使用只讀實例
  • 快速加索引

5 使用方式

5.1 路徑

RDS控制臺->找到具體實例->CloudDBA->問題診斷->SQL過濾
_21

5.2 找到要限制的SQL語句

通過"問題診斷"里面,觀察到某類SQL執行特別慢,并發又特別多時,這條語句可能就是問題SQL,經過再三確認(根據經驗,跟業務開發,跟老板)后就可以限制并發啦。
例如:
_22
想限制下面這類語句:

SELECT * FROM sbtest4 WHERE top_cmt_id=99738 AND status in (1,3)  and parent_cmt_id >= 0 order by add_time desc limit 0,20

就要執行下面的步驟

5.3 創建過濾規則

5.3.1 SQL類型

是限制SELECT語句還是限制UPDATE語句還是限制DELETE語句,安全起見默認支持SELECT語句,建議您也優先設置SELECT語句

5.3.2 最大并發度

該次限制的SQL最大允許在Server端跑多少個

5.3.3 限流時間

允許SQL過濾最大執行時間;超過了指定時間,就會自動終止該限制

5.3.4 SQL關鍵詞

SQL過濾的匹配關鍵詞,多個關鍵詞之間以~分隔,不要有空格之類的特殊字符
接著上面的例子,SQL關鍵詞我可以這樣拼寫

SELECT~FROM~sbtest4~WHERE~top_cmt_id~status~parent_cmt_id~order~add_time~desc

_23

5.4 重置/終止過濾規則

當遇到設置規則錯誤,或者想提前終止SQL過濾,可以執行該操作。
_24

5.5 查看過濾歷史記錄

凡是對該實例執行過SQL過濾功能的,都可以在這里查到記錄,方便排查問題。
_25

6 注意事項

  • 該功能只能用來救急,不適合長時間運行
  • 安全起見默認支持SELECT語句,建議您也優先限制SELECT語句
  • 該功能只能運行在MySQL 5.6版本
  • 該功能是內核層面上的改進,無論是使用高安全鏈路還是普通鏈路都可以使用
  • 可以設置多個SQL過濾(根據不同的關鍵詞)
  • 如果同一類型的SQL關鍵詞設置了多次,限制的并發按這幾個并發的和限制
  • 要限制的SQL語句匹配越嚴格越精準,對業務影響最小

如果設置的不夠精準,例如SQL關鍵詞是

SELECT~FROM~sbtest4

那匹配上述規則的SQL語句,哪怕是正常業務的,也可能被限制掉了

  • 被限制后的SQL在應用端會出現
1317 query execution was interrupted
  • 該限制只對被設置的實例生效,不影響主賬號下面的其他實例
  • 該限制規則只對新鏈接有效,如果想使用該規則,在設置過規則后,需要把老鏈接手動kill(在CloudDBA里可做)

如果您在使用CloudDBA過程中有什么問題,或者好建議,歡迎進群
image

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/538207.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/538207.shtml
英文地址,請注明出處:http://en.pswp.cn/news/538207.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

js導出的xlsx無法打開_js文件操作之——導出Excel (js-xlsx)

前陣子跟server同學討論一個Excel導出的需求,我說JS搞不定,需要server來做,被server同學強行打臉。今天研究了下,尼瑪,不光可以,還很強大了!總結:經驗是害人的,尤其是在發…

Linux上Svn環境搭建

一般情況下,Linux都是自帶SVN環境的。 查看svn是否安裝了 [14:50:28][rootVM60 ~]# rpm -aq subversion [14:50:30]subversion-1.6.11-9.el6_4.x86_64 [14:52:01][rootVM60 ~]# whereis svn [14:52:01]svn: /usr/bin/svn /usr/share/man/man1/svn.1.gz [14:55:…

android主流技術框架,android開發現在流行什么IDE和開發框架?

慕仙森idea, AS (android studio), adt, 其中 AS 是google 非常推薦的.看官網就知道了. 框架的話: xutils , andbase , volley等等,還有比較流行的UI界面效果,個性化控件等等.  關于 IDE 的優劣勢. 個人認為:各有各的好處.  對于以前 Java 的開發人員來說(我就是的,嘿嘿) ,…

聯想拯救者y7000加內存條_關于2020款聯想拯救者Y7000、R7000和Y7000P,r7000p選哪個好?看這里就對了...

朋友咨詢:作為傳媒行業,經常用到ps,pr,lr,ae,au,flash,3d max,edius等這些軟件,8000以內的預算,那么2020款聯想拯救者Y7000、R7000和Y7000P&#…

Hivesql里的limit使用誤區

select * from HIVE_D_MT_UU_H_SPARK limit 1000;讀取前1000行。需求:在hive表前1000行里,過濾出不重復的refid,imsi。錯誤的寫法:select distinct refid,imsi from HIVE_D_MT_UU_H_SPARK limit 1000;會去讀取全表,把0~1000行的不…

android 釋放bitmap fragment,,為什么重復Replace Fragment會內存泄漏

如圖&#xff0c;當點擊下面的兩個按鈕時&#xff0c;REPALCE上面的Fragmnet&#xff0c;共兩個&#xff0c;反復切換時發生了內存泄漏這是Fragment的代碼&#xff1a;public class Fragment2 extends Fragment {private List lb new ArrayList<>();NullableOverridepub…

Improved GAN

https://www.bilibili.com/video/av9770302/?p16 從之前講的basic gan延伸到unified framework&#xff0c;到WGAN 再到通過WGAN進行Generation和Transformation 復習一下GAN&#xff0c; 首先我們有一個目標&#xff0c;target分布&#xff0c;Pdata&#xff0c; 藍色部分表示…

cython加密代碼python_利用Cython對python代碼進行加密

利用Cython對python代碼進行加密Cython是屬于PYTHON的超集&#xff0c;他首先會將PYTHON代碼轉化成C語言代碼&#xff0c;然后通過c編譯器生成可執行文件。優勢&#xff1a;資源豐富&#xff0c;適合快速開發。翻譯成C后速度比較快&#xff0c;在windows環境中用cython加密后的…

Linux ftp 命令

[deepenvd26wyjl01 ~]$ ftp IP地址 Connected to 10.xxxx.191 (10.xxxx191). 220-FileZilla Server 0.9.53 beta 220-written by Tim Kosse (tim.kossefilezilla-project.org) 220 Please visit https://filezilla-project.org/ Name (10.xxxx.191:deepen): yzcloud 331 Passwo…

android viewpager 間隔,viewpager 系統兼容 clipChildren 頁卡間距

此效果在4.4以下有個bug&#xff0c;兩邊的會有遮蓋&#xff0c;但是一滑動就沒事了。。。此時需要給viewpager設置onpagerchangedListener 刷新父布局invalidateviewpager.setPagerMargin();//設置頁卡間隔viewpager.setOffscreenPageLimit(); 設置緩存數量viewpager的父布局…

python web驗證碼_python web框架Flask——手機短信驗證碼

下列代碼都是以自己的項目實例講述的&#xff0c;相關的文本內容很少&#xff0c;主要說明全在代碼注釋中。我是使用阿里云云通信的短信服務&#xff0c;第一次使用會摸不著頭緒&#xff0c;這里我們需要做些準備工作&#xff1a;1、登陸自己的賬號進入阿里云官網&#xff0c;沒…

機器學習:樣本集、驗證集(開發集)、測試集

樣本集、驗證集&#xff08;開發集&#xff09;、測試集。 Ripley, B.D&#xff08;1996&#xff09;在他的經典專著Pattern Recognition and Neural Networks中給出了這三個詞的定義。 Training set: A set of examples used for learning, which is to fit the parameters [i…

Linux ftp傳送問題 WARNING! 258831 bare linefeeds received in ASCII mode

WARNING! 258831 bare linefeeds received in ASCII mode 原因是傳輸時ftp的傳輸類型不一致。 在上傳的時候&#xff0c;選擇傳輸類型為 二進制 在Linux上用ftp命令get的時候&#xff0c;也要設置二進制 ftp> binary // 設置傳輸方式為binary

html輸入支付密碼樣式,基于JS實現類似支付寶支付密碼輸入框

基于JS實現類似支付寶支付密碼輸入框2019-01-06編程之家https://www.jb51.cc編程之家收集整理的這篇文章主要介紹了基于JS實現類似支付寶支付密碼輸入框&#xff0c;編程之家小編覺得挺不錯的&#xff0c;現在分享給大家&#xff0c;也給大家做個參考。本文實現的是一個類似支付…

海康+螢石云+云存儲多少錢一個月_400萬極清畫質 螢石C6Wi智能家居攝像機

作為全球最大安防企業海康威視旗下子品牌&#xff0c;螢石以“家庭安防”切入智能家居市場&#xff0c;螢石C6Wi作為一款融合目前市面上云臺攝像頭最新設計和最全功能的產品&#xff0c;其外觀設計獲得多項國際大獎&#xff0c;支持2K分辨率(25601440)及4倍變焦拍攝、微光全彩、…

unzip 報錯error [clas.zip]:? missing 1844 bytes in zipfile

error [clas.zip]: missing 1844 bytes in zipfile 解決方法&#xff1a; http://blog.csdn.net/zengmingen/article/details/78604574

Vue+axios統一接口管理

通過axios請求接口已經很簡單了&#xff0c;但最近在做一個vue項目&#xff0c;想著把axios請求再封裝一下&#xff0c;這樣api就可以只在一處配置成方法&#xff0c;在使用的時候直接調用這個方法。 但咱們不用每個接口都定義成一個啰嗦的axios請求方法&#xff0c;既然是想簡…

html網頁 table布局實例,HTML用Table表格對網頁布局

HTML是用于開發網頁的“超文本標記語言”&#xff0c;今天我們一起來學習一下HTMLCSS網頁布局中Table布局方式。常見的網頁布局用CSS而言一般有經典行布局、經典列布局、雙飛翼布局、圣杯布局等。今天小編教大家用Table表格布局。大家先來欣賞幾個網頁&#xff1a;這幾個網頁布…

vue設置輸入框輸入長度_Vue實現input寬度隨文字長度自適應操作

業務需求&#xff0c;輸入文字&#xff0c;后面的元要緊隨其后&#xff0c;奈何input默認是有寬度&#xff0c;我想要達到&#xff0c;輸入文字&#xff0c;動態改變input的寬度,試了很多方法&#xff0c;目前自己琢磨一種&#xff0c;有遇到問題的可以參考一下&#xff0c;直接…

JDBC 連接Hive 簡單樣例(開啟Kerberos)

今天在移動的云平臺上通過jdbc連接hive&#xff0c;發現云平臺使用了 kerberos的認證。與寧波實驗環境不同。 發現一文解決了問題&#xff0c;轉載如下&#xff1a; 原文地址&#xff1a;http://blog.csdn.net/zengmingen/article/details/78605086 -----------------------…