服務概述
CRM系統在7/11日出現REDO日志產生量突增,達到平時產生量的20倍以上,對數據同步已經造成了較大的影響。工程師接到故障申報后,及時進行響應,通過對相關日志等信息的深入分析,整理匯總此文檔。
二、數據庫REDO產生量突境問題分析
-
- 數據庫運行狀態檢查
-
STATUS ??????INSTANCE_NAME ???START_TIME
------------ ---------------- --------------------
OPEN ????????crm1 ????????????2019/06/02 15:07:43
OPEN ????????crm2 ????????????2019/03/08 16:34:47
SQL>
OPEN_MODE ???????????NAME ?????DB_UNIQUE_NA FOR LOG_MODE ????DATABASE_ROLE ?????????DBID LANG ??????????????????????CURRT_TIME
-------------------- --------- ------------ --- ------------ ---------------- ---------- -------------------------- --------------------
READ WRITE ??????????CRM ??????crm ?????????YES ARCHIVELOG ??PRIMARY ?????????3793602241 AMERICAN_AMERICA.ZHS16GBK ?2019/07/11 21:34:10
-
- 數據庫redo log配置
STATUS ??????????????GROUP# MEMBER ??????????????????????????????????????????????????????????????MB ?SEQUENCE# ???THREAD#
---------------- ---------- ------------------------------------------------------------ ---------- ---------- ----------
INACTIVE ?????????????????1 +REDO/crm/onlinelog/group_1.275.985305107 ?????????????????????????2048 ?????10388 ?????????1
INACTIVE ?????????????????2 +REDO/crm/onlinelog/group_2.274.985305095 ?????????????????????????2048 ?????10389 ?????????1
INACTIVE ?????????????????3 +REDO/crm/onlinelog/group_3.273.985305083 ?????????????????????????2048 ?????10390 ?????????1
INACTIVE ?????????????????4 +REDO/crm/onlinelog/group_4.272.985305069 ?????????????????????????2048 ?????10391 ?????????1
INACTIVE ?????????????????5 +REDO/crm/onlinelog/group_5.256.985304057 ?????????????????????????2048 ?????10385 ?????????1
INACTIVE ?????????????????6 +REDO/crm/onlinelog/group_6.257.985304079 ?????????????????????????2048 ?????10386 ?????????1
CURRENT ??????????????????7 +REDO/crm/onlinelog/group_7.268.985304723 ?????????????????????????2048 ?????10394 ?????????1
INACTIVE ?????????????????8 +REDO/crm/onlinelog/group_8.269.985304815 ?????????????????????????2048 ?????10387 ?????????1
INACTIVE ?????????????????9 +REDO/crm/onlinelog/group_9.270.985304847 ?????????????????????????2048 ?????10392 ?????????1
INACTIVE ????????????????10 +REDO/crm/onlinelog/group_10.271.985304917 ????????????????????????2048 ?????10393 ?????????1
INACTIVE ????????????????21 +REDO/crm/onlinelog/group_21.258.985304107 ????????????????????????2048 ??????9390 ?????????2
INACTIVE ????????????????22 +REDO/crm/onlinelog/group_22.260.985304293 ????????????????????????2048 ??????9391 ?????????2
CURRENT ?????????????????23 +REDO/crm/onlinelog/group_23.259.985304475 ????????????????????????2048 ??????9392 ?????????2
INACTIVE ????????????????24 +REDO/crm/onlinelog/group_24.261.985304165 ????????????????????????2048 ??????9383 ?????????2
INACTIVE ????????????????25 +REDO/crm/onlinelog/group_25.262.985304493 ????????????????????????2048 ??????9384 ?????????2
INACTIVE ????????????????26 +REDO/crm/onlinelog/group_26.263.985304511 ????????????????????????2048 ??????9385 ?????????2
INACTIVE ????????????????27 +REDO/crm/onlinelog/group_27.264.985304525 ????????????????????????2048 ??????9386 ?????????2
INACTIVE ????????????????28 +REDO/crm/onlinelog/group_28.265.985304549 ????????????????????????2048 ??????9387 ?????????2
INACTIVE ????????????????29 +REDO/crm/onlinelog/group_29.266.985304607 ????????????????????????2048 ??????9388 ?????????2
INACTIVE ????????????????30 +REDO/crm/onlinelog/group_30.267.985304619 ????????????????????????2048 ??????9389 ?????????2
20 rows selected.
-
- 數據庫REDO產生量及切換頻率信息
分析最近三天的REDO日志切換頻率,可以發現7/11日上午10點-13點時REDO切換頻率最高
Date ????????????????THREAD ????Archives_in_last_3_days/hour
-------------------- ---------- ----------------------------
2019/07/09:00 ???????1 ????????????????????????????????????2
2019/07/09:00 ???????2 ????????????????????????????????????2
2019/07/09:04 ???????2 ????????????????????????????????????1
2019/07/09:08 ???????1 ????????????????????????????????????1
2019/07/09:08 ???????2 ????????????????????????????????????3
2019/07/09:09 ???????1 ????????????????????????????????????1
2019/07/09:09 ???????2 ????????????????????????????????????3
2019/07/09:10 ???????1 ????????????????????????????????????2
2019/07/09:10 ???????2 ????????????????????????????????????3
2019/07/09:11 ???????1 ????????????????????????????????????1
2019/07/09:11 ???????2 ????????????????????????????????????4
2019/07/09:12 ???????1 ????????????????????????????????????3
2019/07/09:12 ???????2 ????????????????????????????????????4
2019/07/09:13 ???????1 ????????????????????????????????????1
2019/07/09:13 ???????2 ????????????????????????????????????2
2019/07/09:14 ???????1 ????????????????????????????????????1
2019/07/09:14 ???????2 ????????????????????????????????????2
2019/07/09:15 ???????1 ????????????????????????????????????2
2019/07/09:15 ???????2 ????????????????????????????????????4
2019/07/09:16 ???????1 ????????????????????????????????????1
2019/07/09:16 ???????2 ????????????????????????????????????2
2019/07/09:17 ???????1 ????????????????????????????????????1
2019/07/09:17 ???????2 ????????????????????????????????????1
2019/07/09:19 ???????2 ????????????????????????????????????1
2019/07/09:20 ???????1 ????????????????????????????????????1
2019/07/09:20 ???????2 ????????????????????????????????????2
2019/07/09:21 ???????2 ????????????????????????????????????1
2019/07/09:22 ???????1 ????????????????????????????????????2
2019/07/09:22 ???????2 ????????????????????????????????????3
2019/07/09:23 ???????2 ????????????????????????????????????2
2019/07/10:00 ???????1 ????????????????????????????????????1
2019/07/10:00 ???????2 ????????????????????????????????????1
2019/07/10:01 ???????1 ????????????????????????????????????2
2019/07/10:01 ???????2 ????????????????????????????????????2
2019/07/10:03 ???????2 ????????????????????????????????????1
2019/07/10:05 ???????1 ????????????????????????????????????1
2019/07/10:05 ???????2 ????????????????????????????????????1
2019/07/10:08 ???????1 ????????????????????????????????????1
2019/07/10:08 ???????2 ????????????????????????????????????3
2019/07/10:09 ???????1 ????????????????????????????????????2
2019/07/10:09 ???????2 ????????????????????????????????????4
2019/07/10:10 ???????1 ????????????????????????????????????1
2019/07/10:10 ???????2 ????????????????????????????????????3
2019/07/10:11 ???????1 ????????????????????????????????????1
2019/07/10:11 ???????2 ????????????????????????????????????3
2019/07/10:12 ???????1 ????????????????????????????????????3
2019/07/10:12 ???????2 ????????????????????????????????????4
2019/07/10:13 ???????2 ????????????????????????????????????1
2019/07/10:14 ???????1 ????????????????????????????????????2
2019/07/10:14 ???????2 ????????????????????????????????????3
2019/07/10:15 ???????1 ????????????????????????????????????1
2019/07/10:15 ???????2 ????????????????????????????????????3
2019/07/10:16 ???????1 ????????????????????????????????????1
2019/07/10:16 ???????2 ????????????????????????????????????2
2019/07/10:17 ???????2 ????????????????????????????????????1
2019/07/10:18 ???????2 ????????????????????????????????????1
2019/07/10:19 ???????1 ????????????????????????????????????1
2019/07/10:20 ???????2 ????????????????????????????????????2
2019/07/10:21 ???????1 ????????????????????????????????????1
2019/07/10:21 ???????2 ????????????????????????????????????1
2019/07/10:22 ???????2 ????????????????????????????????????2
2019/07/10:23 ???????1 ????????????????????????????????????1
2019/07/10:23 ???????2 ????????????????????????????????????1
2019/07/11:00 ???????1 ????????????????????????????????????1
2019/07/11:01 ???????2 ????????????????????????????????????1
2019/07/11:08 ???????1 ????????????????????????????????????1
2019/07/11:08 ???????2 ????????????????????????????????????3
2019/07/11:09 ???????1 ????????????????????????????????????2
2019/07/11:09 ???????2 ????????????????????????????????????4
2019/07/11:10 ???????1 ???????????????????????????????????14
2019/07/11:10 ???????2 ????????????????????????????????????7
2019/07/11:11 ???????1 ???????????????????????????????????61
2019/07/11:11 ???????2 ???????????????????????????????????20
2019/07/11:12 ???????1 ???????????????????????????????????53
2019/07/11:12 ???????2 ???????????????????????????????????18
2019/07/11:13 ???????1 ???????????????????????????????????23
2019/07/11:13 ???????2 ????????????????????????????????????8
2019/07/11:14 ???????1 ????????????????????????????????????8
2019/07/11:14 ???????2 ????????????????????????????????????4
2019/07/11:15 ???????1 ????????????????????????????????????4
2019/07/11:15 ???????2 ????????????????????????????????????3
2019/07/11:16 ???????1 ???????????????????????????????????10
2019/07/11:16 ???????2 ????????????????????????????????????4
2019/07/11:17 ???????1 ???????????????????????????????????13
2019/07/11:17 ???????2 ????????????????????????????????????5
2019/07/11:18 ???????1 ????????????????????????????????????9
2019/07/11:18 ???????2 ????????????????????????????????????3
2019/07/11:19 ???????1 ????????????????????????????????????9
2019/07/11:19 ???????2 ????????????????????????????????????3
2019/07/11:20 ???????1 ???????????????????????????????????12
2019/07/11:20 ???????2 ????????????????????????????????????4
2019/07/11:21 ???????1 ????????????????????????????????????3
-
- 數據庫AWR報告分析
1.7/11日 10-13點數據
2.7/11日 13-18點數據
3.7/10日11-13點與7/11日 11-13點數據對
三、總結與后續處理建議
3.1 問題總結
問題排查思路:
1.找出REDO產生量大的時間段
首先查詢出數據庫每小時的REDO產生量,根據最近三天的REDO產生量的統計值可以發現11-13點產生量最大。
2.查找產生REDO量大的SQL或表
首先明確數據庫的REDO在數據發生變化時會對應產生,可以簡單認為是表中數據段有寫入動作(SQL的增刪改對應的數據變化都需要通過對表中數據段的寫入來實現);查詢不會產生REDO。因此著重排查涉及增刪改的SQL語句及寫入量排在前面的表。
3.問題排查過程
通過查詢10-13點數據庫數據變動量最大的表(通過寫入量來判斷,寫入即對應數據的變更,變更會產生REDO LOG,查詢不會產生REDO LOG);
同時通過對比正常時段(2019/7/10 11-13點)與問題時段(2019/7/11 11-13點)的數據庫AWR性能報告,通過對比數據寫入量及相應的數據寫入量大的表信息,可以與問題時段10-13點查出的變化量最大的表進行互相驗證。
SQL部分的查詢未有發現,原因可能是SQL執行速度較快并且未使用綁定變量,這種情況下AWR報告是獲取的相同SQL的匯總數據排序靠前的,單個SQL執行快是抓不到的。
4.排查結果
通過上述排查思路和排查方法有如下信息:
用查詢出的REDO產生量最大的時段11-13點為例:兩張表TZBOSS.BP_ACC_BILLITEM_DTL TZBOSS.CS_PROD_SUBSCRIPTION_HIS的數據寫入占整個數據庫在此期間寫入量的62.5%。
從2019/7/10 11-13點與2019/7/11 11-13點的數據庫AWR性能報告對比來看,2019/7/10 11-13點沒有發現對這兩張表的寫入。
7/11日 13-18點數據來看REDO產生量已經減少,此時從只有表TZBOSS.BP_ACC_BILLITEM_DTL的寫入較大,占總的25%。
3.2 后續處理建議
建議與應用程序開發部門溝通兩張表TZBOSS.BP_ACC_BILLITEM_DTL TZBOSS.CS_PROD_SUBSCRIPTION_HIS.涉及的業務邏輯是否發生了相應變化或新增。