oracle進程瞬間暴增,oracle goldengate ogg 源段傳輸進程lag延遲不斷增加的原因?

該樓層疑似違規已被系統折疊?隱藏此樓查看此樓

了解GoldenGate中LAG的含義

GGSCI中顯示的LAG代表 事務被寫入到磁盤介質中的時刻例如Oracle中redo被寫入到online redo logfile中 和 Replicat將同一個事務分發到目標數據庫的時刻 之間的時間間隔。

通俗地說,一個事務內的所有行記錄將對應同一個LAG; 除非出現了一個事務被打散且被多個REPLICAT分別apply或者變成多個事務的情況。 OGG參數例如RANGE這種對應于第一種情況,即一個事務被多個REPLICATE分別APPLY。 OGG參數MAXTRANSOPS對應后一種情況。

LAG在以下情況中被引入:

當Extract進程在讀取redolog并寫出到TRAIL或REMOTE HOST

當額外的datapump在讀取extract trail并通過網絡寫出到遠程節點REMOTE HOST

當collector在目標服務器上接受網絡數據并寫出到LOCAL TRAIL

當REPLICAT讀取LOCAL TRAIL并寫出到數據庫中

同時也需要注意通過GGSCI中INFO或STATUS等命令顯示的LAG,或通過SEND 對象名,LAG命令獲得的LAG可能不一致:

INFO命令所獲得的LAG可能與SEND命令所得值存在小的差別

INFO命令獲得的LAG返回自MANAGER來源于最近記錄的checkpoint

SEND , lag獲得的LAG值基于正在處理的行記錄的時間戳

LAG常使用時間單位或需要處理的數據單位Kilobytes來表達

歸根結底LAG是衡量 數據歸檔或寫出到日志的時間 和 EXTRACT/PUMP/REPLICAT處理該數據的時刻 這2個時間點之間的差距, 而不是說 LAG反映了EXTRACT還要工作多久。

實際EXTRACT/PUMP/REPLICAT都不知道自己要工作多久才能追上 REAL TIME,它們的LAG值只是顯示 最近它們處理的一條記錄的時間 和這條記錄被寫到REDO LOG的時間點之間的差距,即LAG只說明ER之前的工作延遲,不代表還要工作多久才能追平。

舉個例子來說,STOP EXTRACT之后等待一段時間再重啟看到有很大的LAG,這不代表EXTRACT有什么問題,只是EXTRACT最后處理的一條記錄 很早就在REDO LOG里生成了 而EXTRACT真正處理這條記錄是等了一段時間的而已。

GGSCI (XIANGBLI-CN) 27> stop load2

Sending STOP request to EXTRACT LOAD2 …

Request processed.

GGSCI (XIANGBLI-CN) 28> start load2

Sending START request to MANAGER …

EXTRACT LOAD2 starting

GGSCI (XIANGBLI-CN) 31> info load2

EXTRACT LOAD2 Last Started 2012-09-18 20:26 Status RUNNING

Checkpoint Lag 00:04:34 (updated 00:00:08 ago)

Log Read Checkpoint Oracle Redo Logs

2012-09-18 20:21:32 Seqno 44, RBA 13750272

SCN 0.1845479 (1845479)

GGSCI (XIANGBLI-CN) 35> lag load2

Sending GETLAG request to EXTRACT LOAD2 …

Last record lag: 130 seconds.

At EOF, no more records to process.

GGSCI (XIANGBLI-CN) 36> info load2

EXTRACT LOAD2 Last Started 2012-09-18 20:26 Status RUNNING

Checkpoint Lag 00:00:00 (updated 00:00:02 ago)

Log Read Checkpoint Oracle Redo Logs

2012-09-18 20:27:33 Seqno 44, RBA 13817856

SCN 0.1845671 (1845671)

以上可以看到 Last record lag 和 Checkpoint Lag 是不同的

EXTRACT/PUMP/REPLICAT 沒法預知自己什么時候能追平(catch up), 為什么? 因為雖然看上去可能有幾十個GB的redo要處理,但是實際符合EXTRACT/PUMP/REPLICAT 要的記錄可能很少。

又由于INFO的LAG是基于checkpoint的,所以如果出現大事務的情況Long Running Transactions (LRTs),事務可能長時間不提交COMMIT。 該事務可能變成一個最老而又最無聊的數據由于一直不COMMIT而無法寫出。 這將造成EXTRACT/PUMP/REPLICAT實際處理這個大事務的時間點遠落后于該大事務實際commit的時間點。 對于REPLICAT可以使用MAXTRANSOPS 參數來減少LAG。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/532261.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/532261.shtml
英文地址,請注明出處:http://en.pswp.cn/news/532261.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

python中文詞云圖代碼_Python簡單實現詞云圖代碼及步驟解析

一、安裝 wordcloud pip install wordcloud 二、加載包、設置路徑 import os from wordcloud import WordCloud import matplotlib.pyplot as plt os.chdir(E:\\pyspace\\tmp) 三、詞云圖示例 1、默認參數示例 text Keep it simple and stupid. wc WordCloud() # 實例化詞云圖…

linux 命令 空格轉義,在Linux中,如何轉義SCP復制路徑中的空格?

問題描述我是Linux新手,我想將文件從遠程復制到本地系統…現在,我在Linux系統中使用scp命令。當我嘗試將其復制時,我有一些文件夾或文件名帶有空格文件,它顯示錯誤消息:“沒有這樣的文件或目錄”我試過了:s…

usb大容量存儲設備驅動程序_20年歷史了!為什么USB接口還存在?網友:原來如此...

USB接口作為計算機領域應用最廣泛的數據接口,已有20多年的歷史。和它的名字一樣,USB(Universal Serial Bus)最初也是為統一的數據接口而設計的。你幾乎可以用它來代替計算機的各種外部數據接口,只需為它設計相應的驅動程序。隨著市場對USB接口…

linux終端炫酷命令,你不得不知道11個炫酷的 Linux 終端命令

很多朋友都很喜歡Linux ,Linux是一套免費使用和自由傳播的類Unix操作系統,是一個基于POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統,Linux是一款免費的操作系統,用戶可以通過網絡或其他途徑免費獲得,并可…

lasso回歸_一文讀懂線性回歸、嶺回歸和Lasso回歸

(圖片由AI科技大本營付費下載自視覺中國)作者 | 文杰編輯 | yuquanle本文介紹線性回歸模型,從梯度下降和最小二乘的角度來求解線性回歸問題,以概率的方式解釋了線性回歸為什么采用平方損失,然后介紹了線性回歸中常用的兩種范數來解決過擬合和…

springcloud架構特點_打造企業級微服務平臺架構,分布式應用場景管理

微服務平臺架構是一項在云中部署應用和服務的新技術。大部分圍繞微服務的爭論都集中在容器或其他技術是否能很好的實施微服務。微服務系統可以在“自己的程序”中運行,并通過“輕量級設備與HTTP型API進行溝通”。關鍵在于該服務可以在自己的程序中運行。通過這一點我…

linux 看防火墻的啟停日志,LINUX下防火墻iptables的日志管理

iptables的日志(log)由syslogd紀錄和管理。初始存放在 /var/log/messages里面。自動采取循環紀錄(rotation)的方式記錄。但是由于混在 messages中,對于管理和監視產生了不便。這里,我簡單介紹一下我的 iptables日志的管理,循環,和…

怎么判斷一個字符串的最長回文子串是否在頭尾_LeetCode 5 迅速判斷回文串的Manacher算法...

本文始發于個人公眾號: TechFlow題意Given a string s, find the longest palindromic substring in s. You may assume that the maximum length of s is 1000.Link: https://leetcode.com/problems/longest-palindromic-substring/翻譯給定一個字符串s&#xff0c…

linux內核沒有iobuf,LINUX2.6.26.6內核下雙口RAM的驅動函數測試成功!

驅動程序:#include //#include #include #include #include #include #include #include //#include #include //#include #include #include #include #include //#include #include #include #include #include #include #include #include MODULE_LICENSE("…

spring和mybatis結合做簡單的增刪查改系統_springbootamp;amp;vue簡單的景點信息管理系統...

springboot&&vue簡單的景點信息管理系統這兩天閑著沒有什么事,就根據陳哥的教程,試著寫了一個springboot和vue的簡單的景點信息管理系統。也就大致實現了最基本的增刪查改。先看看效果圖吧:1、登陸界面: 2、注冊界面&…

linux 內核 丟棄分片包,LINUX內核關于IP分片重組問題請教

最近研究學習IP分片重組,也拜讀了不少dx的閱讀理解。可還是有疑問,請教xdm。源代碼:linux-2.4.26\linux-2.4.26\net\ipv4\ip_fragment.cIP分片的重組大概經過以下幾個函數:0/ ip_defrag1/ ip_find-->ip_frag_create-->ip_frag_intern2/…

spark算子_十、Spark之詳解Action類算子

常用Action類算子列表reduce(func): 通過func函數來對RDD中所有元素進行聚合運算,先運算分區內數據,再運算分區間數據。scala> val rdd1 sc.makeRDD(1 to 100)rdd1: org.apache.spark.rdd.RDD[Int] ParallelCollectionRDD[4] at makeRDD at :24# 對…

linux 庫函數 劫持,Linux hook技術之-Ring3下動態鏈接庫.so函數劫持

劫持普通函數當然沒有什么意思了!我們要劫持的是系統函數!我們知道,Unix操作系統中對于GCC而言,默認情況下,所編譯的程序中對標準C函數(fopen、printf、execv家族等等函數)的鏈接,都是通過動態鏈接方式來鏈…

await原理 js_「速圍」Node.js V14.3.0 發布支持頂級 Await 和 REPL 增強功能

本周,Nodejs v14.3.0 發布。這個版本包括添加頂級 Await、REPL 增強等功能。REPL 增強通過自動補全改進對 REPL 的預覽支持,例如,下圖中當輸入 process.ver 之后,不需要輸入剩下的實際內容,它幫我們生成了自動補全的輸…

在linux安裝requests庫命令,在Linux--Ubuntu18.04環境下安裝requests庫

之前在服務器上裝過requests庫,但是記憶中花了好大的力氣才成功,現在因為一次意外,服務器重裝系統,現在這些亂七八糟的庫又要重裝一遍,與上次不同的是,這次我裝一遍就成功了。現在分享一下成功的經歷。Pyth…

linux輸入ls后不顯示_零基礎學習之Linux基礎命令小結

安裝完重啟后,沒有像sery所說在圖形界面崩潰了,由于我沒有安裝X-WINDOWS而是直接進入了文本界面。如果你想做linux管理的話,最好在文本界面下工作,這樣會適應如下圖:第一行顯示的是我們所安裝的linux是Red Hat 企業4第二行顯示的是…

redhat enterprise linux 哪個版本好,Red Hat Enterprise Linux 版本顯示中(Santiago)是啥意思?...

樓主的邏輯還有問題。1、linux跟windows都是一種操作系統,但是它用的分區格式是ext3的,ntfs和fat都不合適。安裝過程中你可以自己選擇刪除現有分區創建新分區,但如果你不了解,很可能把所有的分區都清了。2、redhat分區多大合適看你…

.gitignore文件_【第1739期】為Git倉庫里的.idea文件夾正名

前言.idea該不該提交到代碼倉庫中呢?你的意見呢?今日早讀文章由《Flask Web開發》作者李輝分享。正文從這開始~~在網絡上,我曾多次看到人們對于Git倉庫中的.idea文件夾的偏見。最近的一次是在某個博客中技術專家對于志…

監控linux時間不對,shell 計算故障時間 配合web監控

#!/bin/bash#checkfail.log 為SHELL監控網站時間存放的日志文件 https://blog.51cto.com/junhai/2437965fail_time(){starttimetail -n 1000 checkfail.log |grep "$url"|grep "第1次"|tail -n 3|head -n 1|awk {print $1, $2} #取網站掛掉的時間endtimet…

linux redis清空數據恢復,Redis數據恢復--誤刪數據后一次嚇尿的經歷

1、起因,一個flushdb命令因為誤操作,輸入了一個flushdb命令,導到redis里0號庫里的數據全部清空,OMG,這里有不少重要信息,如果被領導知道,必開除2、appendonly留有生機仔細想想,當時數…