expdp導出分區表緩慢排查(Streams AQ: waiting for messages in the queue )

基本信息

單機,從老環境遷移到19.19。之前的導出速度接受范圍內。硬件是提升的

導出使用了壓縮,加密,并行64進程,表分區約90個,無lob字段。

現象

導出開始時能并行導出(并行約45個,沒起到64個懷疑跟分區較少有關),然后所有dump在70m左右時,只有一個dump開始持續增長。

dm,dw進程有正常啟動,worker數量也是45個。

空閑的worker事件為Streams AQ: waiting for messages in the queue?

導出開始時沒有報出estimate blocks的信息

嘗試增加large pool,依舊無法并行

嘗試調整access_method=extnernal_table,依舊無法并行

嘗試增加lstream pool,依舊無法并行

嘗試增加aq_tm_processes,依舊無法并行

轉機

觀察只在干活的worker導出進度,發現其一直在順序導出分區(part 110 part 111?part112這樣)。

聯想到沒有estimate blocks的信息,懷疑導出是機械性的分片操作,導致有數據的分區集中在干活的worker上。

查看分區的行數,發現大部分分區都沒有填充的統計信息。

收集該表的統計信息,然后重新正常導出,導出并行拉到20左右,多個dump在均衡增長。parallel在單個worker上有3的并行度

總結

巨大的知識性盲點。mos并沒有相關文獻可以參考。解決也是靠靈光一現。

{統計信息會影響導出的分片邏輯}

學習原理,積累工具;孵化思路,下筆有道

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/160261.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/160261.shtml
英文地址,請注明出處:http://en.pswp.cn/news/160261.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Cypress環境變量

Cypress環境變量 baseUrl 當你配置了 baseUrl ,測試套件中的 cy.visit() 、 cy.request() 都會自動以 baseUrl 的值作為前綴并且,當你需要訪問某些網址或者發起接口請求時,在代碼中就可以不用再指定請求的 host 或者 url 了 如何配置 base…

Java進階——多線程相關,實際應用中的積累,持續更新

目錄 多線程相關CountDownLatch賽跑的案例countDownLatch.await(300, TimeUnit.SECONDS); Java其他進階Map的put方法只放一個元素的集合 多線程相關 CountDownLatch 案例:主線程的執行需要等待子線程執行完,等各個線程執行完畢后,主線程做收…

redis的高可用(主從復制和哨兵模式)

redis的高可用(主從復制和哨兵模式) redis的性能管理:redis的數據緩存在內存當中 INFO memory:查看redis內存使用情況 used_memory:1800800:redis中數據占用的內存 used_memory_rss:5783552:redis向操作…

Halcon Solution Guide I basics(3): Region Of Interest(有興趣區域/找重點)

文章目錄 文章專欄前言文章解讀前言創建ROI案例1:直接截取ROI手動截取ROI 總結ROI套路獲取窗口句柄截取ROI區域獲取有效區域 Stop組合 文章專欄 Halcon開發 Halcon學習 練習項目gitee倉庫 CSDN Major 博主Halcon文章推薦 前言 今天來看第三章內容,既然是…

QTableWidget——編輯單元格

文章目錄 前言熟悉QTableWiget,通過實現單元格的合并、拆分、通過編輯界面實現表格內容及屬性的配置、實現表格的粘貼復制功能熟悉QTableWiget的屬性 一、[單元格的合并、拆分](https://blog.csdn.net/qq_15672897/article/details/134476530?spm1001.2014.3001.55…

Docker實踐筆記7:構建MySQL 8鏡像

使用Docker構建MySQL 8鏡像并運行容器 本教程將指導您使用Dockerfile構建和運行一個MySQL 8容器。讓我們開始吧! 步驟1:創建Dockerfile 在您的項目根目錄下創建一個名為Dockerfile的文件。以下是Dockerfile的示例內容: # 基于最新的MySQL…

docker、elasticsearch8、springboot3集成備忘

目錄 一、背景 二、安裝docker 三、下載安裝elasticsearch 四、下載安裝elasticsearch-head 五、springboot集成elasticsearch 一、背景 前兩年研究了一段時間elasticsearch,當時也是網上找了很多資料,最后解決個各種問題可以在springboot上運行了…

vue-使用input封裝上傳文件圖片全局組件

前言 實際開發過程中,我們經常遇見需要上傳文件圖片功能,可以封裝一個全局組件來調用 原理很簡單,首先獲取到文件或圖片對象,調用自己公司文檔服務器的接口,上傳文件圖片 為了方便用戶體驗,我們應該在上傳…

Godot

前言 為什么要研究開源引擎 主要原因有: 可以享受“信創”政策的紅利,非常有利于承接政府項目。中美脫鉤背景下,國家提出了“信創”政策。這個政策的核心就是,核心技術上自主可控。涉及的產業包括:芯片、操作系統、數據…

【Django使用】md文檔10大模塊第5期:Django數據庫增刪改查和Django視圖

Django的主要目的是簡便、快速的開發數據庫驅動的網站。它強調代碼復用,多個組件可以很方便的以"插件"形式服務于整個框架,Django有許多功能強大的第三方插件,你甚至可以很方便的開發出自己的工具包。這使得Django具有很強的可擴展…

Vue項目 配置項設置

一、項目運行時瀏覽器自動打開 找到package.json文件 找到"sctipts"配置項 在"serve"配置項最后加上--open "scripts": {"serve": "vue-cli-service serve --open","build": "vue-cli-service build&quo…

Redis面試內容,Redis過期策略,Redis持久化方式,緩存穿透、緩存擊穿和緩存雪崩,以及解決辦法

文章目錄 一、redis什么是RedisRedis使用場景1、緩存2、數據共享[分布式](https://so.csdn.net/so/search?q分布式&spm1001.2101.3001.7020)3、分布式鎖4、全局ID5、計數器6、限流7、位統計 Redis有5中數據類型: SSHLZRedis中一個key的值每天12點過期&#xff…

Cookie、Session、CBV加裝飾器的三種方法

【0】cookie、session和Token的發展史 【1】Cookie的形式 存儲形式:k:v鍵值對存儲位置:客戶端缺點:不安全,信息可能會泄露 【2】session的形式 標識符,表示我是當前用戶加密出來的數據對敏感信息進行加密…

排序算法-----快速排序(非遞歸實現)

目錄 前言 快速排序 基本思路 非遞歸代碼實現 前言 很久沒跟新數據結構與算法這一欄了,因為數據結構與算法基本上都發布完了,哈哈,那今天我就把前面排序算法那一塊的快速排序完善一下,前面只發布了快速排序遞歸算法,…

單鏈表相關面試題--3.鏈表的中間節點

3.鏈表的中間節點 876. 鏈表的中間結點 - 力扣(LeetCode) /* 解題思路: 通過快慢指針找到中間節點,快指針每次走兩步,慢指針每次走一步,當快指針走到結尾的時候,慢指針正好走到中間位置 */ typ…

HTTPS協議的加密流程

目錄 一,HTTPS是什么 二,兩種加密方式 三,HTTPS的加密過程 3.1 引入對稱加密 3.2 引入非對稱加密 3.3 引入證書 一,HTTPS是什么 HTTPS也是一個應用層協議,它是在HTTP協議的基礎上引入了一個加密層。因為HTTP協議…

每天一道算法題(十)——獲取和為k的子數組

文章目錄 1、問題2、示例3、解決方法(1)方法1——雙指針 總結 1、問題 給你一個整數數組 nums 和一個整數 k ,請你統計并返回 該數組中和為 k 的子數組的個數 。 子數組是數組中元素的連續非空序列。 2、示例 示例 1: 輸入&#x…

多分類自定義采樣比例

多分類自定義采樣比例 import torch from torch.utils.data import DataLoader, Dataset, WeightedRandomSampler from torchvision import transforms from torchvision.datasets import ImageFolder# 假設你有一個自定義的數據集類 class CustomDataset(Dataset):def __init…

51單片機按鍵控制LED燈亮滅的N個玩法

51單片機按鍵控制LED燈亮滅的N個玩法 1.概述 這篇文章介紹按鍵的使用,以及通過控制LED燈的小實驗,發現按鍵中存在的問題,然后思考并解決這些問題。達到熟練使用按鍵控制元器件。 2.搭建硬件環境 1.硬件準備 名稱型號數量單片機STC12C205…

2023全球數字貿易創新大賽9-12

目錄 回答評委提問:先說痛點-再說怎樣解決 食品安全溯源是否全流程 星火? 鏈網