空間不足導致Oracle集群內存使用率暴增

一、現象

?操作系統內存使用率告警，已達到98%,，告警內容如下：

【全景監控：Oracle主機內存使用監控】

【主機名】：XXXXX11

【主機IP】主機IP：*.126.15

【告警內容】當前內存使用率為98.9%，超警戒值90%

請及時處理

二、分析

1、查看操作系統內存使用情況

free -g

top

M

2、查看sga和pga分配的內存分別是：140g和40g。

3、集群日志發現如下報錯

2022-03-20 20:22:19.247: 
[ohasd(30064)]CRS-10000:CLSU-00100: Operating System function: mkdir failed with error data: 28
CLSU-00101: Operating System error message: No space left on device
CLSU-00103: error location: authprep6
CLSU-00104: additional error information: failed to make dir /u01/app/11.2.0/grid/auth/ohasd/gw11/A10760792022-03-20 20:22:19.248: 
[ohasd(30064)]CRS-10000:CLSU-00100: Operating System function: mkdir failed with error data: 28
CLSU-00101: Operating System error message: No space left on device
CLSU-00103: error location: authprep6
CLSU-00104: additional error information: failed to make dir /u01/app/11.2.0/grid/auth/ohasd/gw11/A0906893

4、查看內存排行榜，top M ohas.d占用率最高

5、根據alert的報錯日志查看空間使用率77%

[grid@gw11 crsd]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_user01-LogVol0450G  4.5G   43G  10% /
tmpfs                 126G  736M  126G   1% /dev/shm
/dev/sda1             190M   42M  139M  24% /boot
/dev/mapper/vg_user01-LogVol0120G   45M   19G   1% /tmp
/dev/mapper/vg_user01-LogVol02148G  108G   33G  77% /u01
/dev/mapper/vg_user01-LogVol009.8G  636M  8.6G   7% /var
/dev/mapper/vg_user01-ogg_vg493G  8.8G  459G   2% /ogg
/dev/sds              2.0T   76G  1.8T   4% /nfs

6、當前空間看并沒有不足，進一步查看刪除未釋放的空間，發現異常，存在大量刪除未釋放的文件，至此問題原因已明確，由于在刪除文件的時候，進程占用，導致空間未能釋放，從而引起空間不足。

[root@gw11 oraagent_grid]# lsof |grep delete
oracle     47876    oracle    3u      REG              253,5       7607   21495944 /ogg/dirrpt/R_P_JF9.rpt (deleted)
oracle     47876    oracle    5w      REG              253,5   10490641        114 /ogg/ggserr.log.9 (deleted)
oracle     47876    oracle    8w      REG              253,5       5876   21495906 /ogg/dirrpt/r_p_jf9.dsc (deleted)
server    246950    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
server    246951    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
server    246952    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
server    246953    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
oracle    257774    oracle    3u      REG              253,5       7310   21496010 /ogg/dirrpt/REP_FLO39.rpt (deleted)
oracle    257774    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257774    oracle    8w      REG              253,5       4855   21495982 /ogg/dirrpt/rep_flo39.dsc (deleted)
oracle    257775    oracle    3u      REG              253,5       7308   21496000 /ogg/dirrpt/REP_FLO29.rpt (deleted)
oracle    257775    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257775    oracle    8w      REG              253,5       4856   21495932 /ogg/dirrpt/rep_flo29.dsc (deleted)
oracle    257776    oracle    3u      REG              253,5       7310   21496013 /ogg/dirrpt/REP_FLO59.rpt (deleted)
oracle    257776    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257776    oracle    8w      REG              253,5       5003   21495861 /ogg/dirrpt/rep_flo59.dsc (deleted)
oracle    257777    oracle    3u      REG              253,5       7491   21496015 /ogg/dirrpt/REP_ORD19.rpt (deleted)
oracle    257777    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257777    oracle    8w      REG              253,5       5662   21496050 /ogg/dirrpt/REP_ORD19.dsc (deleted)
oracle    257778    oracle    3u      REG              253,5       6482   21495827 /ogg/dirrpt/REP_FLO19.rpt (deleted)
oracle    257778    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257778    oracle    8w      REG              253,5       5169   21495994 /ogg/dirrpt/rep_flo19.dsc (deleted)
oracle    257779    oracle    3u      REG              253,5       7474   21496020 /ogg/dirrpt/REP_ORD29.rpt (deleted)
oracle    257779    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257779    oracle    8w      REG              253,5       5522   21495877 /ogg/dirrpt/REP_ORD29.dsc (deleted)
oracle    257780    oracle    3u      REG              253,5       7474   21496028 /ogg/dirrpt/REP_ORD59.rpt (deleted)
oracle    257780    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257780    oracle    8w      REG              253,5       5498   21496153 /ogg/dirrpt/REP_ORD59.dsc (deleted)
oracle    257781    oracle    3u      REG              253,5       6481   21496014 /ogg/dirrpt/REP_FLOW9.rpt (deleted)
oracle    257781    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257781    oracle    8w      REG              253,5       4840   21495993 /ogg/dirrpt/rep_flow9.dsc (deleted)
oracle    257782    oracle    3u      REG              253,5       7310   21496012 /ogg/dirrpt/REP_FLO49.rpt (deleted)
oracle    257782    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257782    oracle    8w      REG              253,5       5099   21495977 /ogg/dirrpt/rep_flo49.dsc (deleted)
oracle    257783    oracle    3u      REG              253,5       7475   21496046 /ogg/dirrpt/REP_ORDE9.rpt (deleted)
oracle    257783    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257783    oracle    8w      REG              253,5       5662   21496148 /ogg/dirrpt/rep_orde9.dsc (deleted)
oracle    257785    oracle    3u      REG              253,5       7474   21496023 /ogg/dirrpt/REP_ORD39.rpt (deleted)
oracle    257785    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257785    oracle    8w      REG              253,5       5661   21496212 /ogg/dirrpt/REP_ORD39.dsc (deleted)
oracle    257786    oracle    3u      REG              253,5       7474   21496025 /ogg/dirrpt/REP_ORD49.rpt (deleted)
oracle    257786    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257786    oracle    8w      REG              253,5       5498   21496152 /ogg/dirrpt/REP_ORD49.dsc (deleted)
oracle    268915    oracle    3u      REG              253,5       7755   21496082 /ogg/dirrpt/REP_ICR49.rpt (deleted)
oracle    268915    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268915    oracle    8w      REG              253,5        330   21495988 /ogg/dirrpt/REP_ICR49.dsc (deleted)
oracle    268916    oracle    3u      REG              253,5       7801   21496080 /ogg/dirrpt/REP_ICR29.rpt (deleted)
oracle    268916    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268916    oracle    8w      REG              253,5        330   21495986 /ogg/dirrpt/REP_ICR29.dsc (deleted)
oracle    268917    oracle    3u      REG              253,5       7755   21496079 /ogg/dirrpt/REP_ICR19.rpt (deleted)
oracle    268917    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268917    oracle    8w      REG              253,5        330   21495987 /ogg/dirrpt/REP_ICR19.dsc (deleted)
oracle    268918    oracle    3u      REG              253,5       7755   21496083 /ogg/dirrpt/REP_ICR39.rpt (deleted)
oracle    268918    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268918    oracle    8w      REG              253,5        330   21495985 /ogg/dirrpt/REP_ICR39.dsc (deleted)
gpnpd.bin 370856      grid   36uw     REG              253,3          0     524808 /var/tmp/.oracle/ora_gipc_GPNPD_bywsgw11_lock (deleted)
gipcd.bin 370870      grid   34uw     REG              253,3          0     524816 /var/tmp/.oracle/ora_gipc_gipcd_bywsgw11_lock (deleted)
osysmond. 370883      root   58uw     REG              253,3          0     524818 /var/tmp/.oracle/ora_gipc_sbywsgw11gridbyicdb-clusterCRFM_CLIIPC_lock (deleted)
osysmond. 370883      root   60uw     REG              253,3          0     524820 /var/tmp/.oracle/ora_gipc_sbywsgw11gridbyicdb-clusterCRFM_SIPC_lock (deleted)
ocssd.bin 370964      grid   35uw     REG              253,3          0     524814 /var/tmp/.oracle/sOCSSD_LL_bywsgw11__lock (deleted)
ocssd.bin 370964      grid   94uw     REG              253,3          0     524844 /var/tmp/.oracle/sOracle_CSS_LclLstnr_byicdb-cluster_1_lock (deleted)
ocssd.bin 370964      grid  100uw     REG              253,3          0     524845 /var/tmp/.oracle/sOCSSD_LL_bywsgw11_byicdb-cluster_lock (deleted)
oracle    372244      grid   16w      REG              253,4        832    5657402 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_ping_372244.trc (deleted)
oracle    372244      grid   17w      REG              253,4         62    5657404 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_ping_372244.trm (deleted)
oracle    372246      grid   15w      REG              253,4     106031    5657393 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_dia0_372246_base_1.trc (deleted)
oracle    372246      grid   16w      REG              253,4      13846    5657394 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_dia0_372246_base_1.trm (deleted)
crsd.bin  373237      root   61uw     REG              253,3          0     524846 /var/tmp/.oracle/sprocr_local_conn_0_PROC_lock (deleted)
crsd.bin  373237      root  122uw     REG              253,3          0     524847 /var/tmp/.oracle/sCRSD_IPC_SOCKET_11_lock (deleted)
oracle    373253      grid   11u      REG              253,4        756    5657420 /u01/app/11.2.0/grid/rdbms/audit/+ASM1_ora_373253_20200815180326047345143795.aud (deleted)
oracle    373257      grid   13u      REG              253,4        756    5657421 /u01/app/11.2.0/grid/rdbms/audit/+ASM1_ora_373257_20200815180326173317143795.aud (deleted)
oracle    374115    oracle   16w      REG              253,4        886    5511353 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_ping_374115.trc (deleted)
oracle    374115    oracle   17w      REG              253,4         64    5511356 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_ping_374115.trm (deleted)
oracle    374185    oracle   18w      REG              253,4        877    5511337 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_asmb_374185.trc (deleted)
oracle    374185    oracle   19w      REG              253,4         64    5511338 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_asmb_374185.trm (deleted)
oracle    374197      grid   13u      REG              253,4        758    5657431 /u01/app/11.2.0/grid/rdbms/audit/+ASM1_ora_374197_20200815180410057079143795.aud (deleted)
oracle    399268    oracle    3u      REG              253,5       7241   21495844 /ogg/dirrpt/REP_REQE9.rpt (deleted)
oracle    399268    oracle    5w      REG              253,5   10490459        124 /ogg/ggserr.log.9 (deleted)
oracle    399268    oracle    8w      REG              253,5        740   21495867 /ogg/dirrpt/rep_reqe9.dsc (deleted)

三、解決

1、清理一些必要的無用日志釋放空間。

2、重啟集群，釋放被占用的內存。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/65523.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/65523.shtml
英文地址，請注明出處：http://en.pswp.cn/web/65523.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

spark匯總

spark匯總

目錄 描述運行模式1. Windows模式代碼示例 2. Local模式3. Standalone模式 RDD描述特性RDD創建代碼示例（并行化創建）代碼示例（讀取外部數據）代碼示例（讀取目錄下的所有文件） 算子DAGSparkSQLSparkStreaming…
閱讀更多...
矩母函數（MGF）

矩母函數（MGF）

矩母函數（MGF）簡介 矩母函數（Moment Generating Function，MGF）是概率統計中描述隨機變量分布特征的重要工具。MGF的主要用途是通過導數來計算隨機變量的矩（比如均值、方差等），同時它…
閱讀更多...
React中的合成事件

React中的合成事件

合成事件與原生事件 區別： 1. 命名不一樣，原生用純小寫方式，react用小駝峰的方式 原生：onclick React的：onClick 2. 事件處理函數的寫法不一樣 原生的是傳入一個字符串，react寫法傳入一個回調函數 3.…
閱讀更多...
ajax與json

ajax與json

目錄 1、ajax1.1、什么是ajax1.2、ajax核心AJAX 工作原理示例代碼重要屬性和方法兼容性 1.3、jQuery ajax什么是jQuery ajaxjQuery AJAX 核心概念基本用法1. **使用 $.ajax() 方法**2. **使用簡化方法****使用 $.get() 方法****使用 $.post() 方法** 常用配置選項示例&#xff…
閱讀更多...
CSS——26. 偽元素2（“::before ，::after”）

CSS——26. 偽元素2（“::before ，::after”）

::before偽類 <!DOCTYPE html> <html><head><meta charset"UTF-8"><title>偽元素</title><style type"text/css">div::before{content: "我最棒";}}</style></head><body><!--…
閱讀更多...
Openssl1.1.1s rpm包構建與升級

Openssl1.1.1s rpm包構建與升級

rpmbuild入門知識 openssh/ssl二進制升級 文章目錄 前言一、資源準備1.下載openssh、openssl二進制包2.安裝rpmbuild工具3.拷貝源碼包到SOURCES目錄下4.系統開啟telnet&#xff0c;防止意外導致shh無法連接5.編譯工具安裝6.補充說明 二、制作 OpenSSL RPM 包1.編寫 SPEC 文件2.…
閱讀更多...
patchwork++地面分割學習筆記

patchwork++地面分割學習筆記

參考資料&#xff1a;古月居 - ROS機器人知識分享社區 https://zhuanlan.zhihu.com/p/644297447 patchwork算法一共包含四部分內容&#xff1a;提出了以下四個部分&#xff1a;RNR、RVPF、A-GLE 和 TGR。 1&#xff09;基于 3D LiDAR 反射模型的反射噪聲消除 (RNR)&#xff…
閱讀更多...
基于Spring Boot的海濱體育館管理系統的設計與實現

基于Spring Boot的海濱體育館管理系統的設計與實現

風定落花生&#xff0c;歌聲逐流水&#xff0c;大家好我是風歌&#xff0c;混跡在java圈的辛苦碼農。今天要和大家聊的是一款基于springboot的海濱體育館管理系統的設計與實現。項目源碼以及部署相關請聯系風歌&#xff0c;文末附上聯系信息 。 項目簡介&#xff1a; 寵物醫院…
閱讀更多...
通過Android Studio修改第三方jar包并重新生成jar包

通過Android Studio修改第三方jar包并重新生成jar包

最近接手了來自公司其他同事的一個Unity項目，里面有一個封裝的jar包要改動一下，無奈關于這個jar包的原工程文件丟失了，于是自己動手來修改下jar包，并做下記錄。 一、導入第三方jar包 1、新建項目EditJarDemo(項目名隨便取) 2、新建libs文件夾，把你要修改的third.jar 復制…
閱讀更多...
淺嘗Selenium自動化框架

淺嘗Selenium自動化框架

淺嘗Selenium自動化框架 Selenium基本介紹Selenium原理Selenium學習要點寫個Selenium Demo結束 Selenium基本介紹 Selenium 是一個開源的自動化測試工具&#xff0c;只用于測試 Web 應用程序。它支持多種編程語言&#xff08;如 Java、Python、C# 等&#xff09;來編寫測試腳本…
閱讀更多...
計算機網絡之---物理層設備

計算機網絡之---物理層設備

什么是物理層設備 物理層設備是指負責數據在物理媒介上傳輸的硬件設備&#xff0c;它們主要處理數據的轉換、信號的傳輸與接收&#xff0c;而不涉及數據的內容或意義。常見的物理層設備包括網卡、集線器、光纖收發器、調制解調器等。 物理層設備有哪些 1、網卡&#xff08;N…
閱讀更多...
SQL中的數據庫對象

SQL中的數據庫對象

視圖&#xff1a;VIEW 概念 ① 虛擬表&#xff0c;本身不存儲數據&#xff0c;可以看做是存儲起來的SELECT語句 ② 視圖中SELECT語句中涉及到的表&#xff0c;稱為基表 ③ 針對視圖做DML操作&#xff0c;對影響到基表中的數據&#xff0c;反之亦然 ④ 創建、刪除視圖本身&#…
閱讀更多...
flink的EventTime和Watermark

flink的EventTime和Watermark

時間機制 Flink中的時間機制主要用在判斷是否觸發時間窗口window的計算。 在Flink中有三種時間概念&#xff1a;ProcessTime、IngestionTime、EventTime。 ProcessTime&#xff1a;是在數據抵達算子產生的時間&#xff08;Flink默認使用ProcessTime&#xff09; IngestionT…
閱讀更多...
web服務器架構，websocket

web服務器架構，websocket

1. 非前后端分離架構 1. 前端html后端servlet 被tomcat服務器打包&#xff0c;統一指定根目錄入口。通過原生表單發送到后端&#xff0c;后端根據請求數據進行重定向或請求轉發&#xff0c;這樣就不能進行動態渲染&#xff0c;也就必須存在很多靜態html對應每一個請求。 這里…
閱讀更多...
Ubuntu 下測試 NVME SSD 的讀寫速度

Ubuntu 下測試 NVME SSD 的讀寫速度

在 Ubuntu 系統下&#xff0c;測試 NVME SSD 的讀寫速度&#xff0c;有好多種方法&#xff0c;常用的有如下幾種&#xff1a; 1. Gnome-disks Gnome-disks&#xff08;也稱為“Disks”&#xff09;是 GNOME 桌面環境中的磁盤管理工具&#xff0c;有圖形界面&#xff0c;是測試…
閱讀更多...
SpringBoot之核心配置

SpringBoot之核心配置

學習目標&#xff1a; 1.熟悉Spring Boot全局配置文件的使用 2.掌握Spring Boot配置文件屬性值注入 3.熟悉Spring Boot自定義配置 4.掌握Profile多環境配置 5.了解隨機值設置以及參數間引用 1.全局配置文件 Spring Boot使用 application.properties 或者application.yaml 的文…
閱讀更多...
后端服務集成ElasticSearch搜索功能技術方案

后端服務集成ElasticSearch搜索功能技術方案

文章目錄 一、為什么選用ElasticSearch二、ElasticSearch基本概念1、文檔和字段2、索引和映射3、倒排索引、文檔和詞條4、分詞器 三、ElasticSearch工作原理1、Term Dictionary、Term index2、Stored Fields3、Docs Values4、Segment5、Lucene6、高性能、高擴展性、高可用①高性…
閱讀更多...
舉例說明AI模型怎么聚類,最后神經網絡怎么保存

舉例說明AI模型怎么聚類,最后神經網絡怎么保存

舉例說明怎么聚類,最后神經網絡怎么保存 目錄 舉例說明怎么聚類,最后神經網絡怎么保存K - Means聚類算法實現神經元特征聚類劃分成不同專家的原理和過程 特征提取： 首先，需要從神經元中提取有代表性的特征。例如，對于一個多層感知機（MLP）中的神經元，其權重向量可以作為特…
閱讀更多...
ocrmypdf使用時的cannot import name ‘PdfMatrix‘ from ‘pikepdf‘問題

ocrmypdf使用時的cannot import name ‘PdfMatrix‘ from ‘pikepdf‘問題

最近在做pdf的ocr,之前使用過ocrmypdf&#xff0c;打算再次使用&#xff0c;發現它更新了&#xff0c;所以就打算使用最新版 環境&#xff1a;win11anaconda 創建虛擬環境后安裝語句&#xff1a; pip install ocrmypdf -i https://pypi.tuna.tsinghua.edu.cn/simple pip in…
閱讀更多...
【JavaEE進階】獲取Cookie/Session

【JavaEE進階】獲取Cookie/Session

&#x1f340;Cookie簡介 HTTP協議自身是屬于 "?狀態"協議. "?狀態"的含義指的是: 默認情況下 HTTP 協議的客?端和服務器之間的這次通信,和下次通信之間沒有直接的聯系.但是實際開發中,我們很多時候是需要知道請求之間的關聯關系的. 例如登陸?站成…
閱讀更多...
最新文章

Copyright @ 2022~2023