PARALLEL(并行)

在Oracle中,PARALLEL(并行)方式最大化調用計算機資源來成倍提高數據分析效率。

1. 用途

強行啟用并行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。
但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大于100萬時使用,效果也會比較明顯。

2. 語法

/*+parallel(table_short_name,cash_number)*/


這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

===========================================================================================================================

一、 并行查詢

并行查詢允許將一個sql select語句劃分為多個較小的查詢,每個部分的查詢并發地運行,然后將各個部分的結果組合起來,提供最終的結果,多用于全表掃描,索引全掃描等,大表的掃描和連接、創建大的索引、分區索引掃描、大批量插入更新和刪除
?
1. ? ?啟用并行查詢
SQL> ALTER TABLE T1 PARALLEL;
告知oracle,對T1啟用parallel查詢,但并行度要參照系統的資源負載狀況來確定。
利用hints提示,啟用并行,同時也可以告知明確的并行度,否則oracle自行決定啟用的并行度,這些提示只對該sql語句有效。
SQL> select /*+ parallel(t1 8) */ count(*)from t1;
?
SQL> select degree from user_tables where table_name='T1';
DEGREE
--------------------
? DEFAULT
?
并行度為Default,其值由下面2個參數決定
SQL> show parameter cpu
?
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?TYPE ? ? ? VALUE
----------------------------------------------- ------------------------------
cpu_count ? ? ? ? ? ? ? ? ? ? ? ? ? integer ? ?2
parallel_threads_per_cpu ? ? ? ? ? ?integer ? ?2
?
cpu_count表示cpu數
parallel_threads_per_cpu表示每個cpu允許的并行進程數
default情況下,并行數為cpu_count*parallel_threads_per_cpu
?
2. ? ?取消并行設置
SQL> alter table t1 noparallel;
SQL> select degree from user_tables wheretable_name='T1';
?
DEGREE
----------------------------------------
? ? ? ? 1
?
3. ? ?數據字典視圖
v$px_session
sid:各個并行會話的sid
qcsid:query coordinator sid,查詢協調器sid
?
二、 并行dml
并行dml包括insert,update,delete,merge,在pdml期間,oracle可以使用多個并行執行服務器來執行insert,update,delete,merge,多個會話同時執行,同時每個會話(并發進程)都有自己的undo段,都是獨立的一個事務,這些事務要么由pdml協調器進程提交,要么都rollback。
在一個有充足I/o帶寬的多cpu主機中,對于大規模的dml,速度可能會有很大的提升,尤其是在大型的數據倉庫環境中。
并行dml需要顯示的啟用
SQL> alter session enable parallel dml;
?
Disable并行dml
SQL> alter session disable parallel dml;
?
三、 并行ddl
并行ddl提供了dba使用全部機器資源的能力,常用的pddl有
create table as select ……
create index
alter index rebuild
alter table move
alter table split
在這些sql語句后面加上parallel子句

SQL> alter table t1 move parallel;
Table altered
SQL> create index T1_IDX on T1 (OWNER,OBJECT_TYPE)
?2 ? tablespace SYSTEM
3 ? ? ? ?parallel;
4 ? ? ? ?;

并行的實現機制是:?首先,Oracle?會創建一個進程用于協調并行服務進程之間的信息傳遞,這個協調進程將需要操作的數據集(比如表的數據塊)分割成很多部分,稱為并行處理單元,然后并行協調進程給每個并行進程分配一個數據單元。比如有四個并行服務進程,他們就會同時處理各自分配的單元,當一個并行服務進程處理完畢后,協調進程就會給它們分配另外的單元,如此反復,直到表上的數據都處理完畢,最后協調進程負責將每個小的集合合并為一個大集合作為最終的執行結果,返回給用戶。

?

并行處理的機制實際上就是把一個要掃描的數據集分成很多小數據集,Oracle?會啟動幾個并行服務進程同時處理這些小數據集,最后將這些結果匯總,作為最終的處理結果返回給用戶。

?

這種數據并行處理方式在OLAP系統中非常有用,OLAP系統的表通常來說都是非常大,如果系統的CPU比較多,讓所有的CPU共同來處理這些數據,效果就會比串行執行要高的多。

?

然而對于OLTP系統,通常來講,并行并不合適,原因是OLTP系統上幾乎在所有的SQL操作中,數據訪問路勁基本上以索引訪問為主,并且返回結果集非常小,這樣的SQL?操作的處理速度一般非常快,不需要啟用并行。

?

?

二.?并行處理的機制

????????????????當Oracle?數據庫啟動的時候,實例會根據初始化參數:

????????????????????????????????PARALLEL_MIN_SERVERS=n

????????????????的值來預先分配n個并行服務進程,當一條SQL?被CBO判斷為需要并行執行時發出SQL的會話進程變成并行協助進程,它按照并行執行度的值來分配進程服務器進程。

?

????????????????首先協調進程會使用ORACLE?啟動時根據參數:?parallel_min_servers=n的值啟動相應的并行服務進程,如果啟動的并行服務器進程數不足以滿足并行度要求的并行服務進程數,則并行協調進程將額外啟動并行服務進程以提供更多的并行服務進程來滿足執行的需求。?然后星星協調進程將要處理的對象劃分成小數據片,分給并行服務進程處理;并行服務進程處理完畢后將結果發送給并行協調進程,然后由并行協調進程將處理結果匯總并發送給用戶。

?

????????????????剛才講述的是一個并行處理的基本流程。?實際上,在一個并行執行的過程中,還存在著并行服務進程之間的通信問題。

????????????????在一個并行服務進程需要做兩件事情的時候,它會再啟用一個進程來配和當前的進程完成一個工作,比如這樣的一條SQL語句:

????????????????Select * from employees order by last_name;

???????????????

????????????????假設employees表中last_name?列上沒有索引,并且并行度為4,此時并行協調進程會分配4個并行服務進程對表employees進行全表掃描操作,因為需要對結果集進行排序,所以并行協調進程會額外啟用4個并行服務進程,用于處理4個進程傳送過來的數據,這新啟用的用戶處理傳遞過來數據的進程稱為父進程,用戶傳出數據(最初的4個并行服務進程)成為子進程,這樣整個并行處理過程就啟用了8個并行服務進程。?其中每個單獨的并行服務進程的行為叫作并行的內部操作,而并行服務進程之間的數據交流叫做并行的交互操作。

????????????????這也是有時我們發現并行服務進程數量是并行度的2倍,就是因為啟動了并行服務父進程操作的緣故。

三.?讀懂一個并行處理的執行計劃

?

CREATE TABLE emp2 AS SELECT * FROM employees;

ALTER TABLE emp2 PARALLEL 2;

?

EXPLAIN PLAN FOR

??SELECT SUM(salary) FROM emp2 GROUP BY department_id;

SELECT PLAN_TABLE_OUTPUT FROM TABLE(DBMS_XPLAN.DISPLAY());

?

--------------------------------------------------------------------------------------------------------

| Id??| Operation????????????????| Name?????| Rows??| Bytes | Cost (%CPU) |????TQ??|IN-OUT| PQ Distrib |

--------------------------------------------------------------------------------------------------------

|???0?| SELECT STATEMENT?????????|??????????|???107 |??2782 |?????3 (34)??|????????|??????|????????????|

|???1 |??PX COORDINATOR??????????|??????????|???????|???????|?????????????|????????|??????|????????????|

|???2 |???PX SEND QC (RANDOM)????| :TQ10001 |???107 |??2782 |?????3 (34)??|??Q1,01 |?P->S?| QC (RAND)??|

|???3 |????HASH GROUP BY?????????|??????????|???107 |??2782 |?????3 (34)??|??Q1,01 | PCWP |????????????|

|???4 |?????PX RECEIVE???????????|??????????|???107 |??2782 |?????3 (34)??|??Q1,01 | PCWP |????????????|

|???5 |??????PX SEND HASH????????| :TQ10000 |???107 |??2782 |?????3 (34)??|??Q1,00?| P->P?| HASH???????|

|???6 |???????HASH GROUP BY??????|??????????|???107 |??2782 |?????3 (34)??|??Q1,00 |?PCWP?|????????????|

|???7 |????????PX BLOCK ITERATOR |??????????|???107 |??2782 |?????2 (0)???|??Q1,00 |?PCWP?|????????????|

|???8 |?????????TABLE ACCESS FULL| EMP2?????|???107 |??2782 |?????2 (0)???|??Q1,00 |?PCWP?|????????????|

--------------------------------------------------------------------------------------------------------

?

The table EMP2 is scanned in parallel by one set of slaves while the aggregation for the GROUP BY is done by the second set. The PX BLOCK ITERATOR row source represents the splitting up of the table EMP2 into pieces so as to divide the scan workload between the parallel scan slaves. The PX SEND and PX RECEIVE row sources represent the pipe that connects the two slave sets as rows flow up from the parallel scan, get repartitioned through the HASH table queue, and then read by and aggregated on the top slave set. The PX SEND QC row source represents the aggregated values being sent to the QC in random (RAND) order. The PX COORDINATOR row source represents the QC or Query Coordinator which controls and schedules the parallel plan appearing below it in the plan tree.

?

????????????????上面這段文字是從Oracle?聯機文檔上蕩下來的。

http://download.oracle.com/docs/cd/E11882_01/server.112/e10821/ex_plan.htm#PFGRF94687

?

通過執行計劃,我們來看一下它的執行步驟:

????????????????(1)并行服務進程對EMP2表進行全表掃描。

????????????????(2)并行服務進程以ITERATOR(迭代)方式訪問數據塊,也就是并行協調進程分給每個并行服務進程一個數據片,在這個數據片上,并行服務進程順序地訪問每個數據塊(Iterator),所有的并行服務進程將掃描的數據塊傳給另一組并行服務進程(父進程)用于做Hash Group操作。

????????????????(3)并行服務父進程對子進程傳遞過來的數據做Hash Group操作。

????????????????(4)并行服務進程(子進程)將處理完的數據發送出去。

????????????????(5)并行服務進程(父進程)接收到處理過的數據。

????????????????(6)合并處理過的數據,按照隨即的順序發給并行協調進程(QC:Query Conordinator)。

????????????????(7)并行協調進程將處理結果發給用戶。

?

當使用了并行執行,SQL的執行計劃中就會多出一列:in-out。?該列幫助我們理解數據流的執行方法。?它的一些值的含義如下:

Parallel to Serial(P->S):?表示一個并行操作發送數據給一個串行操作,通常是并行incheng將數據發送給并行調度進程。

Parallel to Parallel(P->P):表示一個并行操作向另一個并行操作發送數據,疆場是兩個從屬進程之間的數據交流。

Parallel Combined with parent(PCWP):?同一個從屬進程執行的并行操作,同時父操作也是并行的。

Parallel Combined with Child(PCWC):?同一個從屬進程執行的并行操作,子操作也是并行的。

Serial to Parallel(S->P):?一個串行操作發送數據給并行操作,如果select?部分是串行操作,就會出現這個情況。

如何啟用并行?

?可以用hint、alter session或者設置對象并行屬性三種方式設置啟用并行。三種方式任意一種就可以使并行生效,如果多種方式同時存在的話,則優先級順序是:hint -> alter session -> table/index degree。

?

1.? 用途


強行啟用并行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。

但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大于100萬時使用,效果也會比較明顯。

2.? 語法

/*+parallel(table_short_name,cash_number)*/

這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

3.? 實例說明

用ERP中的transaction來說明下吧。這個table記錄了所有的transaction,而且每天數據量也算相對比較大的(根據企業自身業務量而定)。假設我們現在要查看對比去年一年當中每月的進、銷情況,所以,一般都會寫成:

select to_char(transaction_date,'yyyymm') txn_month,

?????? sum(

??????? decode(

??????????? sign(transaction_quantity),1,transaction_quantity,0
????????????? )

????????? ) in_qty,

?????? sum(

??????? decode(

??????????? sign(transaction_quantity),-1,transaction_quantity,0
????????????? )

????????? ) out_qty

? from mtl_material_transactions mmt

where transaction_date >= add_months(

??????????????????????????? to_date(????

??????????????????????????????? to_char(sysdate,'yyyy')||'0101','yyyymmdd'),

??????????????????????????????? -12)

?? and transaction_date <= add_months(

??????????????????????????? to_date(

??????????????????????????????? to_char(sysdate,'yyyy')||'1231','yyyymmdd'),

??????????????????????????????? -12)

group by to_char(transaction_date,'yyyymm')?

這個SQL執行起來,如果transaction_date上面有加index的話,效率還算過的去;但如果沒有加index的話,估計就會半個小時內都執行不出來。這是就可以在select 后面加上parallel說明。例如:
select /*+parallel(mmt,10)*/
?????? to_char(transaction_date,'yyyymm') txn_month,

...



這樣的話,會大大提高執行效率。如果要將檢索出來的結果insert到另一個表tmp_count_tab的話,也可以寫成:
insert /*+parallel(t,10)*/
? into tmp_count_tab

(

??? txn_month,

??? in_qty,

??? out_qty

)

select /*+parallel(mmt,10)*/
?????? to_char(transaction_date,'yyyymm') txn_month,

...



插入的機制和檢索機制差不多,所以,在insert后面加parallel也會加速的。關于insert機制,這里暫不說了。
Parallel后面的數字,越大,執行效率越高。不過,貌似跟server的配置還有oracle的配置有關,增大到一定值,效果就不明顯了。所以,一般用8,10,12,16的比較常見。我試過用30,發現和16的效果一樣。不過,數值越大,占用的資源也會相對增大的。如果是在一些package、function or procedure中寫的話,還是不要寫那么大,免得占用太多資源被DBA開K。
??

4.? Parallel也可以用于多表

多表的話,就是在第一后面,加入其他的就可以了。具體寫法如下:

/*+parallel(t,10) (b,10)*/

5.? 小結

關于執行效率,建議還是多按照index的方法來提高效果。Oracle有自帶的explan road的方法,在執行之前,先看下執行計劃路線,對寫好的SQL tuned之后再執行。實在沒辦法了,再用parallel方法。Parallel比較邪惡,對開發者而言,不是好東西,會養成不好習慣,導致很多bad SQL不會暴漏,SQL Tuning的能力得不到提升。我有見過某些人create table后,從不create index或primary key,認為寫SQL時加parallel就可以了。

==========================================================================================================================

Oracle Parallel Execution(并行執行)

關于Oracle?的并行執行,Oracle?官方文檔有詳細的說明:

????????????????????????????????Using Parallel Execution

http://download.oracle.com/docs/cd/E11882_01/server.112/e10837/parallel.htm#VLDBG010

This chapter covers tuning in a parallel execution environment and discusses the following topics:

  • Introduction to Parallel Execution
  • How Parallel Execution Works
  • Types of Parallelism
  • Initializing and Tuning Parameters for Parallel Execution
  • Tuning General Parameters for Parallel Execution
  • Monitoring Parallel Execution Performance
  • Miscellaneous Parallel Execution Tuning Tips

?

一.?????并行(Parallel)和OLAP系統

并行的實現機制是:?首先,Oracle?會創建一個進程用于協調并行服務進程之間的信息傳遞,這個協調進程將需要操作的數據集(比如表的數據塊)分割成很多部分,稱為并行處理單元,然后并行協調進程給每個并行進程分配一個數據單元。比如有四個并行服務進程,他們就會同時處理各自分配的單元,當一個并行服務進程處理完畢后,協調進程就會給它們分配另外的單元,如此反復,直到表上的數據都處理完畢,最后協調進程負責將每個小的集合合并為一個大集合作為最終的執行結果,返回給用戶。

?

并行處理的機制實際上就是把一個要掃描的數據集分成很多小數據集,Oracle?會啟動幾個并行服務進程同時處理這些小數據集,最后將這些結果匯總,作為最終的處理結果返回給用戶。

?

這種數據并行處理方式在OLAP系統中非常有用,OLAP系統的表通常來說都是非常大,如果系統的CPU比較多,讓所有的CPU共同來處理這些數據,效果就會比串行執行要高的多。

?

然而對于OLTP系統,通常來講,并行并不合適,原因是OLTP系統上幾乎在所有的SQL操作中,數據訪問路勁基本上以索引訪問為主,并且返回結果集非常小,這樣的SQL?操作的處理速度一般非常快,不需要啟用并行。

?

?

二.?并行處理的機制

????????????????當Oracle?數據庫啟動的時候,實例會根據初始化參數:

????????????????????????????????PARALLEL_MIN_SERVERS=n

????????????????的值來預先分配n個并行服務進程,當一條SQL?被CBO判斷為需要并行執行時發出SQL的會話進程變成并行協助進程,它按照并行執行度的值來分配進程服務器進程。

?

????????????????首先協調進程會使用ORACLE?啟動時根據參數:?parallel_min_servers=n的值啟動相應的并行服務進程,如果啟動的并行服務器進程數不足以滿足并行度要求的并行服務進程數,則并行協調進程將額外啟動并行服務進程以提供更多的并行服務進程來滿足執行的需求。?然后星星協調進程將要處理的對象劃分成小數據片,分給并行服務進程處理;并行服務進程處理完畢后將結果發送給并行協調進程,然后由并行協調進程將處理結果匯總并發送給用戶。

?

????????????????剛才講述的是一個并行處理的基本流程。?實際上,在一個并行執行的過程中,還存在著并行服務進程之間的通信問題。

????????????????在一個并行服務進程需要做兩件事情的時候,它會再啟用一個進程來配和當前的進程完成一個工作,比如這樣的一條SQL語句:

????????????????Select * from employees order by last_name;

???????????????

????????????????假設employees表中last_name?列上沒有索引,并且并行度為4,此時并行協調進程會分配4個并行服務進程對表employees進行全表掃描操作,因為需要對結果集進行排序,所以并行協調進程會額外啟用4個并行服務進程,用于處理4個進程傳送過來的數據,這新啟用的用戶處理傳遞過來數據的進程稱為父進程,用戶傳出數據(最初的4個并行服務進程)成為子進程,這樣整個并行處理過程就啟用了8個并行服務進程。?其中每個單獨的并行服務進程的行為叫作并行的內部操作,而并行服務進程之間的數據交流叫做并行的交互操作。

????????????????這也是有時我們發現并行服務進程數量是并行度的2倍,就是因為啟動了并行服務父進程操作的緣故。

?

?

三.?讀懂一個并行處理的執行計劃

?

CREATE TABLE emp2 AS SELECT * FROM employees;

ALTER TABLE emp2 PARALLEL 2;

?

EXPLAIN PLAN FOR

??SELECT SUM(salary) FROM emp2 GROUP BY department_id;

SELECT PLAN_TABLE_OUTPUT FROM TABLE(DBMS_XPLAN.DISPLAY());

?

--------------------------------------------------------------------------------------------------------

| Id??| Operation????????????????| Name?????| Rows??| Bytes | Cost (%CPU) |????TQ??|IN-OUT| PQ Distrib |

--------------------------------------------------------------------------------------------------------

|???0?| SELECT STATEMENT?????????|??????????|???107 |??2782 |?????3 (34)??|????????|??????|????????????|

|???1 |??PX COORDINATOR??????????|??????????|???????|???????|?????????????|????????|??????|????????????|

|???2 |???PX SEND QC (RANDOM)????| :TQ10001 |???107 |??2782 |?????3 (34)??|??Q1,01 |?P->S?| QC (RAND)??|

|???3 |????HASH GROUP BY?????????|??????????|???107 |??2782 |?????3 (34)??|??Q1,01 | PCWP |????????????|

|???4 |?????PX RECEIVE???????????|??????????|???107 |??2782 |?????3 (34)??|??Q1,01 | PCWP |????????????|

|???5 |??????PX SEND HASH????????| :TQ10000 |???107 |??2782 |?????3 (34)??|??Q1,00?| P->P?| HASH???????|

|???6 |???????HASH GROUP BY??????|??????????|???107 |??2782 |?????3 (34)??|??Q1,00 |?PCWP?|????????????|

|???7 |????????PX BLOCK ITERATOR |??????????|???107 |??2782 |?????2 (0)???|??Q1,00 |?PCWP?|????????????|

|???8 |?????????TABLE ACCESS FULL| EMP2?????|???107 |??2782 |?????2 (0)???|??Q1,00 |?PCWP?|????????????|

--------------------------------------------------------------------------------------------------------

?

The table EMP2 is scanned in parallel by one set of slaves while the aggregation for the GROUP BY is done by the second set. The PX BLOCK ITERATOR row source represents the splitting up of the table EMP2 into pieces so as to divide the scan workload between the parallel scan slaves. The PX SEND and PX RECEIVE row sources represent the pipe that connects the two slave sets as rows flow up from the parallel scan, get repartitioned through the HASH table queue, and then read by and aggregated on the top slave set. The PX SEND QC row source represents the aggregated values being sent to the QC in random (RAND) order. The PX COORDINATOR row source represents the QC or Query Coordinator which controls and schedules the parallel plan appearing below it in the plan tree.

?

????????????????上面這段文字是從Oracle?聯機文檔上蕩下來的。

http://download.oracle.com/docs/cd/E11882_01/server.112/e10821/ex_plan.htm#PFGRF94687

?

通過執行計劃,我們來看一下它的執行步驟:

????????????????(1)并行服務進程對EMP2表進行全表掃描。

????????????????(2)并行服務進程以ITERATOR(迭代)方式訪問數據塊,也就是并行協調進程分給每個并行服務進程一個數據片,在這個數據片上,并行服務進程順序地訪問每個數據塊(Iterator),所有的并行服務進程將掃描的數據塊傳給另一組并行服務進程(父進程)用于做Hash Group操作。

????????????????(3)并行服務父進程對子進程傳遞過來的數據做Hash Group操作。

????????????????(4)并行服務進程(子進程)將處理完的數據發送出去。

????????????????(5)并行服務進程(父進程)接收到處理過的數據。

????????????????(6)合并處理過的數據,按照隨即的順序發給并行協調進程(QC:Query Conordinator)。

????????????????(7)并行協調進程將處理結果發給用戶。

?

當使用了并行執行,SQL的執行計劃中就會多出一列:in-out。?該列幫助我們理解數據流的執行方法。?它的一些值的含義如下:

Parallel to Serial(P->S):?表示一個并行操作發送數據給一個串行操作,通常是并行incheng將數據發送給并行調度進程。

Parallel to Parallel(P->P):表示一個并行操作向另一個并行操作發送數據,疆場是兩個從屬進程之間的數據交流。

Parallel Combined with parent(PCWP):?同一個從屬進程執行的并行操作,同時父操作也是并行的。

Parallel Combined with Child(PCWC):?同一個從屬進程執行的并行操作,子操作也是并行的。

Serial to Parallel(S->P):?一個串行操作發送數據給并行操作,如果select?部分是串行操作,就會出現這個情況。

?

?

四.并行執行等待事件

????????????????在做并行執行方面的性能優化的時候,可能會遇到如下等待時間:

????????????????????????????????PX Deq Credit: send blkd

????????????????這是一個有并行環境的數據庫中,從statspack?或者AWR中經常可以看到的等待事件。?在Oracle 9i?里面,?這個等待時間被列入空閑等待。?關于等待時間參考:

????????????????Oracle?常見的33個等待事件

????????????????http://blog.csdn.net/tianlesoftware/archive/2010/08/12/5807800.aspx

?

一般來說空閑等待可以忽略它,但是實際上空閑等待也是需要關注的,因為一個空閑的等待,它反映的是另外的資源已經超負荷運行了。?基于這個原因,在Oracle 10g里已經把PX Deq Credit: send blkd等待時間不在視為空閑等待,而是列入了Others?等待事件范圍。

?

PX Deq Credit: send blkd?等待事件的意思是:?當并行服務進程向并行協調進程QC(也可能是上一層的并行服務進程)發送消息時,同一時間只有一個并行服務進程可以向上層進程發送消息,這時候如果有其他的并行服務進程也要發送消息,就只能等待了。?知道獲得一個發送消息的信用信息(Credit),這時候會觸發這個等待事件,這個等待事件的超時時間為2秒鐘。

?

????????????????如果我們啟動了太多的并行進程,實際上系統資源(CPU)或者QC?無法即時處理并行服務發送的數據,那么等待將不可避免。?對于這種情況,我們就需要降低并行處理的并行度。

?

????????????????當出現PX Deq Credit:send blkd等待的時間很長時,我們可以通過平均等待時間來判斷等待事件是不是下層的并行服務進程空閑造成的。該等待事件的超時時間是2秒,如果平均等待時間也差不多是2秒,就說明是下層的并行進程“無事所做”,處于空閑狀態。?如果和2秒的差距很大,就說明不是下層并行服務超時導致的空閑等待,而是并行服務之間的競爭導致的,因為這個平均等待事件非常短,說明并行服務進程在很短時間的等待之后就可以獲取資源來處理數據。

所以對于非下層的并行進程造成的等待,解決的方法就是降低每個并行執行的并行度,比如對象(表,索引)上預設的并行度或者查詢Hint?指定的并行度。

?

?

五.?并行執行的使用范圍

Oracle的并行技術在下面的場景中可以使用:

(1)???????Parallel Query(并行查詢)

(2)???????Parallel DDL(并行DDL操作,如建表,建索引等)

(3)???????Parallel DML(并行DML操作,如insert,update,delete等)

?

5.1?并行查詢

????????????????并行查詢可以在查詢語句,子查詢語句中使用,但是不可以使用在一個遠程引用的對象上(如DBLINK)。

?

????????????????一個查詢能夠并行執行,需要滿足一下條件:

(1)???????SQL語句中有Hint提示,比如Parallel?或者?Parallel_index.

(2)???????SQL語句中引用的對象被設置了并行屬性。

(3)???????多表關聯中,至少有一個表執行全表掃描(Full table scan)或者跨分區的Index range SCAN。

?

如:?select??/*+parallel(t 4) * from t;

?

5.2?并行DDL?操作

?

5.2.1?表操作的并行執行

????????????????以下表操作可以使用并行執行:

CREATE TABLE … AS SELECT

???????ALTER TABLE … move partition

???????Alter table … split partition

???????Alter table … coalesce partition

?

DDL操作,我們可以通過trace?文件來查看它的執行過程。

?

示例:

?

查看當前的trace?文件:

/* Formatted on 2010/8/31 23:33:00 (QP5 v5.115.810.9015) */

SELECT??????u_dump.VALUE

?????????||?'/'

?????????|| db_name.VALUE

?????????||?'_ora_'

?????????|| v$process.spid

?????????||?NVL2?(v$process.traceid,?'_'?|| v$process.traceid,?NULL)

?????????||?'.trc'

????????????"Trace File"

??FROM????????????v$parameter u_dump

???????????????CROSS?JOIN

??????????????????v$parameter db_name

????????????CROSS?JOIN

???????????????v$process

?????????JOIN

????????????v$session

?????????ON?v$process.addr?=?v$session.paddr

?WHERE???????u_dump.name?=?'user_dump_dest'

?????????AND?db_name.name?=?'db_name'

?????????AND?v$session.audsid?=?SYS_CONTEXT?('userenv',?'sessionid');

?

Trace File

------------------------------------------------------------------------------

d:/app/administrator/diag/rdbms/orcl/orcl/trace/orcl_ora_5836.trc

d:/app/administrator/diag/rdbms/orcl/orcl/trace/orcl_ora_3048.trc

?

SQL>?alter session set events '10046 trace name context forever,level 12';

會話已更改。

SQL> create table?懷寧?parallel 4 as select * from dba_objects;

表已創建。

SQL>?alter session set events '10046 trace name context off' ;

會話已更改。

?

這里用到了ORACLE的event?時間。?10046事件是用來跟蹤SQL語句的。開啟事件后,相關的信息會寫道trace?文件中,這也是之前我們查看trace?文件名的原因。?關于event事件,參考我的blog:

????????????????Oracle?跟蹤事件?set event

????????????????http://blog.csdn.net/tianlesoftware/archive/2009/12/13/4977827.aspx

?

有了trace文件,?我們可以用tkprof?工具,來查看trace?文件的內容。?關于tkprof?工具介紹,參考blog:

????????????????使用?Tkprof?分析?ORACLE?跟蹤文件

????????????????http://blog.csdn.net/tianlesoftware/archive/2010/05/29/5632003.aspx

?

?

進入trace?目錄,用tkprof命令生成txt?文件,然后查看txt?文件。

d:/app/Administrator/diag/rdbms/orcl/orcl/trace>tkprof orcl_ora_3048.trc?安慶.txt sys=no

TKPROF: Release 11.2.0.1.0 - Development on?星期二?8月?31 23:45:25 2010

Copyright (c) 1982, 2009, Oracle and/or its affiliates.??All rights reserved.

d:/app/Administrator/diag/rdbms/orcl/orcl/trace>

?

?

5.2.2?創建索引的并行執行

????????????????創建索引時使用并行方式在系統資源充足的時候會使性能得到很大的提高,特別是在OLAP系統上對一些很大的表創建索引時更是如此。?以下的創建和更改索引的操作都可以使用并行:

????????????????Create index

????????????????Alter index … rebuild

????????????????Alter index … rebuild partition

????????????????Alter index … split partition

?

一個簡單的語法:create index t_ind on t(id) parallel 4;

?

監控這個過程和5.2.1?中表一樣,需要通過10046事件。?這里就不多說了。

?

有關減少創建時間方法,參考blog:

????????????????如何加快建?index?索引?的時間

????????????????http://blog.csdn.net/tianlesoftware/archive/2010/07/11/5664019.aspx

?

?

總結:

使用并行方式,不論是創建表,修改表,創建索引,重建索引,他們的機制都是一樣的,那就是Oracle?給每個并行服務進程分配一塊空間,每個進程在自己的空間里處理數據,最后將處理完畢的數據匯總,完成SQL的操作。

?

?

5.3?并行DML?操作

????????????????Oracle?可以對DML操作使用并行執行,但是有很多限制。?如果我們要讓DML?操作使用并行執行,必須顯示地在會話里執行如下命令:

????????????????SQL> alter session enable parallel dml;

會話已更改。

?

????????????????只有執行了這個操作,Oracle?才會對之后符合并行條件的DML操作并行執行,如果沒有這個設定,即使SQL中指定了并行執行,Oracle也會忽略它。

?

5.3.1 delete,update和merge?操作

????????????????Oracle?對Delete,update,merge的操作限制在,只有操作的對象是分區表示,Oracle?才會啟動并行操作。原因在于,對于分區表,Oracle?會對每個分區啟用一個并行服務進程同時進行數據處理,這對于非分區表來說是沒有意義的。

?

5.3.2 Insert?的并行操作

????????????????實際上只有對于insert into … select …?這樣的SQL語句啟用并行才有意義。?對于insert into .. values…?并行沒有意義,因為這條語句本身就是一個單條記錄的操作。

?

????????????????Insert?并行常用的語法是:

????????????????????????????????Insert /*+parallel(t 2) */ into t select /*+parallel(t1 2) */ * from t1;

?

????????????????這條SQL?語句中,可以讓兩個操作insert?和select?分別使用并行,這兩個并行是相互獨立,互補干涉的,也可以單獨使用其中的一個并行。

?

?

六.?并行執行的設定

?

6.1?并行相關的初始話參數

?

6.1.1 parallel_min_servers=n

????????????????在初始化參數中設置了這個值,Oracle?在啟動的時候就會預先啟動N個并行服務進程,當SQL執行并行操作時,并行協調進程首先根據并行度的值,在當前已經啟動的并行服務中條用n個并行服務進程,當并行度大于n時,Oracle將啟動額外的并行服務進程以滿足并行度要求的并行服務進程數量。

?

6.1.2 parallel_max_servers=n

????????????????如果并行度的值大于parallel_min_servers或者當前可用的并行服務進程不能滿足SQL的并行執行要求,Oracle將額外創建新的并行服務進程,當前實例總共啟動的并行服務進程不能超過這個參數的設定值。

?

6.1.3 parallel_adaptive_multi_user=true|false

????????????????Oracle 10g R2下,并行執行默認是啟用的。?這個參數的默認值為true,它讓Oracle根據SQL執行時系統的負載情況,動態地調整SQL的并行度,以取得最好的SQL????執行性能。

?

6.1.4 parallel_min_percent

????????????????這個參數指定并行執行時,申請并行服務進程的最小值,它是一個百分比,比如我們設定這個值為50.?當一個SQL需要申請20個并行進程時,如果當前并行服務進程不足,按照這個參數的要求,這個SQL比如申請到20*50%=10個并行服務進程,如果不能夠申請到這個數量的并行服務,SQL?將報出一個ORA-12827的錯誤。

????????????????當這個值設為Null時,表示所有的SQL在做并行執行時,至少要獲得兩個并行服務進程。

?

?

6.2?并行度的設定

????????????????并行度可以通過以下三種方式來設定:

(1)使用Hint?指定并行度。

(2)使用alter session force parallel?設定并行度。

(3)使用SQL中引用的表或者索引上設定的并行度,原則上Oracle?使用這些對象中并行度最高的那個值作為當前執行的并行度。

?

?

示例:

????????????????SQL>Select /*+parallel(t 4) */ count(*) from t;

????????????????SQL>Alter table t parallel 4;

????????????????SQL>Alter session force parallel query parallel 4;

?

Oracle?默認并行度計算方式:

(1)Oracle?根據CPU的個數,RAC實例的個數以及參數parallel_threads_per_cpu的值,計算出一個并行度。

(2)對于并行訪問分區操作,取需要訪問的分區數為并行度。

?

并行度的優先級別從高到低:

????????????????Hint->alter session force parallel->表,索引上的設定->?系統參數

?

?

實際上,并行只有才系統資源比較充足的情況下,才會取得很好的性能,如果系統負擔很重,不恰當的設置并行,反而會使性能大幅下降。

?

?

七.?直接加載

????????????????在執行數據插入或者數據加載的時候,可以通過append hint的方式進行數據的直接加載。

?

在insert?的SQL中使用APPEND,如:

????????????????????????????????Insert /*+append */ into t select * from t1;

???????????????

還可以在SQL*LOADER里面使用直接加載:

???????Sqlldr userid=user/pwd control=load.ctl direct=true

?

Oracle?執行直接加載時,數據直接追加到數據段的最后,不需要花費時間在段中需找空間,數據不經過data buffer直接寫到數據文件中,效率要比傳統的加載方式高。

?

示例:

SQL> create table t as select * from user_tables;

表已創建。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA??EXTENT_ID??????BYTES

---------- ---------- ----------

T???????????????????0??????65536

T???????????????????1??????65536

T???????????????????2??????65536

T???????????????????3??????65536

T???????????????????4??????65536

?

這里我們創建了一張表,分配了5個extents。

?

SQL> delete from t;

已刪除979行。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA??EXTENT_ID??????BYTES

---------- ---------- ----------

T???????????????????0??????65536

T???????????????????1??????65536

T???????????????????2??????65536

T???????????????????3??????65536

T???????????????????4??????65536

?

這里刪除了表里的數據,但是查詢,依然占據5個extents。因為delete不會收縮表空間,不能降低高水位。

?

SQL> insert into t select * from user_tables;

已創建980行。

SQL> commit;

提交完成。

?

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA??EXTENT_ID??????BYTES

---------- ---------- ----------

T???????????????????0??????65536

T???????????????????1??????65536

T???????????????????2??????65536

T???????????????????3??????65536

T???????????????????4??????65536

?

用傳統方式插入,數據被分配到已有的空閑空間里。

?

?

SQL> delete from t;

已刪除980行。

SQL> commit;

提交完成。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA??EXTENT_ID??????BYTES

---------- ---------- ----------

T???????????????????0??????65536

T???????????????????1??????65536

T???????????????????2??????65536

T???????????????????3??????65536

T???????????????????4??????65536

?

刪除數據,用append直接插入看一下。

?

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

SQL> commit;

提交完成。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA??EXTENT_ID??????BYTES

---------- ---------- ----------

T???????????????????0??????65536

T???????????????????1??????65536

T???????????????????2??????65536

T???????????????????3??????65536

T???????????????????4??????65536

T???????????????????5??????65536

T???????????????????6??????65536

T???????????????????7??????65536

T???????????????????8??????65536

T???????????????????9??????65536

已選擇10行。

?

從結果可以看出,直接加載方式時,雖然表中有很多空的數據塊,Oracle?仍然會額外的分配4個extent用于直接加載數據。

????????????????直接加載的數據放在表的高水位(High water Mark:hwm)以上,當直接加載完成后,Oracle?將表的高水位線移到新加入的數據之后,這樣新的數據就可以被用戶使用了。

?

Oracle?高水位(HWM)

http://blog.csdn.net/tianlesoftware/archive/2009/10/22/4707900.aspx

?

?

7.1?直接加載和REDO

????????????????直接加載在logging模式下,與傳統加載方式產生的redo?日志差別不大,因為當一個表有logging屬性時,即使使用直接加載,所有改變的數據依然要產生redo,實際上是所有修改的數據塊全部記錄redo,以便于以后的恢復,這時候直接加載并沒有太大的優勢。

?

????????????????直接加載最常見的是和nologging一起使用,這時候可以有效地減少redo?的生成量。?注意的是,在這種情況下,直接加載的數據塊是不產生redo的,只有一些其他改變的數據產生一些redo,比如表空間分配需要修改字典表或者修改段頭數據塊,這些修改會產生少量的redo。

?

????????????????實際上,對于nologging?方式的直接加載,undo?的數據量也產生的很少,因為直接加載的數據并不會在回滾段中記錄,這些記錄位于高水位之上,在事務提交之前,對于其他用戶來說是不可見的,所以不需要產生undo,事務提交時,Oracle?將表的高水位線移到新的數據之后,如果事務回滾,只需要保持高水位線不動即可,就好像什么都沒有發生一樣。

?

????????????????注意,由于在nologging模式下,redo?不記錄數據修改的信息,所以直接加載完后,需要立即進行相關的備份操作,因為這些數據沒有記錄在歸檔日志中,一旦數據損壞,只能用備份來恢復,而不能使用歸檔恢復。

?

Logging模式下示例:

SQL> set autot trace stat;

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

????????132??recursive calls

?????????87??db block gets

???????8967??consistent gets

??????????0??physical reads

?????286572??redo size

????????911??bytes sent via SQL*Net to client

???????1017??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????2??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

SQL> rollback;

回退已完成。

SQL> insert into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

??????????0??recursive calls

????????144??db block gets

???????9027??consistent gets

??????????0??physical reads

?????267448??redo size

????????927??bytes sent via SQL*Net to client

???????1004??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????2??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

?

Nologging模式下示例:

SQL>?alter table t nologging;

表已更改。

SQL>?insert into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

????????239??recursive calls

????????132??db block gets

???????9061??consistent gets

??????????0??physical reads

?????262896??redo size

????????927??bytes sent via SQL*Net to client

???????1004??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????7??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

SQL>?rollback;

回退已完成。

SQL>?insert /*+append */ into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

??????????8??recursive calls

?????????40??db block gets

???????8938??consistent gets

??????????0??physical reads

????????340??redo size??-- redo?減少很多

????????911??bytes sent via SQL*Net to client

???????1017??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????2??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

?

這部分內容也可參考Blog:

????????????????Oracle DML NOLOGGING

http://blog.csdn.net/tianlesoftware/archive/2010/07/11/5701596.aspx

?

?

7.2?直接加載和索引

????????????????如果直接加載的表上有索引,Oracle不會像加載數據的方式那樣來處理索引的數據,但是它同樣需要維護一個索引,這個成本很高,同時會生成很多的redo。

????????????????所以當使用直接加載時,通常是針對一些數據量非常大的表。如果這些表存在索引,將會帶來很大的性能影響,這時可以考慮先將索引disable或者drop掉,等加載數據后,之后在重新建立索引。

?

nologging示例:

?

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

?

統計信息

----------------------------------------------------------

??????????0??recursive calls

?????????40??db block gets

???????8936??consistent gets

??????????0??physical reads

????????384??redo size

????????911??bytes sent via SQL*Net to client

???????1017??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????2??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

?

SQL> rollback;

回退已完成。

SQL> create index t_ind on t(table_name);

索引已創建。

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

?

統計信息

----------------------------------------------------------

?????????40??recursive calls

????????170??db block gets

???????8955??consistent gets

??????????4??physical reads

?????149424??redo size

????????911??bytes sent via SQL*Net to client

???????1017??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????3??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

SQL> rollback;

回退已完成。

SQL>?insert??into t select * from user_tables;

已創建980行。

?

統計信息

----------------------------------------------------------

??????????8??recursive calls

????????828??db block gets

???????9037??consistent gets

??????????0??physical reads

?????382832??redo size

????????927??bytes sent via SQL*Net to client

???????1005??bytes received via SQL*Net from client

??????????4??SQL*Net roundtrips to/from client

??????????2??sorts (memory)

??????????0??sorts (disk)

????????980??rows processed

SQL> rollback;

回退已完成。

?

?

7.3?直接加載和并行

????????????????直接加載可以和并行執行一同使用,這樣可以并行地向表中插入數據。?如:

???????????????

SQL>alter session enable parallel dml;??--?這里必須顯示的申明

SQL>insert /*+append parallel(t,2) */ into t select * from t1;

SQL>insert /*+append */ into t select * from t1;

?

注:在對insert?使用并行時,Oracle自動使用直接加載的方式進行數據加載,所以在這種情況下append是可以省略的。

?

????????????????當使用并行加載時,Oracle?會按照并行度啟動相應數量的并行服務進程,像串行執行的直接加載的方式一樣,每個并行服務進程都單獨分配額外的空間用于加載數據,實際上Oracle?為每個并行服務進程分配了一個臨時段,每個并行服務進程將數據首先加載到各自的臨時段上,當所有的并行進程執行完畢后,將各自的數據塊合并到一起,放到高水位之后,如果事務提交,則將高水位移到新加載的數據之后。

?

?

7.4?直接加載和SQL*LOADER

????????????????在SQL*LOADER中也可以使用直接加載,它比傳統方式效率更高,因為它繞開了SQL的解析和數據緩沖區,直接將數據加載到數據文件,這對OLAP或者數據倉庫系統非常有用。

?

指定加載:

????????????????Sqlldr userid=user/pwd control=control.ctl?direct=true

?

指定并行和加載:

????????????????Sqlldr userid=user/pwd control=control.ctl direct=true parallel=true

?

?

SQL*LOADER直接加載對索引的影響:

(1)索引為非約束性,直接加載可以在加載完畢后維護索引的完整性。

(2)索引為約束性索引,比如主鍵,直接加載仍然會將數據加載入庫,但是會將索引置為unusable.

?

?

如果使用SQL*LOADER的并行直接加載選項,并且表上有索引,將導致加載失敗,這是我們可以在sqlloader中指定skip_index_maintenance=true,?來允許加載完成,但是索引狀態會變成unusable,需要手工rebuild.

?

關于SQL*LOADER的更多內容,參考blog:

????????????????Oracle SQL Loader

????????????????http://blog.csdn.net/tianlesoftware/archive/2009/10/16/4674063.aspx

?

zhaizi:ttp://blog.csdn.net/tianlesoftware/article/details/5854583

=========================================================================================================================

Oracle并行FAQ

關于Oracle并行的一些簡單小結。

? 什么是并行?

并行是Oracle為了提高大數據量的運算效率而提供多進程協作技術,它可以讓多個CPU同時處理一個計算任務,充分使用系統資源,提高計算效率。

? 什么操作支持并行?

大部分的DML(insert/update/delete/merge)、DDL、Query都支持并行操作。

? 什么情況下需要啟用并行?

并不是所有的SQL都應該使用并行。要使用并行需滿足以下兩個條件,否則結果可能適得其反:

1) 機器有充分的空閑資源(CPU、內存等)

2) 參與運算的數據量大。在當前系統初定于參與運算數據量大于10GB或者SQL運行時間超過30分鐘可考慮使用并行。

? 如何啟用并行?

?可以用hint、alter session或者設置對象并行屬性三種方式設置啟用并行。三種方式任意一種就可以使并行生效,如果多種方式同時存在的話,則優先級順序是:hint -> alter session -> table/index degree。

?

?

hint

alter session

table/index degree

Query

select /*+ parallel(a,8) */count(1) from table_name a;

alter session force query parallel 8;

?

select count(1) from table_name a;

alter table table_name parallel 8;

?

select count(1) from table_name a;

DML

默認情況下,parallel dml是禁用的,需要先用alter session啟用:

alter session enable parallel dml;

?

update /*+ parallel(a,8) */ table_name a set col1=1;

alter session force parallel dml parallel 8;

?

update table_name a set col1=1;

alter session enable parallel dml;

alter table table_name parallel 8;

update table_name a set col1=1;

以上三步缺一不可。

DDL

alter session force parallel ddl parallel 8;

create table table_name as select * from ……

?

create table table_name parallel 8 as select * from ……

?

create index index_name …… parallel 8;

?

注意:

1) 上述的alter session enable只是表示讓當前會話支持并行,最終并行需要通過hint或者table/index degree來實現;而alter session force表示強制并行,無需hint等配合使用。

2) 建議在hint或者alter session中控制并行,不要通過修改表或者索引的屬性(degree)來控制。在查詢頻繁的情況下,把表或者索引的并行度改大可能會導致嚴重的性能問題。

? 對于insert ……select ……如何設置并行?

insert……select….包含兩個部分,query和dml,可以為這兩個部分分別設置并行度。因為insert操作是dml,因此還需要通過alter session方式把pdml啟用,如:

?alter session enable parallel dml;

?insert /*+ append parallel(a,4) */ into table_a a

select /*+ parallel(b,8) */ * from table_b b where ……;

? 在存儲過程/包中如何啟用并行?

參考上文所述。唯一的區別是如果需要執行alter session,則需要用動態語句執行,如:

execute immediate ‘alter session enable parallel dml’;

? 并行度該設置多大?

一般來說,并行度越大SQL的執行效率越高,但是不建議設置超過CPU核數的并行度。在當前的RAC中,考慮到同時會有多個任務在跑,為了不影響其他任務,并行度需要嚴格控制在32個以下,一般的建議值是8和16。

另外,建議并行度設置為2的n次方,如2/4/8/16/32等。

? 既有DML又有query的SQL如何設置并行度?如insert …..select…..

1) 如果寫入量大,則在insert上加并行會明顯提升性能;否則在insert上加并行基本沒有什么意義。如:

insert into t(game_name,num) select game_name,count(1) cnt from popt_total_login_all_his group by game_name;

這種SQL主要瓶頸在查詢上,寫入量很少,因此只需要在查詢部分設置并行即可。

2) 如果查詢量大,則在查詢上加并行會明顯提升性能;

3) 如果寫入和查詢量都大,則在兩個部分都要加并行,不要讓其中一方成為瓶頸。

?總結起來就是:瓶頸在部分,就在這部分上加并行;如果都有瓶頸,則都加并行。

?對于pdml,建議:

1) 由于并行dml有諸多限制和弊端,因此在寫入量不大的情況下,盡量不啟用并行dml。

2) insert和query的并行度不一定要一致,可根據實際調整,一般設置query并行度大于等于insert并行度。并行度最好設置為2的n次方。

3) 并行度不要設置超過CPU的個數

? 如何查詢并行是否起作用?

1) 在SQL執行的時候,在PL/SQL DEV看是否有多個活動會話執行一個SQL

2) SQL執行完了以后,在同一個會話查詢v$pq_sesstat

SQL> select * from v$pq_sesstat;

?STATISTIC LAST_QUERY SESSION_TOTAL

------------------------------ ---------- -------------

Queries Parallelized 1 1

DML Parallelized 0 0

DDL Parallelized 0 0

?上面的結果中,如果last_query有非0的值,表示并行起作用了。

?其他方法先不告訴你了……

?? 如何控制并行度?

可以用hint、alter session以及table/index degree指定并行度,詳細請參考上文【如何啟用并行】部分。

?? 如何跨實例并行?

在當前的RAC環境,為了減少cache fusion,提高效率,默認情況把SQL并行限制在同一個節點執行。如果有超超大的SQL需要多個節點同時并行,則可以用如下語句來控制并行可跨越的實例:

alter session set parallel_instance_group=dw; --可跨越4個節點

alter session set parallel_instance_group=dw1; --限制在節點1執行

alter session set parallel_instance_group=dw12; --限制在節點1和2執行

alter session set parallel_instance_group=dw124; --限制在節點1/2/4三個節點執行

?以此類推。

?原則上不允許跨實例并行,如果必須跨實例,則使用前需征得DBA同意。

?? 為什么我的SQL達不到我設定的并行度?

并行度受以下(不限于)條件限制:

1) 系統的session、process參數的設定(一般不會超過)

2) parallel_max_serversx限制。這個限定目前是256,意味著一個節點最多啟動256個并行從屬進程。在多用戶多SQL同時執行的情況下,很容易達到這個上限。

3) 對于個人用戶,當前最多只允許4個或者10個連接同時訪問數據庫。這意味著個人用戶下,并行度不能超過4或者10。(systemuser等程序賬號不在此限制范圍之內)

?? 并行有什么弊端?

1) 并行dml會浪費空間,并行度越高,浪費越厲害

2) 被并行dml影響的表需要提交或者回滾后才能被后續的SQL使用,否則會報錯,這可能會影響事務的一致性。

3) 并行容易觸發異常或者bug,降低系統和程序的穩定性

================================================================================================================

一、Parallel

在Oracle中,PARALLEL(并行)方式最大化調用計算機資源來成倍提高數據分析效率。

1. 用途

強行啟用并行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。
但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大于100萬時使用,效果也會比較明顯。

2. 語法

/*+parallel(table_short_name,cash_number)*/


這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

===========================================================================================================================

一、 并行查詢

并行查詢允許將一個sql select語句劃分為多個較小的查詢,每個部分的查詢并發地運行,然后將各個部分的結果組合起來,提供最終的結果,多用于全表掃描,索引全掃描等,大表的掃描和連接、創建大的索引、分區索引掃描、大批量插入更新和刪除
?
1. ? ?啟用并行查詢
SQL> ALTER TABLE T1 PARALLEL;
告知oracle,對T1啟用parallel查詢,但并行度要參照系統的資源負載狀況來確定。
利用hints提示,啟用并行,同時也可以告知明確的并行度,否則oracle自行決定啟用的并行度,這些提示只對該sql語句有效。
SQL> select /*+ parallel(t1 8) */ count(*)from t1;
?
SQL> select degree from user_tables where table_name='T1';
DEGREE
--------------------
? DEFAULT
?
并行度為Default,其值由下面2個參數決定
SQL> show parameter cpu
?
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?TYPE ? ? ? VALUE
----------------------------------------------- ------------------------------
cpu_count ? ? ? ? ? ? ? ? ? ? ? ? ? integer ? ?2
parallel_threads_per_cpu ? ? ? ? ? ?integer ? ?2
?
cpu_count表示cpu數
parallel_threads_per_cpu表示每個cpu允許的并行進程數
default情況下,并行數為cpu_count*parallel_threads_per_cpu
?
2. ? ?取消并行設置
SQL> alter table t1 noparallel;
SQL> select degree from user_tables wheretable_name='T1';
?
DEGREE
----------------------------------------
? ? ? ? 1
?
3. ? ?數據字典視圖
v$px_session
sid:各個并行會話的sid
qcsid:query coordinator sid,查詢協調器sid
?
二、 并行dml
并行dml包括insert,update,delete,merge,在pdml期間,oracle可以使用多個并行執行服務器來執行insert,update,delete,merge,多個會話同時執行,同時每個會話(并發進程)都有自己的undo段,都是獨立的一個事務,這些事務要么由pdml協調器進程提交,要么都rollback。
在一個有充足I/o帶寬的多cpu主機中,對于大規模的dml,速度可能會有很大的提升,尤其是在大型的數據倉庫環境中。
并行dml需要顯示的啟用
SQL> alter session enable parallel dml;
?
Disable并行dml
SQL> alter session disable parallel dml;
?
三、 并行ddl
并行ddl提供了dba使用全部機器資源的能力,常用的pddl有
create table as select ……
create index
alter index rebuild
alter table move
alter table split
在這些sql語句后面加上parallel子句

SQL> alter table t1 move parallel;
Table altered
SQL> create index T1_IDX on T1 (OWNER,OBJECT_TYPE)
?2 ? tablespace SYSTEM
3 ? ? ? ?parallel;
4 ? ? ? ?;




1. ?用途

強行啟用并行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。

但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大于100萬時使用,效果也會比較明顯。

2. ?語法

/*+parallel(table_short_name,cash_number)*/

這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;
?

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

?

4. ?Parallel也可以用于多表

多表的話,就是在第一后面,加入其他的就可以了。具體寫法如下:

/*+parallel(t,10) (b,10)*/

5. ?小結

關于執行效率,建議還是多按照index的方法來提高效果。Oracle有自帶的explan road的方法,在執行之前,先看下執行計劃路線,對寫好的SQL tuned之后再執行。實在沒辦法了,再用parallel方法。Parallel比較邪惡,對開發者而言,不是好東西,會養成不好習慣,導致很多bad SQL不會暴漏,SQL Tuning的能力得不到提升。我有見過某些人create table后,從不create index或primary key,認為寫SQL時加parallel就可以了。

???
????
????
????

?

注意:

1) 上述的alter session enable只是表示讓當前會話支持并行,最終并行需要通過hint或者table/index degree來實現;而alter session force表示強制并行,無需hint等配合使用。

2) 建議在hint或者alter session中控制并行,不要通過修改表或者索引的屬性(degree)來控制。在查詢頻繁的情況下,把表或者索引的并行度改大可能會導致嚴重的性能問題。

? 對于insert ……select ……如何設置并行?

insert……select….包含兩個部分,query和dml,可以為這兩個部分分別設置并行度。因為insert操作是dml,因此還需要通過alter session方式把pdml啟用,如:

?alter session enable parallel dml;

?insert /*+ append parallel(a,4) */ into table_a a

select /*+ parallel(b,8) */ * from table_b b where ……;

? 在存儲過程/包中如何啟用并行?

參考上文所述。唯一的區別是如果需要執行alter session,則需要用動態語句執行,如:

execute immediate ‘alter session enable parallel dml’;

? 并行度該設置多大?

一般來說,并行度越大SQL的執行效率越高,但是不建議設置超過CPU核數的并行度。在當前的RAC中,考慮到同時會有多個任務在跑,為了不影響其他任務,并行度需要嚴格控制在32個以下,一般的建議值是8和16。

另外,建議并行度設置為2的n次方,如2/4/8/16/32等。

? 既有DML又有query的SQL如何設置并行度?如insert …..select…..

1) 如果寫入量大,則在insert上加并行會明顯提升性能;否則在insert上加并行基本沒有什么意義。如:

insert into t(game_name,num) select game_name,count(1) cnt from popt_total_login_all_his group by game_name;

這種SQL主要瓶頸在查詢上,寫入量很少,因此只需要在查詢部分設置并行即可。

2) 如果查詢量大,則在查詢上加并行會明顯提升性能;

3) 如果寫入和查詢量都大,則在兩個部分都要加并行,不要讓其中一方成為瓶頸。

?總結起來就是:瓶頸在部分,就在這部分上加并行;如果都有瓶頸,則都加并行。

?對于pdml,建議:

1) 由于并行dml有諸多限制和弊端,因此在寫入量不大的情況下,盡量不啟用并行dml。

2) insert和query的并行度不一定要一致,可根據實際調整,一般設置query并行度大于等于insert并行度。并行度最好設置為2的n次方。

3) 并行度不要設置超過CPU的個數

? 如何查詢并行是否起作用?

1) 在SQL執行的時候,在PL/SQL DEV看是否有多個活動會話執行一個SQL

2) SQL執行完了以后,在同一個會話查詢v$pq_sesstat

SQL> select * from v$pq_sesstat;

?STATISTIC LAST_QUERY SESSION_TOTAL

------------------------------ ---------- -------------

Queries Parallelized 1 1

DML Parallelized 0 0

DDL Parallelized 0 0

?上面的結果中,如果last_query有非0的值,表示并行起作用了。

?其他方法先不告訴你了……

?? 如何控制并行度?

可以用hint、alter session以及table/index degree指定并行度,詳細請參考上文【如何啟用并行】部分。

?? 如何跨實例并行?

在當前的RAC環境,為了減少cache fusion,提高效率,默認情況把SQL并行限制在同一個節點執行。如果有超超大的SQL需要多個節點同時并行,則可以用如下語句來控制并行可跨越的實例:

alter session set parallel_instance_group=dw; --可跨越4個節點

alter session set parallel_instance_group=dw1; --限制在節點1執行

alter session set parallel_instance_group=dw12; --限制在節點1和2執行

alter session set parallel_instance_group=dw124; --限制在節點1/2/4三個節點執行

?以此類推。

?原則上不允許跨實例并行,如果必須跨實例,則使用前需征得DBA同意。

?? 為什么我的SQL達不到我設定的并行度?

并行度受以下(不限于)條件限制:

1) 系統的session、process參數的設定(一般不會超過)

2) parallel_max_serversx限制。這個限定目前是256,意味著一個節點最多啟動256個并行從屬進程。在多用戶多SQL同時執行的情況下,很容易達到這個上限。

3) 對于個人用戶,當前最多只允許4個或者10個連接同時訪問數據庫。這意味著個人用戶下,并行度不能超過4或者10。(systemuser等程序賬號不在此限制范圍之內)

?? 并行有什么弊端?

1) 并行dml會浪費空間,并行度越高,浪費越厲害

2) 被并行dml影響的表需要提交或者回滾后才能被后續的SQL使用,否則會報錯,這可能會影響事務的一致性。

3) 并行容易觸發異常或者bug,降低系統和程序的穩定性

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535346.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535346.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535346.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Oracle數據庫查詢優化

1.對查詢進行優化&#xff0c;應盡量避免全表掃描&#xff0c;首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應盡量避免在 where 子句中對字段進行 null 值判斷&#xff0c;否則將導致引擎放棄使用索引而進行全表掃描&#xff0c;如&#xff1a; select id from t w…

redis-full-check

https://github.com/alibaba/RedisFullCheck/releases redis-full-check是阿里云Redis&MongoDB團隊開源的用于校驗2個redis數據是否一致的工具。 ??redis-full-check通過全量對比源端和目的端的redis中的數據的方式來進行數據校驗&#xff0c;其比較方式通過多輪次比較&a…

2021-06-22

服務器信息 [rootiZs7z01dz0z12dyttz9zn5Z cluster]# /app/redis/redis-3.2.1/src/redis-cli -c -h 10.252.120.9 -p 8003 10.252.120.9:8003> cluster nodes b1f543d646c5c97a70b0635439a44a72f8a143b1 10.252.120.10:8004 master - 0 1624349601417 7 connected 0-5460 1…

Docker目錄掛載

Docker容器啟動的時候&#xff0c;如果要掛載宿主機的一個目錄&#xff0c;可以用-v參數指定。 譬如我要啟動一個centos容器&#xff0c;宿主機的/test目錄掛載到容器的/soft目錄&#xff0c;可通過以下方式指定&#xff1a; # docker run -it -v /test:/soft centos /bin/ba…

Redis主從復制原理學習

Redis主從復制原理學習總結 - 運維筆記 和Mysql主從復制的原因一樣&#xff0c;Redis雖然讀取寫入的速度都特別快&#xff0c;但是也會產生讀壓力特別大的情況。為了分擔讀壓力&#xff0c;Redis支持主從復制&#xff0c;Redis的主從結構可以采用一主多從或者級聯結構&#xff…

redis數據恢復

公司線上一個項目數據存儲采用MySQL&#xff0c;共分為10個庫&#xff0c;分布在4臺機器上&#xff0c;每個庫數據量約為10G&#xff0c;各機器均采用RAID5加速磁盤訪問&#xff1b; 當同時在線人數達高峰期&#xff08;10w&#xff09;&#xff0c;DB磁盤IO壓力巨大&#xff0…

Redis哨兵模式(sentinel)學習總結及部署記錄(主從復制、讀寫分離、主從切換)

Redis的集群方案大致有三種&#xff1a;1&#xff09;redis cluster集群方案&#xff1b;2&#xff09;master/slave主從方案&#xff1b;3&#xff09;哨兵模式來進行主從替換以及故障恢復。 一、sentinel哨兵模式介紹 Sentinel(哨兵)是用于監控redis集群中Master狀態的工具&…

Redis之Redis內存模型

Redis是目前最火爆的內存數據庫之一&#xff0c;通過在內存中讀寫數據&#xff0c;大大提高了讀寫速度&#xff0c;可以說Redis是實現網站高并發不可或缺的一部分。 我們使用Redis時&#xff0c;會接觸Redis的5種對象類型&#xff08;字符串、哈希、列表、集合、有序集合&…

MySQL 數據庫誤刪除后的數據恢復操作說明

在日常運維工作中&#xff0c;對mysql數據庫的備份是萬分重要的&#xff0c;以防在數據庫表丟失或損壞情況出現&#xff0c;可以及時恢復數據。 線上數據庫備份場景&#xff1a; 每周日執行一次全量備份&#xff0c;然后每天下午1點執行MySQLdump增量備份. 下面對這種備份方案…

MySQL 之binlog日志說明及利用binlog日志恢復數據操作記錄

眾所周知&#xff0c;binlog日志對于mysql數據庫來說是十分重要的。在數據丟失的緊急情況下&#xff0c;我們往往會想到用binlog日志功能進行數據恢復&#xff08;定時全備份binlog日志恢復增量數據部分&#xff09;&#xff0c;化險為夷&#xff01; 一、簡單了解binlog MySQ…

zabbix巡檢腳本

#!/bin/bash BIN/usr/local/zabbix/binpasswort() { name$2 while read line do ipecho $line|awk -F {print $1} timeecho $line|awk -F {print $2} echo -e "${name}passport${ip}探活時間\t $time" done <$1 }for i in 100.245.160.113 100.245.160.141 1…

mysqldump備份(全量+增量)

在日常運維工作中&#xff0c;對mysql數據庫的備份是萬分重要的&#xff0c;以防在數據庫表丟失或損壞情況出現&#xff0c;可以及時恢復數據。 線上數據庫備份場景&#xff1a; 每周日執行一次全量備份&#xff0c;然后每天下午1點執行MySQLdump增量備份. 下面對這種備份方案…

查找指定日期數據所在分區數據

select a.subobject_namefrom dba_objects a join (select dbms_rowid.rowid_object(rowid) object_idfrom NEWLOG4 where TO_CHAR(autudt,YYYY-MM-DD) 2021-06-22) b on a.object_id b.object_id and object_name UPPER(NEWLOG4) group by a.subobject_name

統計內存使用率shell

#!/bin/bashdatedate "%Y-%m-%d %H:%M:%S"#顯示消耗資源內存最高的進程名firstps aux | grep -v "grep" | grep -v "USER" | sort -rn -k 4 | head -4 | awk -F {print $13} | sed -n 1pSecondps aux | grep -v "grep" | grep -v &q…

Oracle 11g系統自動收集統計信息

從Oracle Database 10g開始&#xff0c;Oracle在建庫后就默認創建了一個名為GATHER_STATS_JOB的定時任務&#xff0c;用于自動收集CBO的統計信息&#xff0c;調用DBMS_STATS.GATHER_DATABASE_STATS_JOB_PROC收集統計信息。該過程首先檢測統計信息缺失和陳舊的對象。然后確定優先…

Redis監控指標

監控指標 ?性能指標&#xff1a;Performance?內存指標: Memory?基本活動指標&#xff1a;Basic activity?持久性指標: Persistence?錯誤指標&#xff1a;Error 性能指標&#xff1a;Performance NameDescriptionlatencyRedis響應一個請求的時間instantaneous_ops_per_s…

innobackupex參數說明

1、備份&#xff1a; #常用參數     --user&#xff1a;該選項表示備份賬號。     --password&#xff1a;該選項表示備份的密碼。     --port&#xff1a;該選項表示備份數據庫的端口。     --host&#xff1a;該選項表示備份數據庫的地址。     --socket…

innobackupex遠程備份腳本

#!/bin/sh #備份主機 remote_ip10.2.142.161 Master_ip10.2.142.148 VIP103.2.132.136 #備份用戶 userroot #密碼 password123456 # 返回年月日 backup_datedate %F # 返回時分秒 backup_timedate %H-%M-%S # 返回今天是這周的第幾天 backup_week_daydate %u backup_ok0 #備份目…

MySQL管理利器 MySQL Utilities---mysqlreplicate

mysqlreplicate 工具是在兩臺服務器間設置和啟動復制。用戶提供登錄從服務器信息和連接到主的信息。也可以指定一個數據庫用于測試復制。 該工具報告條件是當主和從的存儲引擎不一樣時。如果主和從的存儲引擎不同將產生告警信息。對于Innodb存儲引擎而言&#xff0c;必需完全…

MySQL管理工具MySQL Utilities — 如何連接MySQL服務器

連接參數 連接到一個服務器&#xff0c;必須指定連接參數&#xff0c;如用戶名&#xff0c;主機名稱&#xff0c;密碼&#xff0c;端口號&#xff0c;socket。MySQL Utilities提供了三種提供這些參數的方法&#xff0c;這些方法都需要通過命令行指定。 使用.mylogin.cnf文件&…