參考鏈接： 在C / C++，Python，PHP和Java中交換兩個變量

目錄?

什么是運維?

運維第一工具-shell編程?

shell歷史?

執行腳本?

基本語法?

Shell腳本語法?

條件測試：test [?

if/then/elif/else/fi?

case/esac?

for/do/done?

while/do/done?

break和continue?

位置參數和特殊變量?

shell輸入輸出?

函數?

Shell腳本的調試方法?

正則表達式?

grep?

find?

se?

awk?

Linux核心命令?

shell習題訓練?

自動化?

開機自啟動腳本?

?

什么是運維?

? ?

??

術語名詞?

IDC--（Internet Data Center)互聯網數據中心，主要服務包括整機租用、服務器托管、機柜租用、機房租用、專線接入和網絡管理服務等。廣義上的IDC業務，實際上就是數據中心所提供的一切服務。客戶租用數據中心的服務器和帶寬，并利用數據中心的技術力量，來實現自己對軟、硬件的要求，搭建自己的互聯網平臺，享用數據中心所提供的一系列服務。ISP--(Internet Service Provider)互聯網服務提供商，即向廣大用戶綜合提供互聯網接入業務、信息業務、和增值業務的電信運營商。ICP--(Internet Content Provider)互聯網內容提供商，向廣大用戶綜合提供互聯網信息業務和增值業務的電信運營商。 根據中華人民共和國國務院令第292號《互聯網信息服務管理辦法》規定，國家對提供互聯網信息服務的ICP實行許可證制度。從而，ICP證成為網站經營的許可證，經營性網站必須辦理ICP證，否則就屬于非法經營。因此，辦理ICP證是企業網站合法經營的需要.CDN--(Content Delivery Network)內容分發網絡,依靠部署在各地的邊緣服務器，通過中心平臺的負載均衡、內容分發、調度等功能模塊，使用戶就近獲取所需內容，降低網絡擁塞，提高用戶訪問響應速度和命中率。CDN的關鍵技術主要有內容存儲和分發技術。 CDN的基本原理是廣泛采用各種緩存服務器，將這些緩存服務器分布到用戶訪問相對集中的地區或網絡中，在用戶訪問網站時，利用全局負載技術將用戶的訪問指向距離最近的工作正常的緩存服務器上，由緩存服務器直接響應用戶請求。LVS--(Linux Virtual Server)的簡寫，意即Linux虛擬服務器，是一個虛擬的服務器集群系統。LVS集群采用IP負載均衡技術和基于內容請求分發技術。調度器具有很好的吞吐率，將請求均衡地轉移到不同的服務器上執行，且調度器自動屏蔽掉服務器的故障，從而將一組服務器構成一個高性能的、高可用的虛擬服務器。整個服務器集群的結構對客戶是透明的，而且無需修改客戶端和服務器端的程序。為此，在設計時需要考慮系統的透明性、可伸縮性、高可用性和易管理性。 CGI--(Common Gateway Interface)通用網關接口。CGI規范允許Web服務器執行外部程序，并將它們的輸出發送給Web瀏覽器，CGI將Web的一組簡單的靜態超媒體文檔變成一個完整的新的交互式媒體? GSLB--(Global Server Load Balance，全局負載均衡）作為 CDN 系統架構中最核心的部分，負責流量調度.基于DNS的GSLB 絕大部分使用負載均衡技術的應用都通過域名來訪問目的主機，在用戶發出任何應用連接請求時，首先必須通過DNS請求獲得服務器的IP地址，基于DNS的GSLB正是在返回DNS解析結果的過程中進行智能決策，給用戶返回一個最佳的服務IP。用戶應用流程與沒有GSLB時未發生任何變化。這也是市場上主流的GSLB技術。? BOSS--(Business & Operation Support System，BOSS)是業務運營支撐系統。通常所說的BOSS分為四個部分：計費及結算系統、營業與賬務系統、客戶服務系統和決策支持系統。BOSS從業務層面來看就是一個框架，來承載業務系統、CRM系統、計費系統。實現統一框架中的縱向、橫向管理。該系統最早由電信部門的計費系統發展演變而來，基本功能包括客戶資料管理、產品管理、用戶訂購管理、計費、出帳、結算等，負責登記客戶資料、管理用戶訂購服務的提供、實時的根據不同產品、套餐的資費標準計算業務（手機、固定電話用戶通話時、點播收視、寬帶流量與時間等）的消費金額，準實時及定期計算用戶帳單，實時或定期結算用戶各種消費費用。?

管理?

配置管理事件管理問題管理成本管理容量管理資源管理需求管理

規劃?

架構規劃IDC規劃服務器規劃ISP規劃預算規劃

優化?

速度優化成本優化ISP優化CDN優化告警優化故障預案故障演習

安全?

漏洞掃描域名劫持掃描掛馬掃描CGI掃描網頁篡改掃描

告警?

告警模型告警故障告警統計告警關聯撥測 定時curl一下某個url，有問題就告警.

日志告警：5分鐘Error大于xxx次告警。

指標告警：cpu使用率大于xxx告警。

?

告警對象可以分為兩種：?

業務規則監控系統可靠性監控

對于業務規則監控可以舉一個游戲的例子。比如游戲角色在一定裝備的情況下，單次打擊的傷害輸出應該是有一個上限，如果超過了就說明有作弊的情況。又比如斗地主游戲里一個人的連勝場次是有一定上限的，每天的勝率是有一定上限，如果超出平均值太多就可能是作弊。業務規則監控的不是硬件，也不是軟件是否工作正常。而是軟件是否按照業務規則實現的，是否有漏洞。也可以理解為對“正確性”的監控。?

系統可靠性監控是最常見的監控形式，比如發現是不是服務器掛掉了，服務是不是過載了等等。對于大部分后臺服務，系統可以抽象建模成這個樣子：?

監控?

URL監控LVS監控IDC監控數據庫監控模塊監控站點監控響應監控

系統/平臺?

CDN平臺靜態應用平臺動態應用平臺點擊流系統數據庫平臺下載平臺網絡健康系統經營分析系統存儲平臺流媒體平臺質量監測系統GSLB管理系統BOSS系統立體監控系統自動發布系統站點分析系統統一告警系統運維工具系統

規范?

項目立項規范運營故障分級和處罰規范重大運營故障處理流程環境一致性規范運營資源申請流程IDC變更流程預算管理規范

linux發行版?

RedHat: Fedora, CentOS, MandrivaSuSE: SLES, OpenSuSEDebian: UbuntuGentoo:BackTrace/kali linux (黑客)

運維第一工具-shell編程?

shell歷史?

Shell的作用是解釋執行用戶的命令，用戶輸入一條命令，Shell就解釋執行一條，這種方式稱為交互式（Interactive），Shell還有一種執行命令的方式稱為批處理（Batch），用戶事先寫一個Shell腳本（Script），其中有很多條命令，讓Shell一次把這些命令執行完，而不必一條一條地敲命令。Shell腳本和編程語言很相似，也有變量和流程控制語句，但Shell腳本是解釋執行的，不需要編譯，Shell程序從腳本中一行一行讀取并執行這些命令，相當于一個用戶把腳本中的命令一行一行敲到Shell提示符下執行。?

由于歷史原因，UNIX系統上有很多種Shell：?

1.sh（Bourne Shell）：由Steve Bourne開發，各種UNIX系統都配有sh。?

2.csh（C Shell）：由Bill Joy開發，隨BSD UNIX發布，它的流程控制語句很像C語言，支持很多Bourne Shell所不支持的功能：作業控制，命令歷史，命令行編輯。?

3.ksh（Korn Shell）：由David Korn開發，向后兼容sh的功能，并且添加了csh引入的新功能，是目前很多UNIX系統標準配置的Shell，在這些系統上/bin/sh往往是指向/bin/ksh的符號鏈接。?

4.tcsh（TENEX C Shell）：是csh的增強版本，引入了命令補全等功能，在FreeBSD、Mac OS X等系統上替代了csh。?

5.bash（Bourne Again Shell）：由GNU開發的Shell，主要目標是與POSIX標準保持一致，同時兼顧對sh的兼容，bash從csh和ksh借鑒了很多功能，是各種Linux發行版標準配置的Shell，在Linux系統上/bin/sh往往是指向/bin/bash的符號鏈接。雖然如此，bash和sh還是有很多不同的，一方面，bash擴展了一些命令和參數，另一方面，bash并不完全和sh兼容，有些行為并不一致，所以bash需要模擬sh的行為：當我們通過sh這個程序名啟動bash時，bash可以假裝自己是sh，不認擴展的命令，并且行為與sh保持一致。?

6.zsh 的命令補全功能非常強大，可以補齊路徑，補齊命令，補齊參數等。?

vim /etc/passwd

其中最后一列顯示了用戶對應的shell類型

?

root:x:0:0:root:/root:/bin/bash

nobody:x:65534:65534:nobody:/nonexistent:/bin/sh

syslog:x:101:103::/home/syslog:/bin/false

itcast:x:1000:1000:itcast,,,:/home/itcast:/bin/bash

ftp:x:115:125:ftp daemon,,,:/srv/ftp:/bin/false

?

用戶在命令行輸入命令后，一般情況下Shell會fork并exec該命令，但是Shell的內建命令例外，執行內建命令相當于調用Shell進程中的一個函數，并不創建新的進程。以前學過的cd、alias、umask、exit等命令即是內建命令，凡是用which命令查不到程序文件所在位置的命令都是內建命令，內建命令沒有單獨的man手冊，要在man手冊中查看內建命令，應該?

$ man bash-builtins

?

如export、shift、if、eval、[、for、while等等。內建命令雖然不創建新的進程，但也會有Exit Status，通常也用0表示成功非零表示失敗，雖然內建命令不創建新的進程，但執行結束后也會有一個狀態碼，也可以用特殊變量$?讀出。?

執行腳本?

編寫一個簡單的腳本test.sh：?

#! /bin/sh

cd ..

ls

?

Shell腳本中用#表示注釋，相當于C語言的//注釋。但如果#位于第一行開頭，并且是#!（稱為Shebang）則例外，它表示該腳本使用后面指定的解釋器/bin/sh解釋執行。如果把這個腳本文件加上可執行權限然后執行：?

chmod a+x test.sh

./test.sh

?

Shell會fork一個子進程并調用exec執行./test.sh這個程序，exec系統調用應該把子進程的代碼段替換成./test.sh程序的代碼段，并從它的_start開始執行。然而test.sh是個文本文件，根本沒有代碼段和_start函數，怎么辦呢？其實exec還有另外一種機制，如果要執行的是一個文本文件，并且第一行用Shebang指定了解釋器，則用解釋器程序的代碼段替換當前進程，并且從解釋器的_start開始執行，而這個文本文件被當作命令行參數傳給解釋器。因此，執行上述腳本相當于執行程序?

$ /bin/sh ./test.sh

?

以這種方式執行不需要test.sh文件具有可執行權限。?

如果將命令行下輸入的命令用()括號括起來，那么也會fork出一個子Shell執行小括號中的命令，一行中可以輸入由分號;隔開的多個命令，比如：?

$ (cd ..;ls -l)

?

和上面兩種方法執行Shell腳本的效果是相同的，cd ..命令改變的是子Shell的PWD，而不會影響到交互式Shell。然而命令?

$ cd ..;ls -l

?

則有不同的效果，cd ..命令是直接在交互式Shell下執行的，改變交互式Shell的PWD，然而這種方式相當于這樣執行Shell腳本：?

$ source ./test.sh

?

或者?

$ . ./test.sh

?

source或者.命令是Shell的內建命令，這種方式也不會創建子Shell，而是直接在交互式Shell下逐行執行腳本中的命令。?

基本語法?

變量?

按照慣例，Shell變量由全大寫字母加下劃線組成，有兩種類型的Shell變量：?

1.環境變量?

環境變量可以從父進程傳給子進程，因此Shell進程的環境變量可以從當前Shell進程傳給fork出來的子進程。用printenv命令可以顯示當前Shell進程的環境變量。?

2.本地變量?

只存在于當前Shell進程，用set命令可以顯示當前Shell進程中定義的所有變量（包括本地變量和環境變量）和函數。?

環境變量是任何進程都有的概念，而本地變量是Shell特有的概念。在Shell中，環境變量和本地變量的定義和用法相似。在Shell中定義或賦值一個變量：?

itcast$ VARNAME=value

?

注意等號兩邊都不能有空格，否則會被Shell解釋成命令和命令行參數。?

一個變量定義后僅存在于當前Shell進程，它是本地變量，用export命令可以把本地變量導出為環境變量，定義和導出環境變量通常可以一步完成：?

itcast$ export VARNAME=value

?

也可以分兩步完成：?

itcast$ VARNAME=value

itcast$ export VARNAME

?

用unset命令可以刪除已定義的環境變量或本地變量。?

itcast$ unset VARNAME

?

如果一個變量叫做VARNAME，用${VARNAME}可以表示它的值，在不引起歧義的情況下也可以用$VARNAME表示它的值。通過以下例子比較這兩種表示法的不同：?

itcast$ echo $SHELL

?

注意，在定義變量時不用$，取變量值時要用$。和C語言不同的是，Shell變量不需要明確定義類型，事實上Shell變量的值都是字符串，比如我們定義VAR=45，其實VAR的值是字符串45而非整數。Shell變量不需要先定義后使用，如果對一個沒有定義的變量取值，則值為空字符串。?

文件名代換（Globbing）：* ? []?

這些用于匹配的字符稱為通配符（Wildcard），具體如下：?

通配符

?

*? ?匹配0個或多個任意字符

?? ?匹配一個任意字符

[若干字符]? 匹配方括號中任意一個字符的一次出現

?

$ ls /dev/ttyS*

$ ls ch0?.doc

$ ls ch0[0-2].doc

$ ls ch[012]? ?[0-9].doc

?

注意，Globbing所匹配的文件名是由Shell展開的，也就是說在參數還沒傳給程序之前已經展開了，比如上述ls ch0[012].doc命令，如果當前目錄下有ch00.doc和ch02.doc，則傳給ls命令的參數實際上是這兩個文件名，而不是一個匹配字符串。?

命令代換：`或 $()?

由'`'反引號括起來的也是一條命令，Shell先執行該命令，然后將輸出結果立刻代換到當前命令行中。例如定義一個變量存放date命令的輸出：?

itcast$ DATE=`date`

itcast$ echo $DATE

?

命令代換也可以用$()表示：?

itcast$ DATE=$(date)

?

算術代換：$(())?

用于算術計算，$(())中的Shell變量取值將轉換成整數，同樣含義的$[]等價例如：?

itcast$ VAR=45

itcast$ echo $(($VAR+3))

$(())中只能用+-*/和()運算符，并且只能做整數運算。

?

$[base#n],其中base表示進制,n按照base進制解釋，后面再有運算數，按十進制解釋。

?

echo $[2#10+11]

echo $[8#10+11]

echo $[10#10+11]

?

轉義字符\?

和C語言類似，\在Shell中被用作轉義字符，用于去除緊跟其后的單個字符的特殊意義（回車除外），換句話說，緊跟其后的字符取字面值。例如：?

itcast$ echo $SHELL

/bin/bash

itcast$ echo \$SHELL

$SHELL

itcast$ echo \\

\

?

比如創建一個文件名為“$ $”的文件可以這樣：?

itcast$ touch \$\ \$

?

還有一個字符雖然不具有特殊含義，但是要用它做文件名也很麻煩，就是-號。如果要創建一個文件名以-號開頭的文件，這樣是不行的：?

itcast$ touch -hello

touch: invalid option -- h

Try `touch --help' for more information.

?

即使加上\轉義也還是報錯：

?

itcast$ touch \-hello

touch: invalid option -- h

Try `touch --help' for more information.

?

因為各種UNIX命令都把-號開頭的命令行參數當作命令的選項，而不會當作文件名。如果非要處理以-號開頭的文件名，可以有兩種辦法：?

itcast$ touch ./-hello

?

或者?

itcast$ touch -- -hello

?

\還有一種用法，在\后敲回車表示續行，Shell并不會立刻執行命令，而是把光標移到下一行，給出一個續行提示符>，等待用戶繼續輸入，最后把所有的續行接到一起當作一個命令執行。例如：?

itcast$ ls \

> -l

（ls -l命令的輸出）

?

單引號?

和C語言不一樣，Shell腳本中的單引號和雙引號一樣都是字符串的界定符（雙引號下一節介紹），而不是字符的界定符。單引號用于保持引號內所有字符的字面值，即使引號內的\和回車也不例外，但是字符串中不能出現單引號。如果引號沒有配對就輸入回車，Shell會給出續行提示符，要求用戶把引號配上對。例如：?

itcast$ echo '$SHELL'

$SHELL

itcast$ echo 'ABC\（回車）

> DE'（再按一次回車結束命令）

ABC\

DE

?

雙引號?

被雙引號用括住的內容，將被視為單一字串。它防止通配符擴展，但允許變量擴展。這點與單引號的處理方式不同?

itcast$ DATE=$(date)

itcast$ echo "$DATE"

itcast$ echo '$DATE'

?

Shell腳本語法?

條件測試：test [?

命令test或[可以測試一個條件是否成立，如果測試結果為真，則該命令的Exit Status為0，如果測試結果為假，則命令的Exit Status為1（注意與C語言的邏輯表示正好相反）。例如測試兩個數的大小關系：?

itcast@ubuntu:~$ var=2

itcast@ubuntu:~$ test $var -gt 1

itcast@ubuntu:~$ echo $?

0

itcast@ubuntu:~$ test $var -gt 3

itcast@ubuntu:~$ echo $?

1

itcast@ubuntu:~$ [ $var -gt 3 ]

itcast@ubuntu:~$ echo $?

1

itcast@ubuntu:~$

?

雖然看起來很奇怪，但左方括號[確實是一個命令的名字，傳給命令的各參數之間應該用空格隔開，比如，$VAR、-gt、3、]是[命令的四個參數，它們之間必須用空格隔開。命令test或[的參數形式是相同的，只不過test命令不需要]參數。以[命令為例，常見的測試命令如下表所示：?

[ -d DIR ]? ? ? ? ? ? ? 如果DIR存在并且是一個目錄則為真

[ -f FILE ]? ? ? ? ? ? ?如果FILE存在且是一個普通文件則為真

[ -z STRING ]? ? ? ? ? ?如果STRING的長度為零則為真

[ -n STRING ]? ? ? ? ? ?如果STRING的長度非零則為真

[ STRING1 = STRING2 ]? ?如果兩個字符串相同則為真

[ STRING1 != STRING2 ]? 如果字符串不相同則為真

[ ARG1 OP ARG2 ]? ? ? ? ARG1和ARG2應該是整數或者取值為整數的變量，OP是-eq（等于）-ne（不等于）-lt（小于）-le（小于等于）-gt（大于）-ge（大于等于）之中的一個

?

和C語言類似，測試條件之間還可以做與、或、非邏輯運算：?

帶與、或、非的測試命令

?

[ ! EXPR ]? ? ? ? ? EXPR可以是上表中的任意一種測試條件，!表示邏輯反

[ EXPR1 -a EXPR2 ]? EXPR1和EXPR2可以是上表中的任意一種測試條件，-a表示邏輯與

[ EXPR1 -o EXPR2 ]? EXPR1和EXPR2可以是上表中的任意一種測試條件，-o表示邏輯或

?

例如：?

$ VAR=abc

$ [ -d Desktop -a $VAR = 'abc' ]

$ echo $?

0

?

注意，如果上例中的$VAR變量事先沒有定義，則被Shell展開為空字符串，會造成測試條件的語法錯誤（展開為[ -d Desktop -a = 'abc' ]），作為一種好的Shell編程習慣，應該總是把變量取值放在雙引號之中（展開為[ -d Desktop -a "" = 'abc' ]）：?

$ unset VAR

$ [ -d Desktop -a $VAR = 'abc' ]

bash: [: too many arguments

$ [ -d Desktop -a "$VAR" = 'abc' ]

$ echo $?

1

?

if/then/elif/else/fi?

和C語言類似，在Shell中用if、then、elif、else、fi這幾條命令實現分支控制。這種流程控制語句本質上也是由若干條Shell命令組成的，例如先前講過的?

if [ -f ~/.bashrc ]; then

? ? . ~/.bashrc

fi

?

其實是三條命令，if [ -f ~/.bashrc ]是第一條，then . ~/.bashrc是第二條，fi是第三條。如果兩條命令寫在同一行則需要用;號隔開，一行只寫一條命令就不需要寫;號了，另外，then后面有換行，但這條命令沒寫完，Shell會自動續行，把下一行接在then后面當作一條命令處理。和[命令一樣，要注意命令和各參數之間必須用空格隔開。if命令的參數組成一條子命令，如果該子命令的Exit Status為0（表示真），則執行then后面的子命令，如果Exit Status非0（表示假），則執行elif、else或者fi后面的子命令。if后面的子命令通常是測試命令，但也可以是其它命令。Shell腳本沒有{}括號，所以用fi表示if語句塊的結束。見下例：?

#! /bin/sh

?

if [ -f /bin/bash ]

then echo "/bin/bash is a file"

else echo "/bin/bash is NOT a file"

fi

if :; then echo "always true"; fi

?

:是一個特殊的命令，稱為空命令，該命令不做任何事，但Exit Status總是真。此外，也可以執行/bin/true或/bin/false得到真或假的Exit Status。再看一個例子：?

? ? #! /bin/sh

?

? ? echo "Is it morning? Please answer yes or no."

? ? read YES_OR_NO

? ? if [ "$YES_OR_NO" = "yes" ]; then

? ? ? echo "Good morning!"

? ? elif [ "$YES_OR_NO" = "no" ]; then

? ? ? echo "Good afternoon!"

? ? else

? ? ? echo "Sorry, $YES_OR_NO not recognized. Enter yes or no."

? ? ? exit 1

? ? fi

? ? exit 0

?

上例中的read命令的作用是等待用戶輸入一行字符串，將該字符串存到一個Shell變量中。?

此外，Shell還提供了&&和||語法，和C語言類似，具有Short-circuit特性，很多Shell腳本喜歡寫成這樣：?

test "$(whoami)" != 'root' && (echo you are using a non-privileged account; exit 1)

?

&&相當于“if...then...”，而||相當于“if not...then...”。&&和||用于連接兩個命令，而上面講的-a和-o僅用于在測試表達式中連接兩個測試條件，要注意它們的區別，例如，?

test "$VAR" -gt 1 -a "$VAR" -lt 3

?

和以下寫法是等價的?

test "$VAR" -gt 1 && test "$VAR" -lt 3

?

case/esac?

case命令可類比C語言的switch/case語句，esac表示case語句塊的結束。C語言的case只能匹配整型或字符型常量表達式，而Shell腳本的case可以匹配字符串和Wildcard，每個匹配分支可以有若干條命令，末尾必須以;;結束，執行時找到第一個匹配的分支并執行相應的命令，然后直接跳到esac之后，不需要像C語言一樣用break跳出。?

? ? #! /bin/sh

?

? ? echo "Is it morning? Please answer yes or no."

? ? read YES_OR_NO

? ? case "$YES_OR_NO" in

? ? yes|y|Yes|YES)

? ? ? echo "Good Morning!";;

? ? [nN]*)

? ? ? echo "Good Afternoon!";;

? ? *)

? ? ? echo "Sorry, $YES_OR_NO not recognized. Enter yes or no."

? ? ? exit 1;;

? ? esac

? ? exit 0

?

使用case語句的例子可以在系統服務的腳本目錄/etc/init.d中找到。這個目錄下的腳本大多具有這種形式（以/etc/init.d/nfs-kernel-server為例）：?

? ? case "$1" in

? ? ? ? start)

? ? ? ? ? ? ...

? ? ? ? ;;

? ? ? ? stop)

? ? ? ? ? ? ...

? ? ? ? ;;

? ? ? ? reload | force-reload)

? ? ? ? ? ? ...

? ? ? ? ;;

? ? ? ? restart)

? ? ? ? ...

? ? ? ? *)

? ? ? ? ? ? log_success_msg "Usage: nfs-kernel-server {start|stop|status|reload|force-reload|restart}"

? ? ? ? ? ? exit 1

? ? ? ? ;;

? ? esac

?

啟動nfs-kernel-server服務的命令是?

$ sudo /etc/init.d/nfs-kernel-server start

?

$1是一個特殊變量，在執行腳本時自動取值為第一個命令行參數，也就是start，所以進入start)分支執行相關的命令。同理，命令行參數指定為stop、reload或restart可以進入其它分支執行停止服務、重新加載配置文件或重新啟動服務的相關命令。?

for/do/done?

Shell腳本的for循環結構和C語言很不一樣，它類似于某些編程語言的foreach循環。例如：?

? ? #! /bin/sh

?

? ? for FRUIT in apple banana pear; do

? ? ? echo "I like $FRUIT"

? ? done

?

FRUIT是一個循環變量，第一次循環$FRUIT的取值是apple，第二次取值是banana，第三次取值是pear。再比如，要將當前目錄下的chap0、chap1、chap2等文件名改為chap0~、chap1~、chap2~等（按慣例，末尾有~字符的文件名表示臨時文件），這個命令可以這樣寫：

?

$ for FILENAME in chap?; do mv $FILENAME $FILENAME~; done

?

也可以這樣寫：?

$ for FILENAME in `ls chap?`; do mv $FILENAME $FILENAME~; done

?

while/do/done?

while的用法和C語言類似。比如一個驗證密碼的腳本：?

? ? #! /bin/sh

?

? ? echo "Enter password:"

? ? read TRY

? ? while [ "$TRY" != "secret" ]; do

? ? ? echo "Sorry, try again"

? ? ? read TRY

? ? done

?

下面的例子通過算術運算控制循環的次數：?

? ? #! /bin/sh

?

? ? COUNTER=1

? ? while [ "$COUNTER" -lt 10 ]; do

? ? ? echo "Here we go again"

? ? ? COUNTER=$(($COUNTER+1))

? ? done

?

Shell還有until循環，類似C語言的do...while循環。本章從略。?

break和continue?

break[n]可以指定跳出幾層循環，continue跳過本次循環步，沒跳出整個循環。?

break跳出，continue跳過。?

習題?

1、把上面驗證密碼的程序修改一下，如果用戶輸錯五次密碼就報錯退出。?

位置參數和特殊變量?

有很多特殊變量是被Shell自動賦值的，我們已經遇到了$?和$1，現在總結一下：?

常用的位置參數和特殊變量?

$0? 相當于C語言main函數的argv[0]

$1、$2...? ? 這些稱為位置參數（Positional Parameter），相當于C語言main函數的argv[1]、argv[2]...

$#? 相當于C語言main函數的argc - 1，注意這里的#后面不表示注釋

$@? 表示參數列表"$1" "$2" ...，例如可以用在for循環中的in后面。

$*? 表示參數列表"$1" "$2" ...，同上

$?? 上一條命令的Exit Status

$$? 當前進程號

?

位置參數可以用shift命令左移。比如shift 3表示原來的$4現在變成$1，原來的$5現在變成$2等等，原來的$1、$2、$3丟棄，$0不移動。不帶參數的shift命令相當于shift 1。例如：?

? ? #! /bin/sh

?

? ? echo "The program $0 is now running"

? ? echo "The first parameter is $1"

? ? echo "The second parameter is $2"

? ? echo "The parameter list is $@"

? ? shift

? ? echo "The first parameter is $1"

? ? echo "The second parameter is $2"

? ? echo "The parameter list is $@"

?

shell輸入輸出?

echo?

echo顯示文本行或變量，或者把字符串輸入到文件。?

echo [option] string

-e 解析轉義字符

-n 不回車換行。默認情況echo回顯的內容后面跟一個回車換行。

echo "hello\n\n"

echo -e "hello\n\n"

echo? "hello"

echo -n "hello"

?

管道|?

可以通過管道把一個命令的輸出傳遞給另一個命令做輸入。管道用豎線表示。?

cat myfile | more

ls -l | grep "myfile"

df -k | awk '{print $1}' | grep -v "文件系統"

df -k 查看磁盤空間，找到第一列，去除“文件系統”，并輸出

?

tee?

tee命令把結果輸出到標準輸出，另一個副本輸出到相應文件。?

df -k | awk '{print $1}' | grep -v "文件系統" | tee a.txt

?

tee -a a.txt表示追加操作。

df -k | awk '{print $1}' | grep -v "文件系統" | tee -a a.txt

?

文件重定向?

cmd > file? ? ? ? ? ? ?把標準輸出重定向到新文件中

cmd >> file? ? ? ? ? ? 追加

cmd > file 2>&1? ? ? ? 標準出錯也重定向到1所指向的file里

cmd >> file 2>&1

cmd < file1 > file2? ? 輸入輸出都定向到文件里

cmd < &fd? ? ? ? ? ? ? 把文件描述符fd作為標準輸入

cmd > &fd? ? ? ? ? ? ? 把文件描述符fd作為標準輸出

cmd < &-? ? ? ? ? ? ? ?關閉標準輸入

?

函數?

和C語言類似，Shell中也有函數的概念，但是函數定義中沒有返回值也沒有參數列表。例如：?

? ? #! /bin/sh

?

? ? foo(){ echo "Function foo is called";}

? ? echo "-=start=-"

? ? foo

? ? echo "-=end=-"

?

注意函數體的左花括號'{'和后面的命令之間必須有空格或換行，如果將最后一條命令和右花括號'}'寫在同一行，命令末尾必須有;號。?

在定義foo()函數時并不執行函數體中的命令，就像定義變量一樣，只是給foo這個名字一個定義，到后面調用foo函數的時候（注意Shell中的函數調用不寫括號）才執行函數體中的命令。Shell腳本中的函數必須先定義后調用，一般把函數定義都寫在腳本的前面，把函數調用和其它命令寫在腳本的最后（類似C語言中的main函數，這才是整個腳本實際開始執行命令的地方）。?

Shell函數沒有參數列表并不表示不能傳參數，事實上，函數就像是迷你腳本，調用函數時可以傳任意個參數，在函數內同樣是用$0、$1、$2等變量來提取參數，函數中的位置參數相當于函數的局部變量，改變這些變量并不會影響函數外面的$0、$1、$2等變量。函數中可以用return命令返回，如果return后面跟一個數字則表示函數的Exit Status。?

下面這個腳本可以一次創建多個目錄，各目錄名通過命令行參數傳入，腳本逐個測試各目錄是否存在，如果目錄不存在，首先打印信息然后試著創建該目錄。?

? ? #! /bin/sh

?

? ? is_directory()

? ? {

? ? ? DIR_NAME=$1

? ? ? if [ ! -d $DIR_NAME ]; then

? ? ? ? return 1

? ? ? else

? ? ? ? return 0

? ? ? fi

? ? }

?

? ? for DIR in "$@"; do

? ? ? if is_directory "$DIR"

? ? ? then :

? ? ? else

? ? ? ? echo "$DIR doesn't exist. Creating it now..."

? ? ? ? mkdir $DIR > /dev/null 2>&1

? ? ? ? if [ $? -ne 0 ]; then

? ? ? ? ? echo "Cannot create directory $DIR"

? ? ? ? ? exit 1

? ? ? ? fi

? ? ? fi

? ? done

?

注意is_directory()返回0表示真返回1表示假。?

Shell腳本的調試方法?

Shell提供了一些用于調試腳本的選項，如下所示：?

-n?

讀一遍腳本中的命令但不執行，用于檢查腳本中的語法錯誤?

-v?

一邊執行腳本，一邊將執行過的腳本命令打印到標準錯誤輸出?

-x?

提供跟蹤執行信息，將執行的每一條命令和結果依次打印出來?

使用這些選項有三種方法，一是在命令行提供參數?

? ? $ sh -x ./script.sh

?

二是在腳本開頭提供參數?

? ? #! /bin/sh -x

?

第三種方法是在腳本中用set命令啟用或禁用參數?

? ? #! /bin/sh

? ? if [ -z "$1" ]; then

? ? ? set -x

? ? ? echo "ERROR: Insufficient Args."

? ? ? exit 1

? ? ? set +x

? ? fi

?

set -x和set +x分別表示啟用和禁用-x參數，這樣可以只對腳本中的某一段進行跟蹤調試。?

正則表達式?

以前我們用grep在一個文件中找出包含某些字符串的行，比如在頭文件中找出一個宏定義。其實grep還可以找出符合某個模式（Pattern）的一類字符串。例如找出所有符合xxxxx@xxxx.xxx模式的字符串（也就是email地址），要求x字符可以是字母、數字、下劃線、小數點或減號，email地址的每一部分可以有一個或多個x字符，例如abc.d@ef.com、1_2@987-6.54，當然符合這個模式的不全是合法的email地址，但至少可以做一次初步篩選，篩掉a.b、c@d等肯定不是email地址的字符串。再比如，找出所有符合yyy.yyy.yyy.yyy模式的字符串（也就是IP地址），要求y是0-9的數字，IP地址的每一部分可以有1-3個y字符。?

如果要用grep查找一個模式，如何表示這個模式，這一類字符串，而不是一個特定的字符串呢？從這兩個簡單的例子可以看出，要表示一個模式至少應該包含以下信息：?

字符類（Character Class）：如上例的x和y，它們在模式中表示一個字符，但是取值范圍是一類字符中的任意一個。?

數量限定符（Quantifier）： 郵件地址的每一部分可以有一個或多個x字符，IP地址的每一部分可以有1-3個y字符?

各種字符類以及普通字符之間的位置關系：例如郵件地址分三部分，用普通字符@和.隔開，IP地址分四部分，用.隔開，每一部分都可以用字符類和數量限定符描述。為了表示位置關系，還有位置限定符（Anchor）的概念，將在下面介紹。?

規定一些特殊語法表示字符類、數量限定符和位置關系，然后用這些特殊語法和普通字符一起表示一個模式，這就是正則表達式（Regular Expression）。例如email地址的正則表達式可以寫成[a-zA-Z0-9_.-]+@[a-zA-Z0-9_.-]+.[a-zA-Z0-9_.-]+，IP地址的正則表達式可以寫成[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}。下一節介紹正則表達式的語法，我們先看看正則表達式在grep中怎么用。例如有這樣一個文本文件testfile：?

192.168.1.1

1234.234.04.5678

123.4234.045.678

abcde

?

查找其中包含IP地址的行：?

$ egrep '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' testfile

192.168.1.1

1234.234.04.5678

?

egrep相當于grep -E，表示采用Extended正則表達式語法。grep的正則表達式有Basic和Extended兩種規范，它們之間的區別下一節再解釋。另外還有fgrep命令，相當于grep -F，表示只搜索固定字符串而不搜索正則表達式模式，不會按正則表達式的語法解釋后面的參數。?

注意正則表達式參數用單引號括起來了，因為正則表達式中用到的很多特殊字符在Shell中也有特殊含義（例如\），只有用單引號括起來才能保證這些字符原封不動地傳給grep命令，而不會被Shell解釋掉。?

192.168.1.1符合上述模式，由三個.隔開的四段組成，每段都是1到3個數字，所以這一行被找出來了，可為什么1234.234.04.5678也被找出來了呢？因為grep找的是包含某一模式的行，這一行包含一個符合模式的字符串234.234.04.567。相反，123.4234.045.678這一行不包含符合模式的字符串，所以不會被找出來。?

grep是一種查找過濾工具，正則表達式在grep中用來查找符合模式的字符串。其實正則表達式還有一個重要的應用是驗證用戶輸入是否合法，例如用戶通過網頁表單提交自己的email地址，就需要用程序驗證一下是不是合法的email地址，這個工作可以在網頁的Javascript中做，也可以在網站后臺的程序中做，例如PHP、Perl、Python、Ruby、Java或C，所有這些語言都支持正則表達式，可以說，目前不支持正則表達式的編程語言實在很少見。除了編程語言之外，很多UNIX命令和工具也都支持正則表達式，例如grep、vi、sed、awk、emacs等等。“正則表達式”就像“變量”一樣，它是一個廣泛的概念，而不是某一種工具或編程語言的特性。?

基本語法?

我們知道C的變量和Shell腳本變量的定義和使用方法很不相同，表達能力也不相同，C的變量有各種類型，而Shell腳本變量都是字符串。同樣道理，各種工具和編程語言所使用的正則表達式規范的語法并不相同，表達能力也各不相同，有的正則表達式規范引入很多擴展，能表達更復雜的模式，但各種正則表達式規范的基本概念都是相通的。本節介紹egrep(1)所使用的正則表達式，它大致上符合POSIX正則表達式規范，詳見regex(7)（看這個man page對你的英文絕對是很好的鍛煉）。希望讀者仿照上一節的例子，一邊學習語法，一邊用egrep命令做實驗。?

字符類?

字符? 含義? ? ? ? ? ? ? ?舉例

.? ?匹配任意一個字符? ? ? ? ? abc.可以匹配abcd、abc9等

[]? 匹配括號中的任意一個字符? [abc]d可以匹配ad、bd或cd

-? ?在[]括號內表示字符范圍? ? [0-9a-fA-F]可以匹配一位十六進制數字

^? ?位于[]括號內的開頭，匹配除括號中的字符之外的任意一個字符? [^xy]匹配除xy之外的任一字符，因此[^xy]1可以匹配a1、b1但不匹配x1、y1

?

[[:xxx:]]? ?grep工具預定義的一些命名字符類? ?[[:alpha:]]匹配一個字母，[[:digit:]]匹配一個數字

?

數量限定符?

字符? ? 含義? ? ? ? ? ? ? ? ? ? ? ? ? ? ?舉例

?? ?緊跟在它前面的單元應匹配零次或一次? ? [0-9]?\.[0-9]匹配0.0、2.3、.5等，由于.在正則表達式中是一個特殊字符，所以需要用\轉義一下，取字面值

+? ?緊跟在它前面的單元應匹配一次或多次? ? [a-zA-Z0-9_.-]+@[a-zA-Z0-9_.-]+\.[a-zA-Z0-9_.-]+匹配email地址

*? ?緊跟在它前面的單元應匹配零次或多次? ? [0-9][0-9]*匹配至少一位數字，等價于[0-9]+，[a-zA-Z_]+[a-zA-Z_0-9]*匹配C語言的標識符

{N} 緊跟在它前面的單元應精確匹配N次? ? ? ?[1-9][0-9]{2}匹配從100到999的整數

{N,}? 緊跟在它前面的單元應匹配至少N次? ? ?[1-9][0-9]{2,}匹配三位以上（含三位）的整數

{,M}? 緊跟在它前面的單元應匹配最多M次? ? ?[0-9]{,1}相當于[0-9]?

{N,M} 緊跟在它前面的單元應匹配至少N次，最多M次? ?[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}匹配IP地址

?

再次注意grep找的是包含某一模式的行，而不是完全匹配某一模式的行。再舉個例子，如果文本文件的內容是?

aaabc

aad

efg

?

查找a*這個模式的結果是三行都被找出來了?

$ egrep 'a*' testfile?

aabc

aad

efg

?

a匹配0個或多個a，而第三行包含0個a，所以也包含了這一模式。單獨用a這樣的正則表達式做查找沒什么意義，一般是把a*作為正則表達式的一部分來用。?

位置限定符?

? ? 字符? 含義? ? ? ? ? ? ? ? 舉例

? ? ^? ?匹配行首的位置? ? ? ? ^Content匹配位于一行開頭的Content

? ? $? ?匹配行末的位置? ? ? ? ;$匹配位于一行結尾的;號，^$匹配空行

? ? \<? 匹配單詞開頭的位置? ? \<th匹配... this，但不匹配ethernet、tenth

? ? \>? 匹配單詞結尾的位置? ? p\>匹配leap ...，但不匹配parent、sleepy

? ? \b? 匹配單詞開頭或結尾的位置? ? ?\bat\b匹配... at ...，但不匹配cat、atexit、batch

? ? \B? 匹配非單詞開頭和結尾的位置? ?\Bat\B匹配battery，但不匹配... attend、hat ...

?

位置限定符可以幫助grep更準確地查找，例如上一節我們用[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}查找IP地址，找到這兩行?

192.168.1.1

1234.234.04.5678

?

如果用^[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}$查找，就可以把1234.234.04.5678這一行過濾掉了。?

其它特殊字符?

字符? 含義? ? 舉例

\? ? 轉義字符，普通字符轉義為特殊字符，特殊字符轉義為普通字符? ?普通字符<寫成\<表示單詞開頭的位置，特殊字符.寫成\.以及\寫成\\就當作普通字符來匹配

()? ?將正則表達式的一部分括起來組成一個單元，可以對整個單元使用數量限定符? ? ([0-9]{1,3}\.){3}[0-9]{1,3}匹配IP地址

|? ? 連接兩個子表達式，表示或的關系? ? ?n(o|either)匹配no或neither

?

以上介紹的是grep正則表達式的Extended規范，Basic規范也有這些語法，只是字符?+{}|()應解釋為普通字符，要表示上述特殊含義則需要加\轉義。如果用grep而不是egrep，并且不加-E參數，則應該遵照Basic規范來寫正則表達式。?

grep?

1.作用?

Linux系統中grep命令是一種強大的文本搜索工具，它能使用正則表達式搜索文本，并把匹 配的行打印出來。grep全稱是Global Regular Expression Print，表示全局正則表達式版本，它的使用權限是所有用戶。?

grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的擴展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它們把所有的字母都看作單詞，也就是說，正則表達式中的元字符表示回其自身的字面意義，不再特殊。linux使用GNU版本的grep。它功能更強，可以通過-G、-E、-F命令行選項來使用egrep和fgrep的功能。?

2.格式?

grep [options]

?

3.主要參數?

grep --help

?

[options]主要參數：

-c：只輸出匹配行的計數。

-i：不區分大小寫。

-h：查詢多文件時不顯示文件名。

-l：查詢多文件時只輸出包含匹配字符的文件名。

-n：顯示匹配行及 行號。

-s：不顯示不存在或無匹配文本的錯誤信息。

-v：顯示不包含匹配文本的所有行。

--color=auto ：可以將找到的關鍵詞部分加上顏色的顯示。

?

pattern正則表達式主要參數：?

\： 忽略正則表達式中特殊字符的原有含義。

^：匹配正則表達式的開始行。

$: 匹配正則表達式的結束行。

\<：從匹配正則表達 式的行開始。

\>：到匹配正則表達式的行結束。

[ ]：單個字符，如[A]即A符合要求 。

[ - ]：范圍，如[A-Z]，即A、B、C一直到Z都符合要求 。

.：所有的單個字符。

*：有字符，長度可以為0。

?

4.grep命令使用簡單實例?

$ grep ‘test’ d*

顯示所有以d開頭的文件中包含 test的行。

?

$ grep ‘test’ aa bb cc

顯示在aa，bb，cc文件中匹配test的行。

?

$ grep ‘[a-z]\{5\}’ aa

顯示所有包含每個字符串至少有5個連續小寫字符的字符串的行。

?

$ grep ‘w\(es\)t.*\1′ aa

如果west被匹配，則es就被存儲到內存中，并標記為1，然后搜索任意個字符(.*)，這些字符后面緊跟著 另外一個es(\1)，找到就顯示該行。如果用egrep或grep -E，就不用”\”號進行轉義，直接寫成’w(es)t.*\1′就可以了。

?

5.grep命令使用復雜實例?

明確要求搜索子目錄：?

grep -r

?

或忽略子目錄：?

grep -d skip

?

如果有很多輸出時，您可以通過管道將其轉到’less’上閱讀：?

$ grep magic /usr/src/Linux/Documentation/* | less

?

這樣，您就可以更方便地閱讀。?

有一點要注意，您必需提供一個文件過濾方式(搜索全部文件的話用 *)。如果您忘了，’grep’會一直等著，直到該程序被中斷。如果您遇到了這樣的情況，按 ，然后再試。?

下面還有一些有意思的命令行參數：?

grep -i pattern files ：不區分大小寫地搜索。默認情況區分大小寫，

grep -l pattern files ：只列出匹配的文件名，

grep -L pattern files ：列出不匹配的文件名，

grep -w pattern files ：只匹配整個單詞，而不是字符串的一部分(如匹配’magic’，而不是’magical’)，

grep -C number pattern files ：匹配的上下文分別顯示[number]行，

grep pattern1 | pattern2 files ：顯示匹配 pattern1 或 pattern2 的行，

例如：grep "abc\|xyz" testfile? ? 表示過濾包含abc或xyz的行

grep pattern1 files | grep pattern2 ：顯示既匹配 pattern1 又匹配 pattern2 的行。

?

grep -n pattern files? 即可顯示行號信息

?

grep -c pattern files? 即可查找總行數

?

這里還有些用于搜索的特殊符號：?

\< 和 \> 分別標注單詞的開始與結尾。

例如：

grep man * 會匹配 ‘Batman’、’manic’、’man’等，

grep ‘\<man’ * 匹配’manic’和’man’，但不是’Batman’，

grep ‘\<man\>’ 只匹配’man’，而不是’Batman’或’manic’等其他的字符串。

‘^’：指匹配的字符串在行首，

‘$’：指匹配的字符串在行 尾，

?

find?

由于find具有強大的功能，所以它的選項也很多，其中大部分選項都值得我們花時間來了解一下。即使系統中含有網絡文件系統( NFS)，find命令在該文件系統中同樣有效，只要你具有相應的權限。?

在運行一個非常消耗資源的find命令時，很多人都傾向于把它放在后臺執行，因為遍歷一個大的文件系統可能會花費很長的時間(這里是指30G字節以上的文件系統)。?

一、find 命令格式?

1、find命令的一般形式為；?

find pathname -options [-print -exec -ok ...]

?

2、find命令的參數；?

pathname: find命令所查找的目錄路徑。例如用.來表示當前目錄，用/來表示系統根目錄，遞歸查找。

-print： find命令將匹配的文件輸出到標準輸出。

-exec： find命令對匹配的文件執行該參數所給出的shell命令。相應命令的形式為'command' {? } \;，注意{? ?}和\；之間的空格。

-ok： 和-exec的作用相同，只不過以一種更為安全的模式來執行該參數所給出的shell命令，在執行每一個命令之前，都會給出提示，讓用戶來確定是否執行。

?

3、find命令選項?

-name? ?按照文件名查找文件。

-perm? ?按照文件權限來查找文件。

-prune? 使用這一選項可以使find命令不在當前指定的目錄中查找，如果同時使用-depth選項，那么-prune將被find命令忽略。

-user? ?按照文件屬主來查找文件。

-group? 按照文件所屬的組來查找文件。

-mtime -n +n 按照文件的更改時間來查找文件，-n表示文件更改時間距現在n天以內，+n表示文件更改時間距現在n天以前。find命令還有-atime和-ctime 選項，但它們都和-m time選項。

-nogroup 查找無有效所屬組的文件，即該文件所屬的組在/etc/groups中不存在。

-nouser 查找無有效屬主的文件，即該文件的屬主在/etc/passwd中不存在。

-newer file1 ! file2 查找更改時間比文件file1新但比文件file2舊的文件。

-type? ?查找某一類型的文件，諸如：

? ? b - 塊設備文件。

? ? d - 目錄。

? ? c - 字符設備文件。

? ? p - 管道文件。

? ? l - 符號鏈接文件。

? ? f - 普通文件。

-size n：[c] 查找文件長度為n塊的文件，帶有c時表示文件長度以字節計。

-depth? ?在查找文件時，首先查找當前目錄中的文件，然后再在其子目錄中查找。

-fstype? 查找位于某一類型文件系統中的文件，這些文件系統類型通常可以在配置文件/etc/fstab中找到，該配置文件中包含了本系統中有關文件系統的信息。

-mount? ?在查找文件時不跨越文件系統mount點。

-follow? 如果find命令遇到符號鏈接文件，就跟蹤至鏈接所指向的文件。

?

另外,下面三個的區別:?

-amin n? ?查找系統中最后N分鐘訪問的文件

-atime n? 查找系統中最后n*24小時訪問的文件

-cmin n? ?查找系統中最后N分鐘被改變文件狀態的文件

-ctime n? 查找系統中最后n*24小時被改變文件狀態的文件

-mmin n? ?查找系統中最后N分鐘被改變文件數據的文件

-mtime n? 查找系統中最后n*24小時被改變文件數據的文件

?

4、使用exec或ok來執行shell命令?

使用find時，只要把想要的操作寫在一個文件里，就可以用exec來配合find查找，很方便 在有些操作系統中只允許-exec選項執行諸如ls或ls -l這樣的命令。大多數用戶使用這一選項是為了查找舊文件并刪除它們。建議在真正執行rm命令刪除文件之前，最好先用ls命令看一下，確認它們是所要刪除的文件。?

exec選項后面跟隨著所要執行的命令或腳本，然后是一對兒{}，一個空格和一個\，最后是一個分號。為了使用exec選項，必須要同時使用print選項。如果驗證一下find命令，會發現該命令只輸出從當前路徑起的相對路徑及文件名。?

例如：為了用ls -l命令列出所匹配到的文件，可以把ls -l命令放在find命令的-exec選項中?

# find . -type f -exec ls -l {} \;

?

上面的例子中，find命令匹配到了當前目錄下的所有普通文件，并在-exec選項中使用ls -l命令將它們列出。?

在/logs目錄中查找更改時間在5日以前的文件并刪除它們：?

$ find logs -type f -mtime +5 -exec rm {} \;

?

記住：在shell中用任何方式刪除文件之前，應當先查看相應的文件，一定要小心！當使用諸如mv或rm命令時，可以使用-exec選項的安全模式。它將在對每個匹配到的文件進行操作之前提示你。?

在下面的例子中， find命令在當前目錄中查找所有文件名以.LOG結尾、更改時間在5日以上的文件，并刪除它們，只不過在刪除之前先給出提示。?

$ find . -name "*.conf"? -mtime +5 -ok rm {? } \;

< rm ... ./conf/httpd.conf > ? n

?

按y鍵刪除文件，按n鍵不刪除。?

任何形式的命令都可以在-exec選項中使用。?

在下面的例子中我們使用grep命令。find命令首先匹配所有文件名為“ passwd*”的文件，例如passwd、passwd.old、passwd.bak，然后執行grep命令看看在這些文件中是否存在一個itcast用戶。?

# find /etc -name "passwd*" -exec grep "itcast" {? } \;

?

itcast:x:1000:1000::/home/itcast:/bin/bash

?

選項詳解?

1.使用name選項?

文件名選項是find命令最常用的選項，要么單獨使用該選項，要么和其他選項一起使用。?

可以使用某種文件名模式來匹配文件，記住要用引號將文件名模式引起來。?

不管當前路徑是什么，如果想要在自己的根目錄$HOME中查找文件名符合*.txt的文件，使用~作為 'pathname'參數，波浪號~代表了你的$HOME目錄。?

$ find ~ -name "*.txt" -print

?

想要在當前目錄及子目錄中查找所有的‘ *.txt’文件，可以用：?

$ find . -name "*.txt" -print

?

想要的當前目錄及子目錄中查找文件名以一個大寫字母開頭的文件，可以用：?

$ find . -name "[A-Z]*" -print

?

想要在/etc目錄中查找文件名以host開頭的文件，可以用：?

$ find /etc -name "host*" -print

?

想要查找$HOME目錄中的文件，可以用：?

$ find ~ -name "*" -print 或find . -print

?

要想讓系統高負荷運行，就從根目錄開始查找所有的文件：?

$ find / -name "*" -print

?

如果想在當前目錄查找文件名以兩個小寫字母開頭，跟著是兩個數字，最后是.txt的文件，下面的命令就能夠返回例如名為ax37.txt的文件：?

$find . -name "[a-z][a-z][0-9][0-9].txt" -print

?

2、用perm選項?

按照文件權限模式用-perm選項,按文件權限模式來查找文件的話。最好使用八進制的權限表示法。?

如在當前目錄下查找文件權限位為755的文件，即文件屬主可以讀、寫、執行，其他用戶可以讀、執行的文件，可以用：?

$ find . -perm 755 -print

?

還有一種表達方法：在八進制數字前面要加一個橫杠-，表示都匹配，如-007就相當于777，-006相當于666?

# ls -l

# find . -perm 006

# find . -perm -006

?

-perm mode:文件許可正好符合mode

-perm +mode:文件許可部分符合mode

-perm -mode: 文件許可完全符合mode

?

3、忽略某個目錄?

如果在查找文件時希望忽略某個目錄，因為你知道那個目錄中沒有你所要查找的文件，那么可以使用-prune選項來指出需要忽略的目錄。在使用-prune選項時要當心，因為如果你同時使用了-depth選項，那么-prune選項就會被find命令忽略。?

如果希望在/apps目錄下查找文件，但不希望在/apps/bin目錄下查找，可以用：?

$ find /apps -path "/apps/bin" -prune -o -print

?

4、使用find查找文件的時候怎么避開某個文件目錄?

比如要在/home/itcast目錄下查找不在dir1子目錄之內的所有文件?

find /home/itcast -path "/home/itcast/dir1" -prune -o -print

?

避開多個文件夾?

find /home \( -path /home/itcast/f1 -o -path /home/itcast/f2 \) -prune -o -print

?

注意(前的\,注意(后的空格。?

5、使用user和nouser選項?

按文件屬主查找文件，如在$HOME目錄中查找文件屬主為itcast的文件，可以用：?

$ find ~ -user itcast -print

?

在/etc目錄下查找文件屬主為uucp的文件：?

$ find /etc -user uucp -print

?

為了查找屬主帳戶已經被刪除的文件，可以使用-nouser選項。這樣就能夠找到那些屬主在/etc/passwd文件中沒有有效帳戶的文件。在使用-nouser選項時，不必給出用戶名； find命令能夠為你完成相應的工作。?

例如，希望在/home目錄下查找所有的這類文件，可以用：?

$ find /home -nouser -print

?

6、使用group和nogroup選項?

就像user和nouser選項一樣，針對文件所屬于的用戶組， find命令也具有同樣的選項，為了在/apps目錄下查找屬于itcast用戶組的文件，可以用：?

$ find /apps -group itcast -print

?

要查找沒有有效所屬用戶組的所有文件，可以使用nogroup選項。下面的find命令從文件系統的根目錄處查找這樣的文件?

$ find / -nogroup -print

?

7、按照更改時間或訪問時間等查找文件?

如果希望按照更改時間來查找文件，可以使用mtime,atime或ctime選項。如果系統突然沒有可用空間了，很有可能某一個文件的長度在此期間增長迅速，這時就可以用mtime選項來查找這樣的文件。?

用減號-來限定更改時間在距今n日以內的文件，而用加號+來限定更改時間在距今n日以前的文件。?

希望在系統根目錄下查找更改時間在5日以內的文件，可以用：?

$ find / -mtime -5 -print

?

為了在/var/adm目錄下查找更改時間在3日以前的文件，可以用：?

$ find /var/adm -mtime +3 -print

?

8、查找比某個文件新或舊的文件?

如果希望查找更改時間比某個文件新但比另一個文件舊的所有文件，可以使用-newer選項。它的一般形式為：?

newest_file_name ! oldest_file_name

?

其中，！是邏輯非符號。

?

9、使用type選項?

在/etc目錄下查找所有的目錄，可以用：?

$ find /etc -type d -print

?

在當前目錄下查找除目錄以外的所有類型的文件，可以用：?

$ find . ! -type d -print

?

在/etc目錄下查找所有的符號鏈接文件，可以用?

$ find /etc -type l -print

?

10、使用size選項?

可以按照文件長度來查找文件，這里所指的文件長度既可以用塊（block）來計量，也可以用字節來計量。以字節計量文件長度的表達形式為N c；以塊計量文件長度只用數字表示即可。?

在按照文件長度查找文件時，一般使用這種以字節表示的文件長度，在查看文件系統的大小，因為這時使用塊來計量更容易轉換。 在當前目錄下查找文件長度大于1 M字節的文件：?

$ find . -size +1000000c -print

?

在/home/apache目錄下查找文件長度恰好為100字節的文件：?

$ find /home/apache -size 100c -print

?

在當前目錄下查找長度超過10塊的文件（一塊等于512字節）：?

$ find . -size +10 -print

?

11、使用depth選項?

在使用find命令時，可能希望先匹配所有的文件，再在子目錄中查找。使用depth選項就可以使find命令這樣做。這樣做的一個原因就是，當在使用find命令向磁帶上備份文件系統時，希望首先備份所有的文件，其次再備份子目錄中的文件。?

在下面的例子中， find命令從文件系統的根目錄開始，查找一個名為CON.FILE的文件。?

它將首先匹配所有的文件然后再進入子目錄中查找。?

$ find / -name "CON.FILE" -depth -print

?

12、使用mount選項?

在當前的文件系統中查找文件（不進入其他文件系統），可以使用find命令的mount選項。?

從當前目錄開始查找位于本文件系統中文件名以XC結尾的文件：?

$ find . -name "*.XC" -mount -print

?

練習：請找出你10天內所訪問或修改過的.c和.cpp文件。?

find命令的例子；?

1、查找當前用戶主目錄下的所有文件：?

下面兩種方法都可以使用?

$ find $HOME -print

$ find ~ -print

?

2、讓當前目錄中文件屬主具有讀、寫權限，并且文件所屬組的用戶和其他用戶具有讀權限的文件；?

$ find . -type f -perm 644 -exec ls -l {? } \;

?

3、為了查找系統中所有文件長度為0的普通文件，并列出它們的完整路徑；?

$ find / -type f -size 0 -exec ls -l {? } \;

?

4、查找/var/logs目錄中更改時間在7日以前的普通文件，并在刪除之前詢問它們；?

$ find /var/logs -type f -mtime +7 -ok rm {? } \;

?

5、為了查找系統中所有屬于root組的文件；?

$find . -group root -exec ls -l {? } \;

?

6、find命令將刪除當目錄中訪問時間在7日以來、含有數字后綴的admin.log文件。?

該命令只檢查三位數字，所以相應文件的后綴不要超過999。先建幾個admin.log*的文件 ，才能使用下面這個命令?

$ find . -name "admin.log[0-9][0-9][0-9]" -atime -7? -ok rm {? } \;

?

7、為了查找當前文件系統中的所有目錄并排序；?

$ find . -type d | sort

?

三、xargs?

xargs - build and execute command lines from standard input?

在使用find命令的-exec選項處理匹配到的文件時， find命令將所有匹配到的文件一起傳遞給exec執行。但有些系統對能夠傳遞給exec的命令長度有限制，這樣在find命令運行幾分鐘之后，就會出現 溢出錯誤。錯誤信息通常是“參數列太長”或“參數列溢出”。這就是xargs命令的用處所在，特別是與find命令一起使用。?

find命令把匹配到的文件傳遞給xargs命令，而xargs命令每次只獲取一部分文件而不是全部，不像-exec選項那樣。這樣它可以先處理最先獲取的一部分文件，然后是下一批，并如此繼續下去。?

在有些系統中，使用-exec選項會為處理每一個匹配到的文件而發起一個相應的進程，并非將匹配到的文件全部作為參數一次執行；這樣在有些情況下就會出現進程過多，系統性能下降的問題，因而效率不高；?

而使用xargs命令則只有一個進程。另外，在使用xargs命令時，究竟是一次獲取所有的參數，還是分批取得參數，以及每一次獲取參數的數目都會根據該命令的選項及系統內核中相應的可調參數來確定。?

來看看xargs命令是如何同find命令一起使用的，并給出一些例子。?

下面的例子查找系統中的每一個普通文件，然后使用xargs命令來測試它們分別屬于哪類文 件?

#find . -type f -print | xargs file

?

在當前目錄下查找所有用戶具有讀、寫和執行權限的文件，并收回相應的寫權限：?

# ls -l

# find . -perm -7 -print | xargs chmod o-w

# ls -l

?

用grep命令在所有的普通文件中搜索hello這個詞：?

# find . -type f -print | xargs grep "hello"

?

用grep命令在當前目錄下的所有普通文件中搜索hello這個詞：?

# find . -name \* -type f -print | xargs grep "hello"

?

注意，在上面的例子中， \用來取消find命令中的*在shell中的特殊含義。?

find命令配合使用exec和xargs可以使用戶對所匹配到的文件執行幾乎所有的命令。?

sed?

sed意為流編輯器（Stream Editor），在Shell腳本和Makefile中作為過濾器使用非常普遍，也就是把前一個程序的輸出引入sed的輸入，經過一系列編輯命令轉換為另一種格式輸出。sed和vi都源于早期UNIX的ed工具，所以很多sed命令和vi的末行命令是相同的。?

sed命令行的基本格式為?

sed option 'script' file1 file2 ...

sed option -f scriptfile file1 file2 ...

?

選項含義：?

--version? ? ? ? ? ? 顯示sed版本。

--help? ? ? ? ? ? ? ?顯示幫助文檔。

-n,--quiet,--silent? 靜默輸出，默認情況下，sed程序在所有的腳本指令執行完畢后，將自動打印模式空間中的內容，這些選項可以屏蔽自動打印。

-e script? ? ? ? ? ? 允許多個腳本指令被執行。

-f script-file,?

--file=script-file? ?從文件中讀取腳本指令，對編寫自動腳本程序來說很棒！

-i,--in-place? ? ? ? 直接修改源文件，經過腳本指令處理后的內容將被輸出至源文件（源文件被修改）慎用！

-l N, --line-length=N 該選項指定l指令可以輸出的行長度，l指令用于輸出非打印字符。

--posix? ? ? ? ? ? ?禁用GNU sed擴展功能。

-r, --regexp-extended? 在腳本指令中使用擴展正則表達式

-s, --separate? ? ? 默認情況下，sed將把命令行指定的多個文件名作為一個長的連續的輸入流。而GNU sed則允許把他們當作單獨的文件，這樣如正則表達式則不進行跨文件匹配。

-u, --unbuffered? ? 最低限度的緩存輸入與輸出。

?

以上僅是sed程序本身的選項功能說明，至于具體的腳本指令（即對文件內容做的操作）后面我們會詳細描述，這里就簡單介紹幾個腳本指令操作作為sed程序的例子。?

a,append? ? ? ? 追加

i,insert? ? ? ? 插入

d,delete? ? ? ? 刪除

s,substitution? 替換

?

如：$ sed "2a itcast" ./testfile 在輸出testfile內容的第二行后添加"itcast"。?

$ sed "2,5d" testfile

?

sed處理的文件既可以由標準輸入重定向得到，也可以當命令行參數傳入，命令行參數可以一次傳入多個文件，sed會依次處理。sed的編輯命令可以直接當命令行參數傳入，也可以寫成一個腳本文件然后用-f參數指定，編輯命令的格式為?

/pattern/action

?

其中pattern是正則表達式，action是編輯操作。sed程序一行一行讀出待處理文件，如果某一行與pattern匹配，則執行相應的action，如果一條命令沒有pattern而只有action，這個action將作用于待處理文件的每一行。?

常用的sed命令?

/pattern/p? 打印匹配pattern的行

/pattern/d? 刪除匹配pattern的行

/pattern/s/pattern1/pattern2/? ?查找符合pattern的行，將該行第一個匹配pattern1的字符串替換為pattern2

/pattern/s/pattern1/pattern2/g? 查找符合pattern的行，將該行所有匹配pattern1的字符串替換為pattern2

?

使用p命令需要注意，sed是把待處理文件的內容連同處理結果一起輸出到標準輸出的，因此p命令表示除了把文件內容打印出來之外還額外打印一遍匹配pattern的行。比如一個文件testfile的內容是?

123

abc

456

?

打印其中包含abc的行?

$ sed '/abc/p' testfile

123

abc

abc

456

?

要想只輸出處理結果，應加上-n選項，這種用法相當于grep命令?

$ sed -n '/abc/p' testfile

abc

?

使用d命令就不需要-n參數了，比如刪除含有abc的行?

$ sed '/abc/d' testfile

123

456

?

注意，sed命令不會修改原文件，刪除命令只表示某些行不打印輸出，而不是從原文件中刪去。?

使用查找替換命令時，可以把匹配pattern1的字符串復制到pattern2中，比如：?

$ sed 's/bc/-&-/' testfile

123

a-bc-

456

pattern2中的&表示原文件的當前行中與pattern1相匹配的字符串

?

再比如：?

$ sed 's/\([0-9]\)\([0-9]\)/-\1-~\2~/' testfile

-1-~2~3

abc

-4-~5~6

?

pattern2中的\1表示與pattern1的第一個()括號相匹配的內容，\2表示與pattern1的第二個()括號相匹配的內容。sed默認使用Basic正則表達式規范，如果指定了-r選項則使用Extended規范，那么()括號就不必轉義了。?

$ sed? 's/yes/no/;s/static/dhcp/'? ./testfile

注：使用分號隔開指令。

?

$ sed -e 's/yes/no/' -e 's/static/dhcp/' testfile

注：使用-e選項。

?

如果testfile的內容是?

<html><head><title>Hello World</title></head>

<body>Welcome to the world of regexp!</body></html>

?

現在要去掉所有的HTML標簽，使輸出結果為?

Hello World

Welcome to the world of regexp!

?

怎么做呢？如果用下面的命令?

$ sed 's/<.*>//g' testfile

?

結果是兩個空行，把所有字符都過濾掉了。這是因為，正則表達式中的數量限定符會匹配盡可能長的字符串，這稱為貪心的(Greedy)。比如sed在處理第一行時，<.*>匹配的并不是或這樣的標簽，而是?

<html><head><title>Hello World</title>

?

這樣一整行，因為這一行開頭是<，中間是若干個任意字符，末尾是>。那么這條命令怎么改才對呢？留給同學們思考練習。?

awk?

sed以行為單位處理文件，awk比sed強的地方在于不僅能以行為單位還能以列為單位處理文件。awk缺省的行分隔符是換行，缺省的列分隔符是連續的空格和Tab，但是行分隔符和列分隔符都可以自定義，比如/etc/passwd文件的每一行有若干個字段，字段之間以:分隔，就可以重新定義awk的列分隔符為:并以列為單位處理這個文件。awk實際上是一門很復雜的腳本語言，還有像C語言一樣的分支和循環結構，但是基本用法和sed類似，awk命令行的基本形式為：?

awk option 'script' file1 file2 ...

awk option -f scriptfile file1 file2 ...

?

和sed一樣，awk處理的文件既可以由標準輸入重定向得到，也可以當命令行參數傳入，編輯命令可以直接當命令行參數傳入，也可以用-f參數指定一個腳本文件，編輯命令的格式為：?

/pattern/{actions}

condition{actions}

?

和sed類似，pattern是正則表達式，actions是一系列操作。awk程序一行一行讀出待處理文件，如果某一行與pattern匹配，或者滿足condition條件，則執行相應的actions，如果一條awk命令只有actions部分，則actions作用于待處理文件的每一行。比如文件testfile的內容表示某商店的庫存量：?

ProductA? 30

ProductB? 76

ProductC? 55

?

打印每一行的第二列:?

$ awk '{print $2;}' testfile

30

76

55

?

自動變量$1、$2分別表示第一列、第二列等，類似于Shell腳本的位置參數，而$0表示整個當前行。再比如，如果某種產品的庫存量低于75則在行末標注需要訂貨：?

$ awk '$2<75 {printf "%s\t%s\n", $0, "REORDER";} $2>=75 {print $0;}' testfile

ProductA? 30? ? REORDER

ProductB? 76

ProductC? 55? ? REORDER

?

可見awk也有和C語言非常相似的printf函數。awk命令的condition部分還可以是兩個特殊的condition－BEGIN和END，對于每個待處理文件，BEGIN后面的actions在處理整個文件之前執行一次，END后面的actions在整個文件處理完之后執行一次。?

awk命令可以像C語言一樣使用變量（但不需要定義變量），比如統計一個文件中的空行數?

$ awk '/^ *$/ {x=x+1;} END {print x;}' testfile

?

就像Shell的環境變量一樣，有些awk變量是預定義的有特殊含義的：?

awk常用的內建變量?

FILENAME? 當前輸入文件的文件名，該變量是只讀的

NR? 當前行的行號，該變量是只讀的，R代表record

NF? 當前行所擁有的列數，該變量是只讀的，F代表field

OFS 輸出格式的列分隔符，缺省是空格

FS? 輸入文件的列分融符，缺省是連續的空格和Tab

ORS 輸出格式的行分隔符，缺省是換行符

RS? 輸入文件的行分隔符，缺省是換行符

?

例如打印系統中的用戶帳號列表?

$ awk 'BEGIN {FS=":"} {print $1;}' /etc/passwd

?

Linux核心命令?

?

stracenetstatperftoppidstatmpstatdstatvmstatslabtopfreetoptcpdumpipnicstatdtracepingdtraceblktraceiptopiostatstap

文本處理類的命令：?

?wc wc [option] [file]...

? ? -l: 統計行數

? ? -c: 統計字節數

? ? -w；統計單詞數

? tr tr: 轉換字符或刪除字符

? ? tr '集合1' '集合2'

? ? tr -d '字符集合'

? cut This is a test line.

-d字符：指定分隔符

-f#: 指定要顯示字段

? ? 單個數字：一個字段

? ? 逗號分隔的多個數字：指定多個離散字段

? ? -：連續字段，如3-5；

? sort 按字符進行比較

sort [option] file...

? ? -f: 忽略字符大小寫；

? ? -n: 比較數值大小；

? ? -t: 指定分隔符

? ? -k: 指定分隔后進行比較字段

? ? -u: 重復的行，只顯示一次；

? uniq 移除重復的行

-c：顯示每行重復的次數

-d：僅顯示重復過的行

-u: 僅顯示不曾重復的行

? 工具速查鏈接 http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/index.html

?

shell習題訓練?

求2個數之和計算1-100的和將一目錄下所有的文件的擴展名改為bak編譯當前目錄下的所有.c文件：打印root可以使用可執行文件數，處理結果: root's bins: 2306打印當前sshd的端口和進程id，處理結果: sshd Port&&pid: 22 5412 輸出本機創建20000個目錄所用的時間，處理結果: real? ? 0m3.367s

user? ? 0m0.066s

sys? ? ?0m1.925s

? 打印本機的交換分區大小，處理結果: Swap:1024M? 文本分析，取出/etc/password中shell出現的次數 第一種方法結果:

? ? ? 4 /bin/bash

? ? ? 1 /bin/sync

? ? ? 1 /sbin/halt

? ? ?31 /sbin/nologin

? ? ? 1 /sbin/shutdown

第二種方法結果:

? ? ? ? /bin/sync? ? ? ?1

? ? ? ? /bin/bash? ? ? ?1

? ? ? ? /sbin/nologin? ?30

? ? ? ? /sbin/halt? ? ? 1

? ? ? ? /sbin/shutdown? 1

? 文件整理，employee文件中記錄了工號和姓名,（提示join） employee.txt:

? ? 100 Jason Smith?

? ? 200 John Doe?

? ? 300 Sanjay Gupta?

? ? 400 Ashok Sharma?

? ? bonus文件中記錄工號和工資

bonus.txt:

? ? 100 $5,000?

? ? 200 $500?

? ? 300 $3,000?

? ? 400 $1,250?

要求把兩個文件合并并輸出如下，處理結果:

? ? 400 ashok sharma $1,250

? ? 100 jason smith? $5,000

? ? 200 john doe? $500

? ? 300 sanjay gupta? $3,000

? 寫一個shell腳本來得到當前的日期，時間，用戶名和當前工作目錄。 編寫shell腳本獲取本機的網絡地址。編寫個shell腳本將當前目錄下大于10K的文件轉移到/tmp目錄下 編寫一個名為myfirstshell.sh的腳本，它包括以下內容。 a) 包含一段注釋，列出您的姓名、腳本的名稱和編寫這個腳本的目的。

b) 問候用戶。

c) 顯示日期和時間。

d) 顯示這個月的日歷。

e) 顯示您的機器名。

f) 顯示當前這個操作系統的名稱和版本。

g) 顯示父目錄中的所有文件的列表。

h) 顯示root正在運行的所有進程。

i) 顯示變量TERM、PATH和HOME的值。

j) 顯示磁盤使用情況。

k) 用id命令打印出您的組ID。

m) 跟用戶說“Good bye”

? 文件移動拷貝，有m1.txt m2.txt m3.txt m4.txt，分別創建出對應的目錄，m1 m2 m3 m4 并把文件移動到對應的目錄下 root用戶今天登陸了多長時間終端輸入一個文件名，判斷是否是設備文件 統計IP訪問：要求分析apache訪問日志，找出訪問頁面數量在前100位的IP數。日志大小在78M左右。以下是apache的訪問日志節選 202.101.129.218 - - [26/Mar/2006:23:59:55 +0800] "GET /online/stat_inst.php?pid=d065 HTTP/1.1" 302 20-"-" "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

? 設計一個Shell程序，在/userdata目錄下建立50個目錄，即user1～user50，并設置每個目錄的權限，其中其他用戶的權限為：讀；文件所有者的權限為：讀、寫、執行；文件所有者所在組的權限為：讀、執行。 設計一個shell程序，添加一個新組為class1，然后添加屬于這個組的30個用戶，用戶名的形式為stdxx，其中xx從01到30，并設置密碼為對應的stdxx。編寫shell程序，實現自動刪除30個賬號的功能。賬號名為std01至std30。用戶清理,清除本機除了當前登陸用戶以外的所有用戶設計一個shell程序，在每月第一天備份并壓縮/etc目錄的所有內容，存放在/root/bak目錄里，且文件名,為如下形式yymmdd_etc，yy為年，mm為月，dd為日。Shell程序fileback存放在/usr/bin目錄下。對于一個用戶日志文件，每行記錄了一個用戶查詢串，長度為1-255字節，共幾千萬行，請排出查詢最多的前100條。 日志可以自己構造。 (提示：awk sort uniq head)編寫自己的ubuntu環境安裝腳本編寫服務器守護進程管理腳本。 查看TCP連接狀態 netstat -nat |awk ‘{print $6}’|sort|uniq -c|sort -rn

?

netstat -n | awk ‘/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}’ 或

netstat -n | awk ‘/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}’

netstat -n | awk ‘/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"t",arr[k]}’

?

netstat -n |awk ‘/^tcp/ {print $NF}’|sort|uniq -c|sort -rn

?

netstat -ant | awk ‘{print $NF}’ | grep -v ‘[a-z]‘ | sort | uniq -c

? 查找請求數請20個IP（常用于查找攻來源）： netstat -anlp|grep 80|grep tcp|awk ‘{print $5}’|awk -F: ‘{print $1}’|sort|uniq -c|sort -nr|head -n20

?

netstat -ant |awk ‘/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}’ |sort -rn|head -n20

? 用tcpdump嗅探80端口的訪問看看誰最高 tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." ‘{print $1"."$2"."$3"."$4}’ | sort | uniq -c | sort -nr |head -20

? 查找較多time_wait連接 netstat -n|grep TIME_WAIT|awk ‘{print $5}’|sort|uniq -c|sort -rn|head -n20

? 找查較多的SYN連接 netstat -an | grep SYN | awk ‘{print $5}’ | awk -F: ‘{print $1}’ | sort | uniq -c | sort -nr | more

? 根據端口列進程 netstat -ntlp | grep 80 | awk ‘{print $7}’ | cut -d/ -f1

? 獲得訪問前10位的ip地址 cat access.log|awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10

cat access.log|awk ‘{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}’

? 訪問次數最多的文件或頁面,取前20 cat access.log|awk ‘{print $11}’|sort|uniq -c|sort -nr|head -20

? 列出傳輸最大的幾個exe文件（分析下載站的時候常用） cat access.log |awk ‘($7~/.exe/){print $10 " " $1 " " $4 " " $7}’|sort -nr|head -20

? 列出輸出大于200000byte(約200kb)的exe文件以及對應文件發生次數 cat access.log |awk ‘($10 > 200000 && $7~/.exe/){print $7}’|sort -n|uniq -c|sort -nr|head -100

? 如果日志最后一列記錄的是頁面文件傳輸時間，則有列出到客戶端最耗時的頁面 cat access.log |awk ‘($7~/.php/){print $NF " " $1 " " $4 " " $7}’|sort -nr|head -100

? 列出最最耗時的頁面(超過60秒的)的以及對應頁面發生次數 cat access.log |awk ‘($NF > 60 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100

? 列出傳輸時間超過 30 秒的文件 cat access.log |awk ‘($NF > 30){print $7}’|sort -n|uniq -c|sort -nr|head -20

? 統計網站流量（G) cat access.log |awk ‘{sum+=$10} END {print sum/1024/1024/1024}’

? 統計404的連接 awk ‘($9 ~/404/)’ access.log | awk ‘{print $9,$7}’ | sort

? 統計http status cat access.log |awk ‘{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'

cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

? 蜘蛛分析，查看是哪些蜘蛛在抓取內容。 /usr/sbin/tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'

? 創建一個用戶mandriva，其ID號為2002，基本組為distro（組ID為3003），附加組為linux； # groupadd linux

# groupadd -g 3003 distro

# useradd -u 2002 -g distro -G linux mandriva

? 創建一個用戶fedora，其全名為Fedora Community，默認shell為tcsh； # useradd -c "Fedora Community" -s /bin/tcsh fedora? 修改mandriva的ID號為4004，基本組為linux，附加組為distro和fedora； # usermod -u 4004 -g linux -G distro,fedora mandriva

? 給fedora加密碼，并設定其密碼最短使用期限為2天，最長為50天； # passwd fedora

# chage -m 2 -M 50 fedora

? 調試命令 strace -p pid

? 寫一個腳本 1、創建一個組newgroup, id號為4000；

2、創建一個用戶mageedu1, id號為3001，附加組為newgroup；

3、創建目錄/tmp/hellodirxyz

4、復制/etc/fstab至上面的目錄中

5、改變目錄及內部文件的屬主和屬組為mageedu1;

6、讓目錄及內部文件的其它用戶沒有任何權限；

?

? ? ? ? #!/bin/bash

? ? ? ? # Description:

? ? ? ? # Version:

? ? ? ? # Datetime:

? ? ? ? # Author:

?

? ? ? ? myGroup="newgroup1"

? ? ? ? myUser="mageedu2"

? ? ? ? myDir="/tmp/hellodirxyz1"

? ? ? ? myID=3002

?

? ? ? ? groupadd -g 4001 $myGroup

? ? ? ? useradd -u $myID -G $myGroup $myUser

? ? ? ? mkdir $myDir

? ? ? ? cp /etc/fstab $myDir

? ? ? ? chown -R $myUser:$myUser $myDir

? ? ? ? chmod -R o= $myDir

?

? ? ? ? unset myGroup myUser myID myDir

? 統計/bin、/usr/bin、/sbin和/usr/sbin等各目錄中的文件個數； # ls /bin | wc -l

? 顯示當前系統上所有用戶的shell，要求，每種shell只顯示一次； # cut -d: -f7 /etc/passwd | sort -u

? 取出/etc/passwd文件的第7行； # head -7 /etc/passwd | tail -1

? 顯示第3題中取出的第7行的用戶名； # head -7 /etc/passwd | tail -1 | cut -d: -f1

?

# head -7 /etc/passwd | tail -1 | cut -d: -f1 | tr 'a-z' 'A-Z'

? 統計/etc目錄下以P或p開頭的文件個數； # ls -d /etc/[Pp]* | wc -l

? 寫一個腳本，用for循環實現顯示/etc/init.d/functions、/etc/rc.d/rc.sysinit和/etc/fstab各有多少行； for fileName in /etc/init.d/functions /etc/rc.d/rc.sysinit /etc/fstab; do

? ? wc -l $fileName

done

?

#!/bin/bash

for fileName in /etc/init.d/functions /etc/rc.d/rc.sysinit /etc/fstab; do

? ? lineCount=`wc -l $fileName | cut -d' ' -f1`

? ? echo "$fileName: $lineCount lines."

done

?

#!/bin/bash

for fileName in /etc/init.d/functions /etc/rc.d/rc.sysinit /etc/fstab; do

? ? echo "$fileName: `wc -l $fileName | cut -d' ' -f1` lines."

done

? 寫一個腳本,將上一題中三個文件的復制到/tmp目錄中；用for循環實現，分別將每個文件的最近一次的修改時間改為2016年12月15號15點43分； for fileName in /etc/init.d/functions /etc/rc.d/rc.sysinit /etc/fstab; do

? ? cp $fileName /tmp

? ? baseName=`basename $fileName`

? ? touch -m -t 201109151327 /tmp/$baseName

done

? 寫一個腳本, 顯示/etc/passwd中第3、7和11個用戶的用戶名和ID號； for lineNo in 3 7 11; do

? ? userInfo=`head -n $lineNo /etc/passwd | tail -1 | cut -d: -f1,3`

? ? echo -e "User: `echo $userInfo | cut -d: -f1`\nUid: `echo $userInfo |cut -d: -f2`"

done

? 顯示/proc/meminfo文件中以大小寫s開頭的行； # grep "^[sS]" /proc/meminfo

# grep -i "^s" /proc/meminfo

? 取出默認shell為非bash的用戶； # grep -v "bash$" /etc/passwd | cut -d: -f1

? 取出默認shell為bash的且其ID號最大的用戶； # grep "bash$" /etc/passwd | sort -n -t: -k3 | tail -1 | cut -d: -f1

? 顯示/etc/rc.d/rc.sysinit文件中，以#開頭，后面跟至少一個空白字符，而后又有至少一個非空白字符的行； # grep "^#[[:space:]]\{1,\}[^[:space:]]\{1,\}" /etc/rc.d/rc.sysinit

? 顯示/boot/grub/grub.conf中以至少一個空白字符開頭的行； # grep "^[[:space:]]\{1,\}[^[:space:]]\{1,\}" /boot/grub/grub.conf

? 找出/etc/passwd文件中一位數或兩位數； # grep --color=auto "\<[0-9]\{1,2\}\>" /etc/passwd

? 找出ifconfig命令結果中的1到255之間的整數； # ifconfig | grep -E --color=auto "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>"

? 查看當前系統上root用戶的所有信息; # grep "^root\>" /etc/passwd

? 添加用戶bash和testbash、basher，而后找出當前系統上其用戶名和默認shell相同的用戶； # grep --color=auto "^\([[:alnum:]]\{1,\}\)\>.*\1$" /etc/passwd

? 找出netstat -tan命令執行的結果中以“LISTEN”或“ESTABLISHED”結尾的行； 取出當前系統上所有用戶的shell，要求：每種shell只顯示一次，且按升序顯示； # cut -d: -f7 /etc/passwd | sort -u

?

自動化?

開機自啟動腳本?

如果要添加為開機啟動執行的腳本文件，可先將腳本復制或者軟連接到/etc/init.d/目錄下，然后用：?

? ? update-rc.d xxx defaults NN命令(NN為啟動順序)，

?

將腳本添加到初始化執行的隊列中去。?

注意如果腳本需要用到網絡，則NN需設置一個比較大的數字，如99。?

1) 將你的啟動腳本復制到 /etc/init.d目錄下,以下假設你的腳本文件名為 test。?

2) 設置腳本文件的權限?

? ? $ sudo chmod 755 /etc/init.d/test

?

3) 執行如下命令將腳本放到啟動腳本中去：?

? ? $ cd /etc/init.d

? ? $ sudo update-rc.d test defaults 95