應急響應
Windows系統
查賬號
1、查看服務器是否有弱口令,遠程管理端口是否對公網開放。
-
檢查方法:據實際情況咨詢相關服務器管理員。
2、查看服務器是否存在可疑賬號、新增賬號。
-
檢查方法:打開 cmd 窗口,輸入
lusrmgr.msc
命令,查看是否有新增/可疑的賬號,如有管理員群組的(Administrators)里的新增賬戶,如有,請立即禁用或刪除掉。
3、查看服務器是否存在隱藏賬號、克隆賬號、粘滯鍵后門
隱藏賬號:
net user test$ test123 /add
net localgroup administrators test$ /add
通過這兩條命令將隱藏賬號加入administrators組,且使用net user不顯示,但如果使用lusrmgr直接看還會被發現
克隆賬號:
先創建賬戶,進去注冊表,\HKEY_LOCAL_MACHINE\SAM\SAM注意這里要改權限并重新進入,然后進入如圖:
然后更改suid,將administrator的suid(f值)復制到你的隱藏賬號中,然后將users和names中的對應文件導出,然后刪除賬號(net user test$ /del),最后導入,即可保證其在net user和lusrmgr中不被發現(本人在測試中未成功,反而被封鎖賬號,就算不更改suid,也無法登錄,只是賬號不會鎖定)
粘滯鍵后門:通過將其使用的程序替換為cmd.exe實現后門,太落后,幾乎不可能;
-
檢查方法:
a、打開注冊表 ,查看管理員對應鍵值。
b、使用D盾_web查殺工具,集成了對克隆賬號檢測的功能。
4、結合日志,查看管理員登錄時間、用戶名是否存在異常(是否存在明文泄露)。
明文抓取:
使用工具抓取管理員密碼
-
檢查方法:
a、Win+R 打開運行,輸入"eventvwr.msc",回車運行,打開“事件查看器”。
b、導出 Windows 日志 -- 安全,利用微軟官方工具 Log Parser 進行分析。
日志主要有:系統日志、應用程序日志、安全日志,這里我門重點關注安全日志
在審計之前要開啟策略,否則無法記錄遠程登錄的日志(gpedit.msc)
對于Windows事件日志分析,不同的EVENT ID代表了不同的意義,摘錄一些常見的安全事件的說明:
事件ID | 說明 |
---|---|
4624 | 登錄成功 |
4625 | 登錄失敗 |
4634 | 注銷成功 |
4647 | 用戶啟動的注銷 |
4672 | 使用超級用戶(如管理員)進行登錄 |
4720 | 創建用戶 |
每個成功登錄的事件都會標記一個登錄類型,不同登錄類型代表不同的方式:
登錄類型 | 描述 | 說明 |
---|---|---|
2 | 交互式登錄(Interactive) | 用戶在本地進行登錄。 |
3 | 網絡(Network) | 最常見的情況就是連接到共享文件夾或共享打印機時。 |
4 | 批處理(Batch) | 通常表明某計劃任務啟動。 |
5 | 服務(Service) | 每種服務都被配置在某個特定的用戶賬號下運行。 |
7 | 解鎖(Unlock) | 屏保解鎖。 |
8 | 網絡明文(NetworkCleartext) | 登錄的密碼在網絡上是通過明文傳輸的,如FTP。 |
9 | 新憑證(NewCredentials) | 使用帶/Netonly參數的RUNAS命令運行一個程序。 |
10 | 遠程交互,(RemoteInteractive) | 通過終端服務、遠程桌面或遠程協助訪問計算機。 |
11 | 緩存交互(CachedInteractive) | 以一個域用戶登錄而又沒有域控制器可用 |
重點關注4624(登陸成功)和4625(登錄失敗)這兩個事件,關注登錄失敗中登錄類型為10的記錄(極可能是攻擊者盜取管理員密碼后登錄),關注登錄失敗的IP的失敗次數,如果有異常則封堵IP;
使用方法:
LogParser.exe -i:EVT -o:DATAGRID "SELECT EventID, EXTRACT_TOKEN(Strings,5,'|') AS Username, EXTRACT_TOKEN(Strings,8,'|') AS LoginType, EXTRACT_TOKEN(Strings,18,'|') AS IpAddr, TimeGenerated AS LoginTime FROM c:\Security.evtx WHERE EventID=4624"
?EXTRACT_TOKEN` 是 LogParser 中用于**從字符串中提取指定片段**的核心函數,語法為:`EXTRACT_TOKEN(源字符串, 索引位置, 分隔符)LogParser.exe -i:EVT –o:DATAGRID "SELECT EXTRACT_TOKEN(string,8,'|') as EventType,TimeGenerated as LoginTime,EXTRACT_TOKEN(Strings,5,'|') as Username,EXTRACT_TOKEN(string,18,' ') as Loginip FROM c:\Security.evtx where EventID=4624"
LogParser.exe -i:EVT –o:DATAGRID "SELECT * FROM c:\Security.evtx where EventID=4624"
-
工具:LogParser.exe ,用于處理日志文件的實用程序
-
輸入格式:-i:EVT ,指定輸入是 EVTX 日志格式
-
輸出格式:-o:DATAGRID ,指定輸出為數據網格形式
-
查詢內容:從 c:\Security.evtx 文件中選取 EventID 為 4624 的所有事件記錄 ,4624 事件通常對應 Windows 系統里的用戶成功登錄操作 。
檢查異常端口、進程
1、檢查端口連接情況,是否有遠程連接、可疑連接。
-
檢查方法:
a、使用
netstat -ano |findstr ESTA
命令查看目前穩定建立連接的網絡連接,定位可疑的 ESTABLISHEDb、根據 netstat 命令定位出的 PID 編號,再通過 tasklist 命令進行進程定位
tasklist | findstr "PID"
2、進程
-
檢查方法:
a、開始 -- 運行 -- 輸入
msinfo32
命令,依次點擊 "軟件環境 -- 正在運行任務" 就可以查看到進程的詳細信息,比如進程路徑、進程ID、文件創建日期以及啟動時間等。b、打開D盾_web查殺工具,進程查看,關注沒有簽名信息的進程。
c、通過微軟官方提供的 Process Explorer(重要用這個) 等工具進行排查 。
d、查看可疑的進程及其子進程。可以通過觀察以下內容:
?沒有簽名驗證信息的進程沒有描述信息的進程進程的屬主進程的路徑是否合法CPU 或內存資源占用長時間過高的進程
3、小技巧:
a、查看端口對應的 PID:netstat -ano | findstr "port"
b、查看進程對應的 PID:任務管理器 -- 查看 -- 選擇列 -- PID 或者 tasklist | findstr "PID"
c、查看進程對應的程序位置:
任務管理器 -- 選擇對應進程 -- 右鍵打開文件位置
運行輸入 wmic
,cmd 界面輸入 process
d、tasklist /svc
進程 -- PID -- 服務
e、查看Windows服務所對應的端口:
%systemroot%/system32/drivers/etc/services(一般 %systemroot% 就是 C:\Windows 路徑)
檢查啟動項、計劃任務、服務
1、檢查服務器是否有異常的啟動項。
-
檢查方法:
a、登錄服務器,單擊【開始】>【所有程序】>【啟動】,默認情況下此目錄在是一個空目錄,確認是否有非業務程序在該目錄下。 b、單擊開始菜單 >【運行】,輸入
msconfig
,查看是否存在命名異常的啟動項目,是則取消勾選命名異常的啟動項目,并到命令中顯示的路徑刪除文件。 c、單擊【開始】>【運行】,輸入 regedit,打開注冊表,查看開機啟動項是否正常,特別注意如下三個注冊表項:?#run鍵HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\RunHKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\RunOnceHKEY_LOCAL_MACHINE\SOFRWARE\Microsoft\Windows\CurrentVersion\RunHKEY_LOCAL_MACHINE\SOFRWARE\Microsoft\Windows\CurrentVersion\Runonce# Winlogon\Userinit鍵HKEY_CURRENT_USER\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\WinlogonHKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\Winlogon
檢查右側是否有啟動異常的項目,如有請刪除,并建議安裝殺毒軟件進行病毒查殺,清除殘留病毒或木馬。
d、利用安全軟件查看啟動項、開機時間管理等。
e、組策略,運行
gpedit.msc
2、檢查計劃任務
-
檢查方法:
a、使用運行命令:按下 Win+R 組合鍵,打開 “運行” 對話框,輸入 “taskschd.msc”,然后按回車鍵,即可快速打開 “任務計劃程序” 窗口。
b、單擊【開始】>【運行】;輸入
cmd
,然后輸入at
,檢查計算機與網絡上的其它計算機之間的會話或計劃任務,如有,則確認是否為正常連接。
3、服務自啟動
-
檢查方法:單擊【開始】>【運行】,輸入
services.msc
,注意服務狀態和啟動類型,檢查是否有異常服務。
檢查系統相關信息
1、查看系統版本以及補丁信息
-
檢查方法:單擊【開始】>【運行】,輸入
systeminfo
,查看系統信息。
2、查找可疑目錄及文件
-
檢查方法:
a、 查看用戶目錄,新建賬號會在這個目錄生成一個用戶目錄,查看是否有新建用戶目錄。
?Window 2003版本 C:\Documents and SettingsWindow 2008R2及以后版本 C:\Users\
b、單擊【開始】>【運行】,輸入
%UserProfile%\Recent
,分析最近打開分析可疑文件。c、在服務器各個目錄,可根據文件夾內文件列表時間進行排序,查找可疑文件。
d、回收站、瀏覽器下載目錄、瀏覽器歷史記錄
e、修改時間在創建時間之前的為可疑文件
3、發現并得到 WebShell、遠控木馬的創建時間,如何找出同一時間范圍內創建的文件?
a、利用 Registry Workshop 注冊表編輯器的搜索功能,可以找到最后寫入時間區間的文件。 b、利用計算機自帶文件搜索功能,指定修改時間進行搜索。
Linux系統
查賬號
基本使用:
?1、用戶信息文件 /etc/passwdroot:x:0:0:root:/root:/bin/bashaccount:password:UID:GID:GECOS:directory:shell用戶名:密碼:用戶ID:組ID:用戶說明:家目錄:登陸之后的 shell注意:無密碼只允許本機登陸,遠程不允許登陸?2、影子文件 /etc/shadowroot:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTqwNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0:99999:7:::用戶名:加密密碼:密碼最后一次修改日期:兩次密碼的修改時間間隔:密碼有效期:密碼修改到期到的警告天數:密碼過期之后的寬限天數:賬號失效時間:保留3、/etc/sudoers sudo配置文件
?who ? ? 查看當前登錄用戶(tty 本地登陸 pts 遠程登錄)w ? ? ? 查看系統信息,想知道某一時刻用戶的行為uptime 查看登陸多久、多少用戶,負載狀態
入侵排查:
?1、查詢特權用戶特權用戶(uid 為0)[root@localhost ~]# awk -F: '$3==0{print $1}' /etc/passwd2、查詢可以遠程登錄的帳號信息[root@localhost ~]# awk '/\$1|\$6/{print $1}' /etc/shadow3、除root帳號外,其他帳號是否存在sudo權限。如非管理需要,普通帳號應刪除sudo權限[root@localhost ~]# more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"4、禁用或刪除多余及可疑的帳號usermod -L user ? 禁用帳號,帳號無法登錄,/etc/shadow 第二欄為 ! 開頭userdel user ? ? ? 刪除 user 用戶userdel -r user ? 將刪除 user 用戶,并且將 /home 目錄下的 user 目錄一并刪除
查歷史命令
基本使用:
通過 .bash_history 文件查看帳號執行過的系統命令
?1、root 用戶的歷史命令histroy2、打開 /home 各帳號目錄下的 .bash_history,查看普通帳號執行的歷史命令。為歷史的命令增加登錄的 IP 地址、執行命令時間等信息:1)保存1萬條命令sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/g' /etc/profile2)在/etc/profile的文件尾部添加如下行數配置信息:######jiagu history xianshi#########USER_IP=`who -u am i 2>/dev/null | awk '{print $NF}' | sed -e 's/[()]//g'`if [ "$USER_IP" = "" ]thenUSER_IP=`hostname`fiexport HISTTIMEFORMAT="%F %T $USER_IP `whoami` "shopt -s histappendexport PROMPT_COMMAND="history -a"######### jiagu history xianshi ##########3)source /etc/profile 讓配置生效生成效果: 1 2018-07-10 19:45:39 192.168.204.1 root source /etc/profile3、歷史操作命令的清除:history -c但此命令并不會清除保存在文件中的記錄,因此需要手動刪除 .bash_profile 文件中的記錄。
入侵排查:
進入用戶目錄下,導出歷史命令。 cat .bash_history >> history.txt
檢查異常端口
使用 netstat 網絡連接命令,分析可疑端口、IP、PID
netstat -antlp | more查看下 pid 所對應的進程文件路徑, 運行 ls -l /proc/$PID/exe 或 file /proc/$PID/exe($PID 為對應的 pid 號)
檢查異常進程
使用 ps 命令,分析進程
ps aux | grep pid
檢查開機啟動項
基本使用:
系統運行級別示意圖:
運行級別 | 含義 |
---|---|
0 | 關機 |
1 | 單用戶模式,可以想象為windows的安全模式,主要用于系統修復 |
2 | 不完全的命令行模式,不含NFS服務 |
3 | 完全的命令行模式,就是標準字符界面 |
4 | 系統保留 |
5 | 圖形模式 |
6 | 重啟動 |
查看運行級別命令 runlevel
系統默認允許級別
vi /etc/inittab id=3:initdefault #系統開機后直接進入哪個運行級別
開機啟動配置文件
/etc/rc.local /etc/rc.d/rc[0~6].d
例子:當我們需要開機啟動自己的腳本時,只需要將可執行腳本丟在 /etc/init.d 目錄下,然后在 /etc/rc.d/rc*.d 文件中建立軟鏈接即可。
注:此中的 * 代表 0,1,2,3,4,5,6 這七個等級
root@localhost ~]# ln -s /etc/init.d/sshd /etc/rc.d/rc3.d/S100ssh
此處sshd是具體服務的腳本文件,S100ssh是其軟鏈接,S開頭代表加載時自啟動;如果是K開頭的腳本文件,代表運行級別加載時需要關閉的。
入侵排查:
啟動項文件:
more /etc/rc.local /etc/rc.d/rc[0~6].d ls -l /etc/rc.d/rc3.d/
檢查定時任務
基本使用
1、利用 crontab 創建計劃任務
-
基本命令
crontab -l 列出某個用戶cron服務的詳細內容Tips:默認編寫的crontab文件會保存在 (/var/spool/cron/用戶名 例如: /var/spool/cron/rootcrontab -r 刪除每個用戶cront任務(謹慎:刪除所有的計劃任務)crontab -e 使用編輯器編輯當前的crontab文件 如:*/1 * * * * echo "hello world" >> /tmp/test.txt 每分鐘寫入文件
2、利用 anacron 命令實現異步定時任務調度
-
使用案例
每天運行 /home/backup.sh 腳本: vi /etc/anacrontab @daily 10 example.daily /bin/bash /home/backup.sh 當機器在 backup.sh 期望被運行時是關機的,anacron會在機器開機十分鐘之后運行它,而不用再等待 7天。
入侵排查
重點關注以下目錄中是否存在惡意腳本
/var/spool/cron/* /etc/crontab /etc/cron.d/* /etc/cron.daily/* /etc/cron.hourly/* /etc/cron.monthly/* /etc/cron.weekly/ /etc/anacrontab /var/spool/anacron/*
小技巧:
more /etc/cron.daily/* 查看目錄下所有文件
檢查服務
服務自啟動
第一種修改方法:
chkconfig [--level 運行級別] [獨立服務名] [on|off] chkconfig –level 2345 httpd on 開啟自啟動 chkconfig httpd on (默認level是2345)
第二種修改方法:
修改 /etc/re.d/rc.local 文件 加入 /etc/init.d/httpd start
第三種修改方法:
使用 ntsysv 命令管理自啟動,可以管理獨立服務和 xinetd 服務。
入侵排查
1、查詢已安裝的服務:
RPM 包安裝的服務
chkconfig --list 查看服務自啟動狀態,可以看到所有的RPM包安裝的服務 ps aux | grep crond 查看當前服務系統在3與5級別下的啟動項 中文環境 chkconfig --list | grep "3:啟用\|5:啟用" 英文環境 chkconfig --list | grep "3:on\|5:on"
源碼包安裝的服務
查看服務安裝位置 ,一般是在/user/local/ service httpd start 搜索/etc/rc.d/init.d/ 查看是否存在
檢查異常文件
1、查看敏感目錄,如/tmp目錄下的文件,同時注意隱藏文件夾,以“..”為名的文件夾具有隱藏屬性
2、得到發現WEBSHELL、遠控木馬的創建時間,如何找出同一時間范圍內創建的文件?
可以使用find命令來查找,如 find /opt -iname "*" -atime 1 -type f 找出 /opt 下一天前訪問過的文件
3、針對可疑文件可以使用 stat 進行創建修改時間。
檢查系統日志
日志默認存放位置:/var/log/
查看日志配置情況:more /etc/rsyslog.conf
日志文件 | 說明 |
---|---|
/var/log/cron | 記錄了系統定時任務相關的日志 |
/var/log/cups | 記錄打印信息的日志 |
/var/log/dmesg | 記錄了系統在開機時內核自檢的信息,也可以使用dmesg命令直接查看內核自檢信息 |
/var/log/mailog | 記錄郵件信息 |
/var/log/message | 記錄系統重要信息的日志。這個日志文件中會記錄Linux系統的絕大多數重要信息,如果系統出現問題時,首先要檢查的就應該是這個日志文件 |
/var/log/btmp | 記錄錯誤登錄日志,這個文件是二進制文件,不能直接vi查看,而要使用lastb命令查看 |
/var/log/lastlog | 記錄系統中所有用戶最后一次登錄時間的日志,這個文件是二進制文件,不能直接vi,而要使用lastlog命令查看 |
/var/log/wtmp | 永久記錄所有用戶的登錄、注銷信息,同時記錄系統的啟動、重啟、關機事件。同樣這個文件也是一個二進制文件,不能直接vi,而需要使用last命令來查看 |
/var/log/utmp | 記錄當前已經登錄的用戶信息,這個文件會隨著用戶的登錄和注銷不斷變化,只記錄當前登錄用戶的信息。同樣這個文件不能直接vi,而要使用w,who,users等命令來查詢 |
/var/log/secure | 記錄驗證和授權方面的信息,只要涉及賬號和密碼的程序都會記錄,比如SSH登錄,su切換用戶,sudo授權,甚至添加用戶和修改用戶密碼都會記錄在這個日志文件中 |
重點關注:/var/log/lastlog、/var/log/wtmp、/var/log/secure這三個日志
日志分析技巧:
1、定位有多少IP在爆破主機的root帳號: grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more定位有哪些IP在爆破: grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq -c自動封堵IP的腳本 #!/bin/bash# 定義失敗次數閾值和封堵時長(秒) FAIL_COUNT=5 BAN_DURATION=3600 # 1小時# 臨時存儲失敗IP和次數的文件 TMP_FILE="/tmp/ssh_failures.tmp"# 確保臨時文件存在 touch $TMP_FILE# 提取最近的SSH失敗日志(根據不同系統的日志路徑調整) # CentOS/RHEL通常是/var/log/secure,Debian/Ubuntu通常是/var/log/auth.log if [ -f "/var/log/secure" ]; thenLOG_FILE="/var/log/secure" elif [ -f "/var/log/auth.log" ]; thenLOG_FILE="/var/log/auth.log" elseecho "未找到SSH日志文件"exit 1 fi# 提取失敗的IP地址并計數,read count ip:將每行的第一個數值(失敗次數)賦值給變量 count,將后面的 IP 地址賦值給變量 ip。 awk '/Failed password/ {print $11}' $LOG_FILE | sort | uniq -c | while read count ip; do# 檢查是否已經記錄過該IPif grep -q "$ip" $TMP_FILE; then# 更新已存在IP的計數sed -i "s/^.* $ip$/$count $ip/" $TMP_FILEelse# 添加新的IP記錄echo "$count $ip" >> $TMP_FILEfi# 如果失敗次數超過閾值,且尚未被封堵,則執行封堵if [ $count -ge $FAIL_COUNT ] && ! iptables -C INPUT -s $ip -j DROP 2>/dev/null; theniptables -A INPUT -s $ip -p tcp --dport 22 -j DROPecho "[$(date)] 封堵IP: $ip,失敗次數: $count,封堵時長: $BAN_DURATION秒" >> /var/log/ssh_ban.log# 設置定時任務,自動解除封堵(crontab -l 2>/dev/null | grep -v "$ip"; echo "$(( $(date +%M) + $BAN_DURATION/60 % 60 )) $(( $(date +%H) + $BAN_DURATION/3600 )) * * * iptables -D INPUT -s $ip -p tcp --dport 22 -j DROP") | crontab -fi done# 清理臨時文件中計數低于閾值的記錄 awk -v threshold=$FAIL_COUNT '$1 < threshold {next} 1' $TMP_FILE > $TMP_FILE.tmp mv $TMP_FILE.tmp $TMP_FILE2、登錄成功的IP有哪些: grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more登錄成功的日期、用戶名、IP: grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}'
web日志分析
日志分析技巧
在對WEB日志進行安全分析時,一般可以按照兩種思路展開,逐步深入,還原整個攻擊過程。
第一種:確定入侵的時間范圍,以此為線索,查找這個時間范圍內可疑的日志,進一步排查,最終確定攻擊者,還原攻擊過程。
第二種:攻擊者在入侵網站后,通常會留下后門維持權限,以方便再次訪問,我們可以找入侵時間范圍內被修改或創建的文件,這極有可能就是攻擊者的后門
常用分析工具:
Window下,推薦用 EmEditor 進行日志分析,支持大文本,搜索效率還不錯。
Linux下,使用Shell命令組合查詢分析。
Shell+Linux命令實現日志分析,一般結合grep、awk等命令等實現了幾個常用的日志分析統計技巧。
Apache日志分析技巧:
1、列出當天訪問次數最多的IP命令: cut -d- -f 1 log_file|uniq -c | sort -rn | head -202、查看當天有多少個IP訪問: awk '{print $1}' log_file|sort|uniq|wc -l3、查看某一個頁面被訪問的次數: grep "/index.php" log_file | wc -l4、查看每一個IP訪問了多少個頁面: #{++S[$1]} 這是對每一行的處理邏輯: $1 表示每行的第一個字段(默認以空格 / 制表符分隔)。 S[$1] 定義了一個名為 S 的關聯數組(類似字典),以第一列的值為鍵。 ++S[$1] 表示對該鍵對應的數組值進行累加(即統計該值出現的次數)。 例如,當第一列是 IP 時,每遇到相同 IP 就會讓其計數+1; awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file5、將每個IP訪問的頁面數進行從小到大排序: awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n6、查看某一個IP訪問了哪些頁面: grep ^111.111.111.111 log_file| awk '{print $1,$7}'7、去掉搜索引擎統計當天的頁面: awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l8、查看2018年6月21日14時這一個小時內有多少IP訪問: awk '{print $4,$1}' log_file | grep 21/Jun/2018:14 | awk '{print $2}'| sort | uniq | wc -l
日志統計分析技巧
統計爬蟲:
grep -E 'Googlebot|Baiduspider' /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq
統計瀏覽器:
從 Web 訪問日志中篩選出非主流瀏覽器的訪問記錄,并統計這些訪問的來源信息(通常是 IP 地址),最后按訪問次數排序并顯示前 100 條結果
cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100
IP 統計:
grep '23/May/2019' /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 102206 219.136.134.131497 182.34.15.2481431 211.140.143.1001431 119.145.149.1061427 61.183.15.1791427 218.6.8.1891422 124.232.150.1711421 106.187.47.2241420 61.160.220.2521418 114.80.201.18
統計網段:
cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200
統計域名:
cat /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more
HTTP Status:
cat /www/logs/access.2019-02-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more 5056585 304 1125579 2007602 4005 301
URL 統計:
cat /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more
文件流量統計:
cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|moregrep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
URL訪問量統計:
cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort -rn | more
腳本運行速度:
查出運行速度最慢的腳本
grep -v 0$ /www/logs/access.2019-02-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt
IP, URL 抽取:
# tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk '{print $1" "$7}'