故障排除是任何 Linux 用戶或管理員的基本技能。這涉及識別和解決 Linux 系統中的問題。這些問題的范圍包括常見的系統錯誤、硬件或軟件問題、網絡連接問題以及系統資源的管理。Linux 中的故障排除過程通常涉及使用命令行工具、檢查系統和應用程序日志文件、了解系統進程，有時還涉及深入研究 Linux 內核。

有效故障排除的關鍵是了解 Linux 的工作原理并熟悉常見的命令行工具。此外，能夠解釋錯誤消息、使用 Linux 的內置調試工具以及了解常見問題癥狀可以加快解決時間。

# example of using a command-line tool for troubleshooting
top

該命令是一種常用的故障排除工具，可提供系統上運行的進程的動態實時視圖。它對于識別可能導致性能問題的資源密集型進程特別有用。top

🕵?♂??Linux故障排除就像偵探破案

核心思路：?像偵探一樣收集線索（日志）、分析證據（系統狀態）、鎖定嫌犯（問題根源）

🚨?案件調查步驟

1???現場勘查（查看系統狀態）

top                  # 查看實時"人流監控"（進程資源占用）
htop                 # 升級版監控（更直觀，支持鼠標操作）

• 關鍵線索：CPU占用90%的"可疑分子"（異常進程）

• 行動：按P按CPU排序，按k終止可疑進程

2???調取監控（查看日志）

journalctl -xe       # 查看系統"監控錄像"（最新日志）
tail -f /var/log/syslog  # 實時追蹤"案發現場"

• 常見案發現場：

  • /var/log/auth.log?→ 登錄安全記錄

  • /var/log/nginx/error.log?→ Web服務錯誤

3???排查物證（檢查硬件）

dmesg | grep -i error  # 檢查"物證報告"（硬件錯誤）
smartctl -a /dev/sda  # 檢測硬盤"健康狀態"

📌 作用：查看系統日志，找出可能的硬件錯誤

解析

• dmesg 👉 顯示系統日志，包含開機信息、硬件檢測、驅動加載等內容。
• | 👉 管道操作符，把 dmesg 的輸出傳給 grep 處理。
• grep -i error 👉 搜索日志中**包含“error”（錯誤）**的行，-i 讓匹配不區分大小寫。

示例

dmesg | grep -i error

如果系統有錯誤，可能會輸出：

[  145.123456] ata1.00: failed command: READ FPDMA QUEUED
[  145.123789] blk_update_request: I/O error, dev sda, sector 123456
[  200.987654] EXT4-fs error (device sda1): ext4_find_entry:xxxx: reading directory #xxxxxxx offset xxxx

解釋：

• I/O error, dev sda 👉 硬盤讀寫錯誤。
• EXT4-fs error 👉 磁盤文件系統出錯，可能有壞道。

? 結論：如果發現錯誤日志，說明硬件（尤其是硬盤）可能有問題，建議進一步檢測。

📌 作用：查詢硬盤的 S.M.A.R.T.（自我監測分析報告）信息，判斷硬盤是否健康

解析

• smartctl 👉 一個檢測硬盤健康狀態的工具，屬于 smartmontools 軟件包。
• -a 👉 顯示所有 S.M.A.R.T. 信息（包括溫度、壞道、壽命等）。
• /dev/sda 👉 指定要檢測的硬盤（sda 是系統的第一塊硬盤）。

示例

smartctl -a /dev/sda

可能輸出：

ID# ATTRIBUTE_NAME          VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE5  Reallocated_Sector_Ct   10    10    36    Pre-fail  Always   FAILING_NOW  1009  Power_On_Hours         30000  100   0     Old_age   Always   -           30000
194  Temperature_Celsius    35     50    0     Old_age   Always   -           35

解釋：

• Reallocated_Sector_Ct（重映射扇區數）👉 數值大于 0 說明硬盤有壞道，100 說明已經有 100 個壞塊。
• Power_On_Hours（開機時間）👉 硬盤運行時間，30000 小時（≈3.4 年）。
• Temperature_Celsius（溫度）👉 硬盤溫度，35℃（正常）。

? 結論：

• 如果 Reallocated_Sector_Ct 有值，說明硬盤有壞道，建議更換硬盤！
• 如果 Power_On_Hours 太高（>40,000 小時），說明硬盤已經很老，容易出問題。
• 如果溫度高于 50℃，可能需要改善散熱。

解釋：

• Reallocated_Sector_Ct（重映射扇區數）👉 數值大于 0 說明硬盤有壞道，100 說明已經有 100 個壞塊。
• Power_On_Hours（開機時間）👉 硬盤運行時間，30000 小時（≈3.4 年）。
• Temperature_Celsius（溫度）👉 硬盤溫度，35℃（正常）。

? 結論：

• 如果 Reallocated_Sector_Ct 有值，說明硬盤有壞道，建議更換硬盤！
• 如果 Power_On_Hours 太高（>40,000 小時），說明硬盤已經很老，容易出問題。
• 如果溫度高于 50℃，可能需要改善散熱。

總結

💡 如果 dmesg 發現 I/O 錯誤，或者 smartctl 發現壞道，說明硬盤可能要壞了，需要盡快備份數據！ 🚨

🔧?偵探工具箱（常用命令）

🌰?經典案件偵破

案件：網站突然無法訪問

1. 初步勘查：

   systemctl status nginx  # 發現服務異常停止

2. 調取監控：

   journalctl -u nginx --since "10 minutes ago"  # 發現端口沖突

3. 鎖定嫌犯：

   ss -tulnp | grep :80  # 發現Apache占用了80端口

4. 解決問題：

   sudo systemctl stop httpd  # 停用Apache
   sudo systemctl start nginx # 啟動Nginx

???偵探守則（注意事項）

1. 保護現場：遇到問題先別重啟，保留現場證據

2. 逐項排查：從簡單到復雜（先檢查網絡→服務→配置）

3. 善用手冊：man 命令?或?命令 --help?獲取線索

4. 隔離測試：最小化重現環境，避免干擾

💡?破案技巧

• 時間回溯：

  sudo grep "ERROR" /var/log/* -r --since "2023-10-01"

• 壓力測試：

  stress --cpu 8 --timeout 60s  # 模擬高負載測試

• 快照還原：

  timeshift --restore  # 使用系統快照回到案發前

總結：?記住這個破案口訣：

一查狀態二看報錯，  
三驗網絡四測硬件，  
日志監控是金鑰匙，  
隔離驗證保平安。

掌握這些技能，你就能成為Linux世界的"福爾摩斯"！ 🎩🔍

ICMP

Internet 控制消息協議 （ICMP） 是一種支持協議，主要由網絡設備用于將更新或錯誤信息傳達給其他設備。在 Linux 環境中排查網絡問題時，ICMP 是一個關鍵方面。它可用于發送錯誤消息，例如，指示請求的服務不可用或無法訪問主機或路由器。ICMP 還可用于中繼查詢消息。

在 Linux 系統中，與 ICMP 相關的常見命令行工具包括 和 ，兩者都用于診斷網絡狀態，通常是故障排除工作的一部分。pingtraceroute

# Use of ICMP via the ping command to send an echo request to a specific host
ping www.google.com

這個簡單而有效的工具在任何 Linux 網絡故障排除庫中都不應錯過。

好的，我用「快遞員送包裹」的比喻來解釋 ICMP 協議和相關工具，讓你像查快遞一樣排查網絡問題：

?ICMP 協議 = 快遞員之間的溝通紙條

想象你要寄快遞（發送數據包），但中途可能出問題：

• 🚚 ?正常流程：快遞員（數據包）順利到達目的地
• ? ?異常情況：地址寫錯、路斷了、對方拒收
  這時快遞員會用 ICMP 協議寫「紙條」通知你問題在哪！

?ICMP 的兩種核心功能

1. ?報錯通知?（類似快遞退回單）
   • 例子：Destination Unreachable（地址不存在）
   • 場景：訪問的網站 IP 寫錯了，路由器返回這個錯誤
2. ?網絡探測?（類似物流跟蹤）
   • 例子：Echo Request/Reply（回聲檢測）
   • 場景：用?ping?測試是否能到達目標服務器

?Linux 中的 ICMP 工具：快遞追蹤器

?1???ping：檢查包裹是否能送達

ping www.google.com  # 向谷歌服務器發送探測包

輸出示例👇

64 bytes from 172.217.160.68: icmp_seq=1 ttl=54 time=25.3 ms
64 bytes from 172.217.160.68: icmp_seq=2 ttl=54 time=26.1 ms

結果解讀：

• time=25.3 ms?→ 網絡延遲（越低越好）
• ttl=54?→ 數據包經過的路由器跳數（初始值通常64或128）
• 如果顯示?請求超時，說明網絡不通或對方屏蔽了 ICMP

適用場景：

• 快速測試網站/IP 是否能訪問
• 檢查本地網絡是否正常（先?ping 路由器IP）

?2???traceroute：跟蹤包裹的運輸路線

traceroute www.baidu.com  # 顯示數據包經過的所有路由器

輸出示例👇

 1  192.168.1.1 (192.168.1.1)  2.123 ms  1.987 ms  1.845 ms  2  10.10.10.1 (10.10.10.1)  10.234 ms  10.123 ms  9.876 ms  3  202.96.128.86 (電信骨干網)  25.678 ms  26.123 ms  25.987 ms  ...  

原理：

• 故意發送 TTL（存活時間）遞增的數據包
• 每經過一個路由器，TTL 減1，當 TTL=0 時路由器返回 ICMP 超時消息
• 通過這種方式「逼」路由器們暴露自己的 IP

適用場景：

• 定位網絡卡在哪一跳（比如第3跳延遲暴增）
• 排查跨國網站訪問慢的問題

?ICMP 的常見錯誤類型

?實際故障排查案例

?問題：電腦能上微信但打不開網頁

排查步驟：

1. ping 114.114.114.114?→ 測試是否能連國內 DNS
   • 如果通 → 說明網絡連接正常
   • 不通 → 檢查本地網絡或網線
2. ping www.baidu.com?→ 測試域名解析
   • 如果通 → 瀏覽器問題或 HTTPS 證書錯誤
   • 不通 → DNS 設置錯誤（修改?/etc/resolv.conf）

?ICMP 的局限性

• ?可能被防火墻屏蔽：很多服務器關閉 ICMP 響應（防攻擊）
• ?不代表端口可用：即使能?ping?通，不代表 80（HTTP）端口開放
  • 端口檢測需用?telnet 目標IP 80?或?nc -zv 目標IP 80

?其他相關工具

• ?**mtr**：ping?+?traceroute?合體版，實時監控每跳的丟包率

  mtr www.github.com  # 動態顯示網絡路徑質量

• ?**nmap**：檢測目標是否屏蔽 ICMP

  nmap -sn 192.168.1.1  # 用多種方式探測主機是否在線

總結：
ICMP 就像網絡世界的「信使系統」，ping?是打電話問對方「在嗎？」，traceroute?是查通話經過哪些中轉站。掌握這些工具，你就能像偵探一樣順藤摸瓜找到網絡問題的源頭！

ping

Ping是在 Linux作系統上進行網絡故障排除時的關鍵工具。該命令允許您檢查主機與目標計算機（可以是另一臺計算機、服務器或網絡上的任何設備）之間的連接狀態。此診斷工具將 ICMP（互聯網控制消息協議）ECHO_REQUEST數據包發送到目標主機并偵聽ECHO_RESPONSE返回，從而深入了解連接的運行狀況和速度。ping

ping <target IP or hostname>

如果到達目標主機時遇到任何問題，可以識別此問題并提供反饋，使其成為排查網絡問題的重要組件。在許多情況下，它是 Linux 用戶在診斷網絡連接問題時首先使用的工具。ping

好的，用「打電話」和「回聲探測」的比喻來解釋?ping，保證你聽完就能掌握精髓：

?**ping?= 網絡世界的「電話測試儀」?**

想象你想確認朋友手機是否開機，你會：
1?? ?打電話?→ 如果朋友接了，說明線路正常
2?? ?聽嘟嘟聲?→ 如果響鈴后無人接聽，可能對方關機
3?? ?數響鈴時間?→ 判斷距離遠近（延遲高低）

ping?就是用 ICMP 協議做類似的事情，只不過探測對象是網絡設備！

?基礎用法：打一通網絡電話

ping www.baidu.com  # 給百度服務器打電話

輸出示例👇

PING www.a.shifen.com (14.119.104.189) 56(84) bytes of data.
64 bytes from 14.119.104.189: icmp_seq=1 ttl=54 time=28.3 ms
64 bytes from 14.119.104.189: icmp_seq=2 ttl=54 time=27.9 ms
^C  # 按 Ctrl+C 停止
--- 統計報告 ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 27.934/28.114/28.295/0.180 ms

關鍵信息解讀：

• ?**time=28.3 ms** → 延遲（越低網速越快，游戲玩家最關注這個）
• ?**ttl=54** → 初始值通常 64（Linux）或 128（Windows），每經過一個路由器減1
  • 如果看到?ttl=112，說明經過了 128-112=16 個路由器
• ?**0% packet loss** → 丟包率（>5% 可能影響視頻通話）

?常見場景與操作技巧

?場景1：快速測試網絡通不通

ping -c 4 114.114.114.114  # 只打4次電話就掛斷

輸出：

--- 114.114.114.114 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss  # 全通說明網絡正常

?場景2：檢測網絡穩定性（持續監控）?

ping -i 0.5 www.qq.com  # 每0.5秒打一次電話

用途：

• 玩游戲時檢測網絡是否波動
• 按?Ctrl + \?強制退出無限循環

?場景3：排查「能上微信但打不開網頁」?

ping 114.114.114.114     # 測試DNS服務器是否可達
ping www.baidu.com       # 測試域名解析是否正常

結論：

• 第一個通，第二個不通 → 可能是 DNS 問題（修改?/etc/resolv.conf）
• 兩個都不通 → 檢查路由器或光貓

?常見錯誤與應對措施

?錯誤1：未知的主機（DNS解析失敗）?

ping: www.xxx.com: 未知的名稱或服務

解決方案：

1. 換用 IP 測試：ping 8.8.8.8（Google DNS）
2. 檢查 DNS 設置：cat /etc/resolv.conf

?錯誤2：請求超時（網絡不通或屏蔽）?

From 192.168.1.1 icmp_seq=1 Destination Host Unreachable

排查步驟：

1. ping 路由器IP（如 192.168.1.1） → 確認內網是否正常
2. ping 8.8.8.8?→ 確認外網是否連通
3. 目標服務器可能禁用了 ICMP（比如某些云主機）

?錯誤3：高延遲/高丟包

time=350 ms  # 延遲高于 200ms 就影響視頻會議
50% packet loss  # 丟包嚴重會導致卡頓

應對：

• 用?mtr 目標IP?檢查哪一跳路由器有問題
• 聯系網絡運營商報修

?高級技巧（參數大全）?

?總結：ping 的三大核心作用

1. ?網絡連通性測試?→ 確認設備是否在線
2. ?延遲與穩定性監測?→ 評估網絡質量
3. ?初步故障定位?→ 區分是內網問題還是外網問題

排查網絡問題的黃金口訣：

一 ping 網關，二 ping DNS，三 ping 公網IP  
全都不通查網線，部分不通找路由！

路由跟蹤

Traceroute 是一種網絡診斷工具，在 Linux 系統中廣泛用于故障排除。它旨在顯示數據包從運行 traceroute 的系統到指定目標系統或網站的路徑。它用于識別路由問題、提供延遲測量，并在數據包通過 Internet 時弄清楚網絡結構。

沿路由的每次跳轉都會測試多次（默認值為 3，但可以更改），并顯示每個數據包的往返時間。如果某些數據包無法到達目的地，traceroute 可以幫助診斷故障發生的位置。

在 Linux 中跟蹤路由可以通過執行命令來實現，該命令允許您發現 Internet 協議數據包在到達目的地時遵循的路由。traceroute

$ traceroute www.example.com

我來用快遞送貨的例子幫你理解 traceroute 的工作原理：

假設你從北京寄快遞到上海的朋友家，但快遞中途要經過多個中轉站：

1. 你寄出快遞時在包裹上標記"有效期=1天"

2. 第一個中轉站（天津）收到后發現有效期只剩0天，就會：

   • 銷毀包裹

   • 給你發回一條短信："包裹在天津超時了"

3. 你記錄下天津站的響應時間（比如0.5ms）

4. 接著你重新寄出包裹，標記"有效期=2天"

5. 這次包裹能到達第二個中轉站（濟南），同樣會收到超時通知

6. 重復這個過程直到包裹到達上海朋友家

📊 執行?traceroute www.example.com?的輸出示例：

復制

1  192.168.1.1 (路由器)  1.234 ms  1.456 ms  1.567 ms
2  61.128.192.1 (廣州電信)  5.678 ms  5.712 ms  5.801 ms
3  202.97.12.34 (骨干網節點)  12.345 ms  12.401 ms  12.512 ms
...
10  203.0.113.5 (目標服務器)  38.901 ms  39.012 ms  39.123 ms

🔑 關鍵點解析：

• 每行代表一個網絡節點（路由器/服務器）

• 三個時間值對應三次探測的往返延遲

• 星號(*) 表示該次探測未得到響應

• 延遲突增的位置往往暗示網絡瓶頸

💡 實用技巧：

1. 用?-I?參數使用ICMP協議（類似ping）
   traceroute -I baidu.com

2. 遇到星號時嘗試增加探測次數：
   traceroute -q 5 github.com

3. 限制最大跳數（適合內網排查）：
   traceroute -m 10 192.168.0.100

?? 注意：某些網絡設備會屏蔽traceroute探測，這時候會出現連續星號，并不一定代表網絡故障。

Netstat

Netstat 是 network statistics 的縮寫，是 Linux 系統中用于網絡故障排除和性能測量的內置命令行工具。它提供協議的統計信息、開放端口列表、路由表信息和其他重要的網絡詳細信息。管理員和開發人員使用 netstat 來檢查網絡問題并了解系統如何與其他系統通信。

由于它支持各種命令行選項，它的功能得到了擴展，這些選項可以單獨或組合使用來微調輸出。這些可能包括顯示數字地址而不是名稱 （）、持續監視 （） 或發現特定協議上的連接 （， ）。-n?-c?-t?-u

以下是 netstat 通常如何使用的簡短片段：

# List all connections with numerical values.
netstat -n

好的，用「電話總機控制臺」來比喻?netstat，讓你像查電話線路一樣掌握網絡連接狀態：

?**netstat?= 網絡連接的電話交換機面板**

想象你管理一個公司的電話系統，需要知道：

1. ?哪些分機正在通話?→ 查看活動連接
2. ?哪些分機等待來電?→ 查看監聽端口
3. ?電話線路路由表?→ 查看網絡路由配置

netstat?就是這樣一個實時顯示所有「電話線路」（網絡連接）狀態的控制面板！

?常用場景速查手冊

?場景1：查看所有正在通話的線路（活動連接）?

netstat -natp  # 組合參數大法

參數解釋：

• -n：顯示數字地址（不解析域名）
• -a：顯示所有連接（包括監聽中的）
• -t：TCP協議
• -p：顯示進程PID/名稱

輸出示例👇

Proto Recv-Q Send-Q Local Address    Foreign Address     State       PID/Program name  
tcp        0      0 192.168.1.100:22 110.242.68.3:56789   ESTABLISHED 1234/sshd: user  
tcp6       0      0 :::80            :::*                LISTEN      5678/nginx

關鍵列解讀：

• Local Address：本機IP和端口
• Foreign Address：對方IP和端口
• State：連接狀態（ESTABLISHED=通話中，LISTEN=待機中）
• PID/Program：哪個程序在使用這個連接

?場景2：查誰在偷聽電話（監聽中的端口）?

netstat -tulnp  # 組合拳出擊

參數解釋：

• -t：TCP協議
• -u：UDP協議
• -l：僅顯示監聽中的端口
• -p：顯示進程信息

輸出示例👇

Proto Recv-Q Send-Q Local Address   Foreign Address    State    PID/Program  
tcp        0      0 0.0.0.0:22      0.0.0.0:*          LISTEN   1234/sshd  
tcp6       0      0 :::80           :::*               LISTEN   5678/nginx  
udp        0      0 0.0.0.0:68      0.0.0.0:*                  7890/dhclient

典型應用：

• 確認Web服務器是否在監聽80端口
• 檢查是否有可疑后門程序在監聽端口

?場景3：查電話線路統計（網絡流量統計）?

netstat -s  # 查看協議統計信息

輸出重點：

Tcp:3245 active connections openings  12 failed connection attempts  892 segments retransmitted  Ip:25675 total packets received  0 invalid addresses  

用途：

• 診斷TCP重傳率過高（網絡質量差）
• 檢查UDP丟包情況

?實用排查案例

?問題1：端口被占用導致服務啟動失敗

步驟：

# 1. 查哪個進程占用了80端口
netstat -tulnp | grep :80# 2. 根據PID結束進程
kill -9 5678

?問題2：懷疑服務器被植入后門

步驟：

netstat -natp | grep ESTAB  
# 重點檢查Foreign Address是否有陌生IP連接

?參數對照表（新手必存）?

?升級替代工具：ss?命令

特點：更快更現代（逐漸替代?netstat）
常用命令：

ss -tunlp  # 參數含義與netstat類似

?總結口訣

查連接用 netstat，參數組合別搞差  
-n 顯示純數字，-a 所有連接查  
-t TCP u是UDP，-l 監聽要記牢  
-p 顯示進程號，-s 統計頂呱呱  
遇到問題別慌張，先查端口后殺它！

sudo tcpdump -i eth0

ip link show  # 查看所有網絡接口的名稱和狀態

1: lo: <LOOPBACK,UP> ...   # 回環接口（虛擬）
2: eth0: <BROADCAST,UP> ... # 第一個以太網接口（物理網卡）
3: wlan0: <BROADCAST,UP> ... # 無線網卡

ls /sys/class/net  # 列出所有網絡接口名稱

sudo tcpdump -i eth0 host 192.168.1.100

tshark -r capture.pcap  # 命令行版分析工具

15:03:22.123456 IP 192.168.1.5.54321 > 203.0.113.10.80: Flags [P.], seq 1:100, ack 1, win 256, length 99

tcpdump -nn 'dst port 80' | awk '{print $3}' | sort | uniq -c | sort -nr

一抓二提三排序，四統五排結果齊。
-nn 抓包禁解析，awk 提列看第三。
sort 整理做鋪墊，uniq -c 數出現。
sort -nr 倒排序，流量統計最清晰。

3258 61.177.172.10
1245 183.251.61.102
987 122.114.27.214