Linux日志服務rsyslog深度解析（上）

🐇明明跟你說過：個人主頁

🏅個人專欄：《Linux ：從菜鳥到飛鳥的逆襲》🏅

🔖行路有良友，便是天堂🔖

一、引言

1、日志在Linux系統中的作用

2、rsyslog歷史背景?

3、rsyslog與syslogd的比較?

二、rsyslog基礎知識?

1、rsyslog的安裝與配置基礎

2、rsyslog的組件架構

一、引言

1、日志在Linux系統中的作用

1. 系統監控和管理

系統健康檢查：日志文件記錄了系統的啟動過程、內核消息、硬件事件等，可以幫助管理員了解系統的健康狀況。
資源使用監控：日志文件可以記錄CPU、內存、磁盤和網絡等資源的使用情況，幫助管理員監控系統性能。

2. 故障排查和調試

錯誤排查：當系統或應用程序發生錯誤時，日志文件中通常會記錄錯誤信息和堆棧跟蹤，這些信息對故障排查和調試非常有幫助。
行為回溯：通過查看日志文件，可以了解系統或應用程序在特定時間段內的行為，幫助找出問題的根源。

3. 安全監控

入侵檢測：日志文件可以記錄系統的登錄嘗試、權限變更和異常操作等，有助于檢測和防范潛在的入侵行為。
審計和合規：日志文件可以用于審計和合規檢查，確保系統操作符合安全策略和法規要求。

4. 性能分析和優化

性能瓶頸分析：通過分析日志文件中的性能數據，可以找出系統或應用程序的性能瓶頸，進行相應的優化。
趨勢分析：日志文件中的數據可以用于分析系統性能的歷史趨勢，幫助預測未來的性能需求和瓶頸。

2、rsyslog歷史背景?

rsyslog 是一個開源的日志處理工具，廣泛用于UNIX和Linux系統中。它起源于經典的syslog，并在此基礎上進行了大量的擴展和改進。

1. syslog的起源

syslog協議：最早由Eric Allman在1980年代為BSD Unix開發。syslog協議提供了一個標準化的日志記錄機制，用于記錄系統事件和應用程序消息。
syslog守護進程：是最早的系統日志記錄工具之一，負責接收和處理來自系統和應用程序的日志消息。

2. syslog的局限性

隨著時間的推移，經典的syslog守護進程暴露出了一些局限性，包括：

擴展性不足：syslog的設計較為簡單，難以滿足現代系統復雜的日志處理需求。
性能問題：在處理大量日志消息時，syslog的性能和效率較低。
靈活性不足：缺乏高級的過濾、格式化和轉發功能，難以適應多樣化的日志處理場景。

3. rsyslog的誕生

起源：rsyslog由Rainer Gerhards在2004年開始開發，旨在解決經典syslog的局限性。
開源發布：rsyslog在2007年作為開源項目發布，迅速得到了社區的廣泛關注和使用。

4. rsyslog的特點和改進

rsyslog在經典syslog的基礎上進行了大量改進，具有以下主要特點：

高性能：通過多線程和異步處理機制，極大地提高了日志處理的性能和效率。
模塊化設計：采用模塊化架構，支持通過插件擴展功能，包括多種輸入、輸出和處理模塊。
高級過濾和處理：支持復雜的過濾規則和日志消息的格式化處理，滿足多樣化的日志處理需求。
可靠性：提供可靠的日志傳輸機制，確保日志消息不會丟失。
支持多種協議：支持包括UDP、TCP、RELp在內的多種網絡協議，增強了日志消息的傳輸能力。
豐富的輸出選項：支持將日志消息發送到文件、數據庫、遠程服務器等多種目標。

5. 發展歷程

2004年：Rainer Gerhards開始開發rsyslog。
2007年：rsyslog作為開源項目發布，逐步取代經典syslog守護進程。
2008年：加入了對RELp（Reliable Event Logging Protocol）的支持，提高了日志傳輸的可靠性。
2010年：引入了對零消息隊列（ZeroMQ）的支持，進一步提升了并發處理能力。
2011年：加入了對 Elasticsearch、Redis 等現代存儲系統的支持。
2012年以后：持續進行功能擴展和性能優化，逐步成為Linux系統中最常用的日志處理工具之一。

3、rsyslog與syslogd的比較?

syslogd 是最早的 UNIX 和 Linux 系統日志守護進程之一，它提供了一種簡單而有效的方式來記錄和管理系統和應用程序的日志。
rsyslog 和 syslogd 是兩個用于日志管理的守護進程，盡管它們有共同的歷史淵源，但在功能和特性上有顯著的差異。

1. 性能和擴展性

syslogd：

性能：設計簡單，適合處理中小規模的日志量。
擴展性：擴展性有限，難以處理大量并發日志消息。

rsyslog：

性能：支持多線程和異步處理，能夠高效地處理大量日志消息。
擴展性：模塊化設計，允許通過插件進行功能擴展，能夠適應大規模和高并發的日志處理需求。

2. 配置靈活性

syslogd：

配置文件：配置文件格式相對簡單，但功能有限。
靈活性：缺乏高級的過濾和處理功能，配置靈活性較低。

rsyslog：

配置文件：支持復雜的配置文件格式，允許進行精細的日志過濾、格式化和路由。
靈活性：提供強大的配置選項，支持復雜的日志處理需求。

3. 支持的輸入和輸出

syslogd：

輸入：主要支持標準的syslog協議（UDP）。
輸出：主要支持將日志消息寫入文件或發送到遠程syslog服務器。

rsyslog：

輸入：支持多種輸入來源，包括文件、網絡（UDP、TCP、RELp）、數據庫、消息隊列等。
輸出：支持多種輸出目標，包括文件、數據庫、遠程服務器、消息隊列、Elasticsearch等。

4. 可靠性

syslogd：

可靠性：使用UDP傳輸日志消息，傳輸不可靠，可能丟失日志消息。

rsyslog：

可靠性：支持多種可靠的傳輸協議（如TCP、RELp），提供可靠的日志傳輸機制，確保日志消息不丟失。

5. 日志處理功能

syslogd：

處理功能：基本的日志記錄和轉發功能，缺乏高級的處理能力。

rsyslog：

處理功能：支持復雜的日志處理規則，包括條件過濾、消息修改、格式化、轉發等，功能強大。

6. 安全性

syslogd：

安全性：基本的安全性特性，缺乏現代化的安全機制。

rsyslog：

安全性：支持TLS加密傳輸，增強了日志消息傳輸的安全性；提供更細粒度的訪問控制和安全配置選項。

7. 社區支持和更新

syslogd：

社區支持：作為傳統的日志守護進程，社區支持和開發更新較少。

rsyslog：

社區支持：活躍的開源社區，持續的功能更新和改進，廣泛的文檔和用戶支持。

rsyslog 和 syslogd 各有特點：

syslogd：適合于簡單的日志記錄需求，小規模系統使用。
rsyslog：功能強大，適合處理大規模、高并發的日志需求，支持復雜的日志處理規則和多種傳輸協議，提供高性能和高可靠性。

二、rsyslog基礎知識?

1、rsyslog的安裝與配置基礎

安裝 rsyslog
在大多數 Linux 發行版中，rsyslog 都可以通過包管理器進行安裝。

在 Debian/Ubuntu 系統上：

sudo apt update
sudo apt install rsyslog

在 Red Hat/CentOS 系統上：

sudo yum update
sudo yum install rsyslog

在 Fedora 系統上：

sudo dnf update
sudo dnf install rsyslog

啟動和啟用 rsyslog 服務
安裝完成后，可以通過以下命令啟動和啟用 rsyslog 服務：

sudo systemctl start rsyslog
sudo systemctl enable rsyslog

配置 rsyslog
rsyslog 的主配置文件通常位于 /etc/rsyslog.conf，而具體的配置文件則位于 /etc/rsyslog.d/ 目錄下。配置文件使用一種簡單的規則語言，可以指定日志消息的來源、過濾條件和輸出目標。配置文件示例
以下是一個基本的 rsyslog 配置文件示例：

# 加載輸入模塊
module(load="imuxsock") ?# 本地 Unix socket 輸入
module(load="imklog") ? ?# 內核日志輸入# 日志格式模板
template(name="TraditionalFormat" type="string" string="%TIMESTAMP% %HOSTNAME% %syslogtag%%msg%\n")# 日志過濾和輸出
authpriv.* ? ? ? ? ? ? ? ? ? ? ?/var/log/secure
mail.* ? ? ? ? ? ? ? ? ? ? ? ? ?-/var/log/mail
cron.* ? ? ? ? ? ? ? ? ? ? ? ? ?/var/log/cron# 記錄所有日志到 /var/log/messages，排除 mail, authpriv 和 cron 日志
*.info;mail.none;authpriv.none;cron.none ? ? ? ? ? ? ? ?/var/log/messages# 記錄緊急日志到所有用戶終端
*.emerg ? ? ? ? ? ? ? ? ? ? ? ? :omusrmsg:*# 將日志消息轉發到遠程服務器
*.* @192.168.1.100:514

配置詳解