SpringBoot 輕量級一站式日志可視化與JVM監控

一、項目初衷

Java 應用開發的同學都知道，項目上線后，日志的可視化查詢與 JVM 的可視化監控是一件非常重要的事。
市面上成熟方案一般是采用 ELK/EFK 實現日志可視化，采用 Actuator?+?Prometheus?+?Grafana 實現 JVM 監控。
這兩套都是非常優秀的解決方案，不過對于很多開發者來說，這中間存在大量的繁瑣的配置過程。
而對于大多數中小型企業來說，很多都是一個簡單的單體項目，并不想要多余的運維和部署成本!
為此我們希望通過一些低門檻的方式，實現日志的自動采集與日志可視化查詢。

二、軟件介紹

我們的目標：zero-observer + zero-log = actuator + prometheus + granfana + elk / efk

1. 主要功能

應用日志查詢：
?提供控制臺面板與列表兩種方式查詢應用日志；
慢接口監控：
?監控 Java 服務中請求超過閾值的接口，支持通用配置與自定義配置；
JVM 監控：
?監控 JVM 進程中的各種指標，包括堆內存、非堆內存、Eden、Survivor、OldGen、Metaspace、線程、GC、物理內存、CPU 等。

2. 系統架構

本項目主要分為客戶端和服務端兩個部分。

3. Java 日志采集客戶端【zero-log】

采集客戶端旨在提供低門檻、少配置、輕量級、無侵入的方式實現日志、JVM 指標的自動采集與發送。

zero-log 基于 logback 實現將代碼中通過 log.error、log.warn、log.info、log.trace?等方式輸出的日志與 JVM 運行時的各項指標自動采集并發送到遠程服務器上。
原系統代碼無需任何改動，只需要引入 zero-log 的依賴，同時在 logback-spring.xml 中添加 HttpBatchAppender，配置采集數據接收的接口即可實現自動采集與傳輸。

4. 服務端【zero-observer】

收集客戶端采集插件采集的客戶端數據，包括應用日志、JVM 指標等，并提供開箱即用的可視化檢索功能，極大降低了 Java 應用日志與 JVM 指標監控可視化檢索的門檻。

5. 功能介紹

儀表盤

應用日志

控制臺日志

慢接口日志

日志查詢

日志詳情

JVM 監控

三、服務端安裝

zero-observer 數據存儲使用的是 mysql 與 elasticsearch，mysql 存儲的是系統數據，elasticsearch 存儲的是日志數據。所以需要自行安裝 mysql 與 elasticsearch。

1. Mysql 初始化腳本

創建數據庫：zero_observer

CREATE TABLE `app_log_growth_trend` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`app` varchar(255) NOT NULL,`env` varchar(50) NOT NULL,`level` varchar(10) NOT NULL,`statistic_time` datetime NOT NULL,`log_count` int(11) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `app_log_total_growth_trend` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`statistic_time` datetime NOT NULL,`log_count` bigint(20) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `app_log_level_statistic` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`app` varchar(255) NOT NULL,`env` varchar(50) NOT NULL,`level` varchar(10) NOT NULL,`statistic_time` datetime NOT NULL,`log_count` int(11) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `app_env_instance` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`app` varchar(255) NOT NULL,`env` varchar(50) NOT NULL,`ip` varchar(50) NOT NULL,`port` varchar(5) NOT NULL,`hostname` varchar(255) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `app_log_statistic` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`app_log_statistic_counter_id` bigint(20) NOT NULL,`app` varchar(255) NOT NULL,`env` varchar(50) NOT NULL,`statistic_time` datetime NOT NULL,`log_count` bigint(20) NOT NULL DEFAULT '0',`slow_request_count` bigint(20) NOT NULL DEFAULT '0',`error_count` bigint(20) NOT NULL DEFAULT '0',`warn_count` bigint(20) NOT NULL DEFAULT '0',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `app_log_statistic_counter` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`statistic_time` datetime NOT NULL,`statistic_status` int(11) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `system_config` (`id` bigint(20) NOT NULL COMMENT '主鍵',`create_time` datetime NOT NULL COMMENT '創建時間',`key_code` varchar(50) NOT NULL COMMENT 'key編碼',`key_name` varchar(50) DEFAULT NULL COMMENT 'key 名稱',`key_value` varchar(255) NOT NULL COMMENT 'key值',`enabled` int(11) NOT NULL DEFAULT '1' COMMENT '是否啟用',PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;INSERT INTO `system_config` (`id`, `create_time`, `key_code`, `key_name`, `key_value`, `enabled`)
VALUES (1, '2025-07-19 23:56:06', 'app_log_storage_days', '應用日志存儲天數', '3', 1);CREATE TABLE `users` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`account` varchar(100) NOT NULL,`pwd` varchar(255) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `token_info` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`subject` varchar(100) NOT NULL,`token` varchar(255) NOT NULL,`expire_time` datetime NOT NULL,`expire_timestamp` bigint(20) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `license` (`id` bigint(20) NOT NULL,`create_time` datetime NOT NULL,`content` text NOT NULL,`remark` text DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

2. Docker 部署

# 拉取鏡像
docker pull registry.cn-hangzhou.aliyuncs.com/kuafucv/zero-observer:1.1.0
# 啟動容器
docker run -itd -p 8080:8080 --name zero-observer \-e TZ=Asia/Shanghai-e ES_IP=127.0.0.1 \-e ES_PORT=9200 \-e ES_USERNAME=es \-e ES_PASSWORD=es \-e MYSQL_IP=127.0.0.1 \-e MYSQL_PORT=3306 \-e MYSQL_USERNAME=root \-e MYSQL_PASSWORD=123456 \registry.cn-hangzhou.aliyuncs.com/kuafucv/zero-observer:1.1.0

參數解析：

TZ：時區，默認 Asia/Shanghai
ES_IP：elasticsearch 的 ip
ES_PORT：elasticsearch restapi 的端口
ES_USERNAME：elasticsearch 用戶名，無則不填即可
ES_PASSWORD：elasticsearch 密碼，無則不填即可
MYSQL_IP：mysql 的ip
MYSQL_PORT：mysql 端口
MYSQL_USERNAME 用戶名
MYSQL_PASSWORD 密碼

啟動成功后，瀏覽器訪問：http://127.0.0.1:8080/zero-observer/
默認用戶密碼：admin/123456

四、Java 應用日志快速接入

1. 引入 maven 依賴


<dependency><groupId>io.github.kuafucv</groupId><artifactId>zero-log-spring-boot-starter</artifactId><version>1.1.0</version>
</dependency>

2. 配置 logback-spring.xml

<configuration debug="false"><springProperty name="app_name" source="spring.application.name"/><springProperty name="env" source="spring.profiles.active"/><springProperty name="port" source="server.port"/><conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter" /><conversionRule conversionWord="wex" converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter" /><conversionRule conversionWord="wEx" converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter" /><property name="FILE_LOG_PATTERN" value="${FILE_LOG_PATTERN:-[%X{TRACE_ID}] %d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} ${LOG_LEVEL_PATTERN:-%5p} ${PID:- } --- [%15.15t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/><property name="FILE_LOG_CHARSET" value="${FILE_LOG_CHARSET:-${file.encoding:-UTF-8}}"/><appender name="BATCH_HTTP" class="io.github.kuafucv.zero.log.core.HttpBatchAppender"><!-- 必需：參照 logback 的 encoder 配置 --><encoder><pattern>${FILE_LOG_PATTERN}</pattern><charset>${FILE_LOG_CHARSET}</charset></encoder><!--請求的地址--><!-- 廢棄：日志接收接口URL，該配置已過時，后續版本將刪除該配置，建議使用 serverUrl 進行配置 --><endpointUrl>http://ip:port/zero-observer/appLog/report</endpointUrl><!-- 必需：日志接收接口URL --><serverUrl>http://ip:port/zero-observer/</serverUrl><!-- 必填：應用名稱 --><appName>${app_name}</appName><!-- 可選：環境，默認值：env --><env>${env}</env><!-- 可選：服務端口，默認值：0 --><appServerPort>${port}</appServerPort><!-- 可選：是否包含MDC上下文 --><includeMDC>true</includeMDC><!-- 可選：日志傳輸頻率，單位秒，默認值：3 秒 --><flushIntervalInSeconds>3</flushIntervalInSeconds><!-- 可選：請求超時時間，默認值：1000 毫秒 --><httpReadTimeoutInMillis>1000</httpReadTimeoutInMillis><!-- 可選：請求超時時間，默認值：1000 毫秒 --><httpConnectionTimeoutInMillis>1000</httpConnectionTimeoutInMillis><!-- 可選：日志存儲滾筒最大數量，默認值：8 --><maxNumberOfBuckets>8</maxNumberOfBuckets><!-- 可選：每個日志存儲滾筒大小（KB），默認值：1024 --><maxBucketSizeInKilobytes>1024</maxBucketSizeInKilobytes></appender><!-- 日志輸出級別 --><root level="INFO"><appender-ref ref="BATCH_HTTP" /></root>
</configuration>

注意：

這里僅僅展示 springboot 下的 logback-spring-xml 的配置，非 springboot 項目自行配置。
主要是新增 io.github.kuafucv.zero.log.core.HttpBatchAppender 日志 Appender，該 Appender 中的 encoder 建議與原項目中輸出到日志文件的 encoder 一致。
endpointUrl(過時) 為日志接收的遠程日志中心接口，zero-log 會自動調用該接口，并發送日志數據
推薦使用 serverUrl，該屬性值為 http://ip:port/zero-observer/

3. 全量配置列表

4. 日志觀測

啟動 Java 服務，等待日志自動上報至 zero-observer 即可。

五、Java 慢接口監控

1. 快速接入

SpringBoot 工程

springboot 工程引入zero-log-spring-boot-starter包，則自動開啟慢接口監控。可以通過配置zero.log.slow-request.enabled=false進行關閉。

zero:log:slow-request:# 是否開啟慢接口健康enabled: true# 默認時間閾值(毫秒)default-time-threshold: 1000

非 SpringBoot 工程

非 springboot 工程引入的是zero-log-core包，無法使用 starter 的自動裝配，所以需要手

@Bean
public FilterRegistrationBean<SlowRequestFilter> slowRequestFilterFilterRegistrationBean() {FilterRegistrationBean<SlowRequestFilter> bean = new FilterRegistrationBean<>();bean.setFilter(new SlowRequestFilter());bean.setOrder(Integer.MIN_VALUE);bean.setUrlPatterns(Collections.singletonList("/*"));return bean;
}

其他更古老的項目，如使用 servlet 的 web.xml 配置的方式，請自行配置。

2. 高階配置

同一系統不同的接口，慢的時間閾值可能存在一定差別，zero-log 支持高階的自定義配置，實現不同接口的不同閾值配置能力。

@Component
public class SlowRequestThresholdFactoryImpl implements SlowRequestThresholdFactory {@Overridepublic List<SlowRequestThreshold> build() {List<SlowRequestThreshold> list = new ArrayList<>();SlowRequestThreshold s0 = new SlowRequestThreshold();s0.setUrlPattern("/**/user/**");s0.setTimeThreshold(500);list.add(s1);SlowRequestThreshold s1 = new SlowRequestThreshold();s1.setUrlPattern("/**");s1.setTimeThreshold(2000);list.add(s1);return list;}
}

不論是否是 springboot 工程，本質都是通過實現 SlowRequestThresholdFactory 接口的 build 方法，返回 List 集合，實現自定義不同接口的不同閾值能力。

注意事項：

接口匹配是通過 spring 的 AntPathMatcher 實現的，所以 SlowRequestThreshold.urlPattern 的值配置規則參考 spring AntPathMatcher 匹配規則。接口匹配根據放回的 List 從上到下逐個匹配，匹配到了則不再繼續匹配，所以 urlPattern 范圍更大的配置需要發放在 List 集合的的后面。如果匹配不到，則使用默認閾值。默認閾值與 SlowRequestThreshold 里設置的閾值，如果小于等于 0，則默認該接口不做慢接口監控，不會進行日志輸出。

開源地址：

https://gitee.com/kuafucv/zero-observer