日志收集Day001

1.ElasticSearch

作用:日志存儲和檢索

2.單點部署Elasticsearch與基礎配置

rpm -ivh elasticsearch-7.17.5-x86_64.rpm

查看配置文件yy /etc/elasticsearch/elasticsearch.yml(這里yy做了別名,過濾掉空行和注釋行)

yy /etc/elasticsearch/elasticsearch.yml,結果如下

path.data: /var/lib/elasticsearch? ? ? 數據所在位置
path.logs: /var/log/elasticsearch? ? ?日志所在位置

修改配置yy /etc/elasticsearch/elasticsearch.yml,加入:

network.host: 0.0.0.0

discovery.seed_hosts: ["10.0.0.101"]

啟動:systemctl enable --now elasticsearch.service

3.集群部署

1.將安裝包分發到各個節點

scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.103:~

scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.102:~

2.各個節點安裝Elasticsearch

rpm -ivh elasticsearch-7.17.5-x86_64.rpm

3.單點部署的節點數據清空

systemctl stop elasticsearch.service
rm -rf /var/lib/elasticsearch/* /var/log/elasticsearch/* /tmp/*

4.修改配置文件

vim /etc/elasticsearch/elasticsearch.yml?
...
# 指定ES集群的名稱
cluster.name: lxc
# ES服務監聽對外暴露服務的地址
network.host: 0.0.0.0
# 指定ES集群的節點IP
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
# 指定參與master選舉的節點
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]

5.分發配置文件

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.103:/etc/elasticsearch/

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.102:/etc/elasticsearch/

6.所有節點啟動elasticsearch

systemctl enable --now elasticsearch

7.驗證ES集群節點是否正常工作

curl 10.0.0.102:9200/_cat/nodes

帶星號為主節點

4.使用oraclejdk管理es服務

解壓JDK軟件包
tar xf jdk-8u291-linux-x64.tar.gz -C /sortwares/

配置系統環境變量
vim /etc/profile.d/jdk.sh

#!/bin/bash
export JAVA_HOME=/sortwares/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

加載環境變量
source /etc/profile.d/jdk.sh

systemd啟動腳本配置系統環境變量
vim /usr/lib/systemd/system/elasticsearch.service

Environment=ES_JAVA_HOME=/sortwares/jdk1.8.0_291

重新加載systemd

systemctl daemon-reload

重新啟動es

systemctl restart elasticsearch.service

5.修改es環境的堆內存

vim /etc/elasticsearch/jvm.options

添加:

-Xms256m
-Xmx256m
重新啟動之后

jmap -heap `ps -ef|grep elastic|grep jdk1.8.0_291|awk '{print $2}'`|grep MaxHeapSize

說明修改成功

6.二進制部署elasticsearch-6.8.23

原先服務器上已經有了一套rpm部署的es7,現在使用二進制部署在原先基礎上增加一套集群

1.所有節點準備目錄:

useradd lxc
install -d /lxc/{data,logs,softwares}/es6 -o lxc -g lxc
chown -R ?lxc:lxc /lxc

2.所有節點解壓elasticsearch-6.8.23.tar.gz

tar xf elasticsearch-6.8.23.tar.gz -C /lxc/softwares/es6/
chown -R ?lxc:lxc /lxc

3.elk101節點修改配置文件

vim?/lxc/softwares/es6/elasticsearch-6.8.23/config/elasticsearch.yml

cluster.name: lxc-es6
node.name: elk101.lxcedu.com
path.data: /lxc/data/es6
path.logs: /lxc/logs/es6
network.host: 0.0.0.0
http.port: 19200
transport.tcp.port: 19300
discovery.zen.ping.unicast.hosts: ["elk101.lxcedu.com","elk102.lxcedu.com","elk103.lxcedu.com"]
discovery.zen.minimum_master_nodes: 2

注意其他節點也需要修改,區別是node.name不一樣,并且各個節點需要做好hosts解析。

5.elk101節點修改堆內存大小

vim /lxc/softwares/es6/elasticsearch-6.8.23/config/jvm.options

-Xms256m
-Xmx256m

其他節點也需要修改

6.elk101編寫啟動腳本

vim /usr/lib/systemd/system/es6.service

[Unit]
Description=es6
After=network.target[Service]
Type=simple
Environment=JAVA_HOME=/sortwares/jdk1.8.0_291
ExecStart=/lxc/softwares/es6/elasticsearch-6.8.23/bin/elasticsearch
User=lxc
LimitNOFILE=131070[Install]
WantedBy=multi-user.target

注意:其他節點也需要修改配置文件,JAVA_HOME地址需要寫對,這里使用的是oraclejdk部署的地址。

7.啟動服務

systemctl daemon-reload && systemctl enable --now es6

8.查看服務狀態

curl 10.0.0.101:19200/_cat/nodes

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/66563.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/66563.shtml
英文地址,請注明出處:http://en.pswp.cn/web/66563.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

集合帖:前綴和及差分模板題 ← 一維及二維

【一維前綴和及一維差分知識點】 ● 一維“前綴和數組”預處理過程:cin>>a[i], sum[i]sum[i-1]a[i] 或者 cin>>sum[i], sum[i]sum[i-1] (1≤i≤n) ● 一維“區間和”計算過程:sum[y]-sum[x-1] (y…

《offer 來了:Java 面試核心知識點精講 -- 框架篇》(附資源)

繼上篇文章介紹了《offer 來了:Java 面試核心知識點精講 -- 原理篇》書后,本文章再給大家推薦兄弟篇 《offer來了:Java面試核心知識點精講--框架篇》, 簡直就是為Java開發者量身定制的面試神器。 本書是對Java程序員面試中常見的…

Low-Level 大一統:如何使用Diffusion Models完成視頻超分、去雨、去霧、降噪等所有Low-Level 任務?

Diffusion Models專欄文章匯總:入門與實戰 前言:視頻在傳輸過程中常常因為各種因素(如惡劣天氣、噪聲、壓縮和傳感器分辨率限制)而出現質量下降,這會嚴重影響計算機視覺任務(如目標檢測和視頻監控)的性能。現有的視頻修復方法雖然取得了一些進展,但通常只能針對特定的退…

Video-RAG:一種將視頻RAG新框架

1. 摘要及主要貢獻點 摘要: 檢索增強生成(RAG)是一種強大的策略,通過檢索與查詢相關的外部知識并將其整合到生成過程中,以解決基礎模型生成事實性錯誤輸出的問題。然而,現有的RAG方法主要集中于文本信息&…

Docker Load后存儲的鏡像及更改鏡像存儲目錄的方法

Docker Load后存儲的鏡像及更改鏡像存儲目錄的方法 Docker Load后存儲的鏡像更改鏡像存儲目錄的方法腳本說明注意事項Docker作為一種開源的應用容器引擎,已經廣泛應用于軟件開發、測試和生產環境中。通過Docker,開發者可以將應用打包成鏡像,輕松地進行分發和運行。而在某些場…

【零基礎入門unity游戲開發——unity通用篇37】鼠標指針(光標)修改隱藏鎖定(基于unity6開發介紹)

考慮到每個人基礎可能不一樣,且并不是所有人都有同時做2D、3D開發的需求,所以我把 【零基礎入門unity游戲開發】 分為成了C#篇、unity通用篇、unity3D篇、unity2D篇。 【C#篇】:主要講解C#的基礎語法,包括變量、數據類型、運算符、流程控制、面向對象等,適合沒有編程基礎的…

親測解決Latex File ended while scanning use of \@@BOOKMARK

這個問題只要刪除了.tex后綴文件外的其他同名文件,再次編譯即可。 環境 Win11 MikTex 問題原因 編譯的時候用了好幾種編譯器,然后編譯出現了錯誤。生成了不能使用的引用。 解決方法 刪除.tex后綴文件外的其他同名文件后,再次編譯。 筆…

Amazon MSK 開啟 Public 訪問 SASL 配置的方法

1. 開啟 MSK Public 1.1 配置 MSK 參數 進入 MSK 控制臺頁面,點擊左側菜單 Cluster configuration。選擇已有配置,或者創建新配置。在配置中添加參數 allow.everyone.if.no.acl.foundfalse修改集群配置,選擇到新添加的配置。 1.2 開啟 Pu…

Windows FileZila Server共享電腦文件夾 映射21端口外網連接

我有這樣一個使用場景,在外部網絡環境下,通過手機便捷地讀取存儲在電腦上的視頻文件。比如在外出旅行、出差,身邊沒有攜帶電腦,僅依靠手機設備,就能隨時獲取電腦里存儲的各類視頻,無論是學習資料視頻、工作…

MySQL 實戰 4 種將數據同步到ES方案

文章目錄 1. 前言2. 數據同步方案 2.1 同步雙寫2.2 異步雙寫2.3 定時更新2.4 基于 Binlog 實時同步 3. 數據遷移工具選型 3.1 Canal3.2 阿里云 DTS3.3 Databus3.4 Databus和Canal對比3.4 其它 4. 后記 上周聽到公司新同事分享 MySQL 同步數據到 ES 的方案,發現很有…

虛幻基礎-1:cpu挑選(14600kf)

能幫到你的話,就給個贊吧 😘 文章目錄 ue非常吃cpu拉滿主頻打開項目編寫藍圖運行原因 時間長 關于壓力測試 本文以14600kf為例,雙12購入,7月份產。 ue非常吃cpu 經本人測試,ue是非常吃cpu的。 拉滿主頻 無論任何時間…

QTableWidget的簡單使用

1.最簡單的表格示例&#xff1a; ui->tableWidget->setRowCount(2);// 設置行數ui->tableWidget->setColumnCount(3);// 設置列數&#xff0c;一定要放在設置行表頭之前QStringList rowHeaderList;// 行表頭rowHeaderList << QStringLiteral("姓名"…

深入探究分布式日志系統 Graylog:架構、部署與優化

文章目錄 一、Graylog簡介二、Graylog原理架構三、日志系統對比四、Graylog部署傳統部署MongoDB部署OS或者ES部署Garylog部署容器化部署 五、配置詳情六、優化網絡和 REST APIMongoDB 七、升級八、監控九、常見問題及處理 一、Graylog簡介 Graylog是一個簡單易用、功能較全面的…

2024年我的技術成長之路

2024年我的技術成長之路 大家好&#xff0c;我是小寒。又到年底了&#xff0c;一年過得真快啊&#xff01;趁著這次活動的機會&#xff0c;和大家聊聊我這一年在技術上的收獲和踩過的坑。 說實話&#xff0c;今年工作特別忙&#xff0c;寫博客的時間比去年少了不少。不過還是…

嵌入式硬件篇---基本組合邏輯電路

文章目錄 前言基本邏輯門電路1.與門&#xff08;AND Gate&#xff09;2.或門&#xff08;OR Gate&#xff09;3.非門&#xff08;NOT Gate&#xff09;4.與非門&#xff08;NAND Gate&#xff09;5.或非門&#xff08;NOR Gate&#xff09;6.異或門&#xff08;XOR Gate&#x…

數據庫管理-第285期 Oracle 23ai:深入淺出向量索引(20250117)

數據庫管理285期 20245-01-17 數據庫管理-第285期 Oracle 23ai&#xff1a;深入淺出向量索引&#xff08;20250117&#xff09;1 HNSW事務支持解讀 2 IVF分區支持解讀 3 混合向量索引何時選擇混合向量索引為何選擇混合向量索引 總結 數據庫管理-第285期 Oracle 23ai&#xff1a…

行人識別檢測數據集,yolo格式,PASICAL VOC XML,COCO JSON,darknet等格式的標注都支持,準確識別率可達99.5%

作者簡介&#xff1a; 高科&#xff0c;先后在 IBM PlatformComputing從事網格計算&#xff0c;淘米網&#xff0c;網易從事游戲服務器開發&#xff0c;擁有豐富的C&#xff0c;go等語言開發經驗&#xff0c;mysql&#xff0c;mongo&#xff0c;redis等數據庫&#xff0c;設計模…

【Spring】原型 Bean 被固定

問題描述 在定義 Bean 時&#xff0c;有時候我們會使用原型 Bean&#xff0c;例如定義如下&#xff1a; Service Scope(ConfigurableBeanFactory.SCOPE_PROTOTYPE) public class ServiceImpl { }然后我們按照下面的方式去使用它&#xff1a; RestController public class Hello…

2024年美賽C題評委文章及O獎論文解讀 | AI工具如何影響數學建模?從評委和O獎論文出發-O獎論文做對了什么?

模型假設僅僅是簡單陳述嗎&#xff1f;允許AI的使用是否降低了比賽難度&#xff1f;還在依賴機器學習的模型嗎&#xff1f;處理題目的方法有哪些&#xff1f;O獎論文的優點在哪里&#xff1f; 本文調研了當年賽題的評委文章和O獎論文&#xff0c;這些問題都會在文章中一一解答…

PyTorch框架——基于深度學習YOLOv8神經網絡學生課堂行為檢測識別系統

基于YOLOv8深度學習的學生課堂行為檢測識別系統&#xff0c;其能識別三種學生課堂行為&#xff1a;names: [舉手, 讀書, 寫字] 具體圖片見如下&#xff1a; 第一步&#xff1a;YOLOv8介紹 YOLOv8 是 ultralytics 公司在 2023 年 1月 10 號開源的 YOLOv5 的下一個重大更新版本…