From 6e8b616a76557119223f994d445ebfcd48ec6f59 Mon Sep 17 00:00:00 2001 From: wxin <15253413025@163.com> Date: Wed, 30 Apr 2025 16:52:38 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20=E6=97=A5=E5=BF=97?= =?UTF-8?q?=E5=88=86=E6=9E=90=E9=9B=86=E7=BE=A4.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 日志分析集群.md | 120 ++++++++++++++++++++++++------------------------ 1 file changed, 60 insertions(+), 60 deletions(-) diff --git a/日志分析集群.md b/日志分析集群.md index c129aa8..c5f0274 100644 --- a/日志分析集群.md +++ b/日志分析集群.md @@ -1,60 +1,60 @@ -

日志分析集群

- ------- - -## 一:组件介绍 - -### 1. Elasticsearch - -​ 主要用来日志存储 - -​ 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 - -### 2. Logstash - -​ 主要用来日志的搜集 - -​ 主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。 - -### 3. Kibana - -​ 主要用于日志的展示 - -​ 是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图表,为用户提供强大的数据可视化支持,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。 - -### 4. Kafaka - -​ 是一种高吞吐量的分布式发布订阅消息系统。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。 - -### 5. Filebeat - -​ 隶属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent 的第一选择;常见的Beat有: - -- Packetbeat(搜集网络流量数据) -- Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据) -- Filebeat(搜集文件数据) -- Winlogbeat(搜集 Windows 事件日志数据) - -## 二:集群构建 - -### 1. 架构 - -![](accents\image-202504290001.png) - -**基础架构** - -​ 单一的架构,logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。 - -![](accents\image-202504290002.png) - -**多节点部署Logstash架构** - -​ 这种架构模式适合需要采集日志的客户端不多,且各服务端cpu,内存等资源充足的情况下。因为每个节点都安装Logstash, 非常消耗节点资源。其中,logstash作为日志搜集器,将每一台节点的数据发送到Elasticsearch上进行存储,再由kibana进行可视化分析。 - -![](accents\image-202504290003.png) - -### 2. 官网地址 - -官网地址:https://www.elastic.co - -官网搭建:https://www.elastic.co/guide/index.html +

日志分析集群

+ +------ + +## 一:组件介绍 + +### 1. Elasticsearch + +​ 主要用来日志存储 + +​ 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 + +### 2. Logstash + +​ 主要用来日志的搜集 + +​ 主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。 + +### 3. Kibana + +​ 主要用于日志的展示 + +​ 是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图表,为用户提供强大的数据可视化支持,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。 + +### 4. Kafaka + +​ 是一种高吞吐量的分布式发布订阅消息系统。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。 + +### 5. Filebeat + +​ 隶属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent 的第一选择;常见的Beat有: + +- Packetbeat(搜集网络流量数据) +- Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据) +- Filebeat(搜集文件数据) +- Winlogbeat(搜集 Windows 事件日志数据) + +## 二:集群构建 + +### 1. 架构 + +![](http://182.92.143.66:40072/directlink/img/es/image-202504290001.png) + +**基础架构** + +​ 单一的架构,logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。 + +![](http://182.92.143.66:40072/directlink/img/es/image-202504290002.png) + +**多节点部署Logstash架构** + +​ 这种架构模式适合需要采集日志的客户端不多,且各服务端cpu,内存等资源充足的情况下。因为每个节点都安装Logstash, 非常消耗节点资源。其中,logstash作为日志搜集器,将每一台节点的数据发送到Elasticsearch上进行存储,再由kibana进行可视化分析。 + +![](http://182.92.143.66:40072/directlink/img/es/image-202504290003.png) + +### 2. 官网地址 + +官网地址:https://www.elastic.co + +官网搭建:https://www.elastic.co/guide/index.html