elasticsearch怎么读日志（elasticsearch 日志输出）

ElasticStack技术栈

如果你没有听说过 Elastic Stack，那你一定听说过 ELK ，实际上 ELK 是三款软件的简称，分别是ElasticSearch、 Logstash、Kibana 组成，在发展的过程中，又有新成员 Beats 的加入，所以就形成了Elastic Stack。所以说，ELK 是旧的称呼，Elastic Stack 是新的名字。

elasticsearch怎么读日志,elasticsearch 日志输出(1)

从ELK到ElasticStack

全系的 ElasticStack 技术栈包括：

elasticsearch怎么读日志,elasticsearch 日志输出(2)

ElasticStack技术栈

Elasticsearch

Elasticsearch 基于 Java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。

Logstash

Logstash 基于 Java，是一个开源的用于收集,分析和存储日志的工具。

Kibana

Kibana 基于 nodejs，也是一个开源和免费的工具，Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以汇总、分析和搜索重要数据日志。

Beats

Beats 是 elastic 公司开源的一款采集系统监控数据的代理 agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给 Elasticsearch 或者通过 Logstash 发送给 Elasticsearch，然后进行后续的数据分析活动。Beats由如下组成:

Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支持ICMP (v4 and v6)、DNS、HTTP、MySQL、PostgreSQL、Redis、MongoDB、Memcache等协议；
Filebeat：用于监控、收集服务器日志文件，其已取代 logstash forwarder；
Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务；

Beats和Logstash其实都可以进行数据的采集，但是目前主流的是使用Beats进行数据采集，然后使用 Logstash进行数据的分割处理等，早期没有Beats的时候，使用的就是Logstash进行数据的采集。

ElasticSearch快速入门简介

官网：https://www.elastic.co/

ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful Web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

ElasticSearch 是 Elastic Stack 的核心，同时 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。

Elasticsearch 的发展是非常快速的，所以在 ES5.0 之前，ELK 的各个版本都不统一，出现了版本号混乱的状态，所以从 5.0 开始，所有 Elastic Stack 中的项目全部统一版本号。本篇将基于 6.5.4 版本进行学习。

下载

到官网下载：https://www.elastic.co/cn/downloads/

elasticsearch怎么读日志,elasticsearch 日志输出(3)

下载

选择对应版本的数据，这里我使用的是 Linux 来进行安装，所以就先下载好 ElasticSearch 的 Linux 安装包

拉取Docker容器

因为我们需要部署在 Linux 下，为了以后迁移 ElasticStack 环境方便，我们就使用 Docker 来进行部署，首先我们拉取一个带有 ssh 的 Centos 镜像

# 拉取镜像 docker pull moxi/centos_ssh # 制作容器 docker run --privileged -d -it -h ElasticStack --name ElasticStack -p 11122:22 -p 9200:9200 -p 5601:5601 -p 9300:9300 -v /etc/localtime:/etc/localtime:ro moxi/centos_ssh /usr/sbin/init

然后直接远程连接 11122 端口即可

单机版安装

因为 ElasticSearch 不支持 root 用户直接操作，因此我们需要创建一个elsearch用户

# 添加新用户 useradd elsearch # 创建一个soft目录，存放下载的软件 mkdir /soft # 进入，然后通过xftp工具，将刚刚下载的文件拖动到该目录下 cd /soft # 解压缩 tar -zxvf elasticsearch-7.9.1-linux-x86_64.tar.gz #重命名 mv elasticsearch-7.9.1/ elsearch

因为刚刚我们是使用 root 用户操作的，所以我们还需要更改一下 /soft 文件夹的所属，改为 elsearch 用户

chown elsearch:elsearch /soft/ -R

然后在切换成 elsearch 用户进行操作

# 切换用户 su - elsearch

然后我们就可以对我们的配置文件进行修改了

# 进入到 elsearch下的config目录 cd /soft/elsearch/config

然后找到下面的配置

#打开配置文件 vim elasticsearch.yml #设置ip地址，任意网络均可访问 network.host: 0.0.0.0

在 Elasticsearch 中如果network.host 不是 localhost 或者127.0.0.1 的话，就会认为是生产环境，而生产环境的配置要求比较高，我们的测试环境不一定能够满足，一般情况下需要修改两处配置，如下：

# 修改jvm启动参数 vim conf/jvm.options #根据自己机器情况修改 -Xms128m -Xmx128m

然后在修改第二处的配置，这个配置要求我们到宿主机器上来进行配置

# 到宿主机上打开文件 vim /etc/sysctl.conf # 增加这样一条配置，一个进程在VMAs(虚拟内存区域)创建内存映射最大数量 vm.max_map_count=655360 # 让配置生效 sysctl -p启动ElasticSearch