当前位置:首页 > 经验 >

elasticsearch怎么读日志(elasticsearch 日志输出)

来源:原点资讯(www.yd166.com)时间:2022-11-04 04:19:49作者:YD166手机阅读>>

也就是说,一个数据的存在不会影响其它数据的返回

bulk操作

Elasticsearch 中,支持批量的插入、修改、删除操作,都是通过 bulkapi 完成的。

请求格式如下:(请求格式不同寻常)

{ action: { metadata }} { request body } { action: { metadata }} { request body } ...

批量插入数据:

{"create":{"_index":"haoke","_type":"user","_id":2001}} {"id":2001,"name":"name1","age": 20,"sex": "男"} {"create":{"_index":"haoke","_type":"user","_id":2002}} {"id":2002,"name":"name2","age": 20,"sex": "男"} {"create":{"_index":"haoke","_type":"user","_id":2003}} {"id":2003,"name":"name3","age": 20,"sex": "男"}

注意最后一行的回车:

elasticsearch怎么读日志,elasticsearch 日志输出(33)

批量删除:

{"delete":{"_index":"haoke","_type":"user","_id":2001}} {"delete":{"_index":"haoke","_type":"user","_id":2002}} {"delete":{"_index":"haoke","_type":"user","_id":2003}}

由于 delete 没有请求体,所以 action 的下一行直接就是下一个 action

elasticsearch怎么读日志,elasticsearch 日志输出(34)

其他操作就类似了。一次请求多少性能最高?

  • 整个批量请求需要被加载到接受我们请求节点的内存里,所以请求越大,给其它请求可用的内存就越小。有一 个最佳的bulk请求大小。超过这个大小,性能不再提升而且可能降低。
  • 最佳大小,当然并不是一个固定的数字。它完全取决于你的硬件、你文档的大小和复杂度以及索引和搜索的负 载。
  • 幸运的是,这个最佳点(sweetspot)还是容易找到的:试着批量索引标准的文档,随着大小的增长,当性能开始 降低,说明你每个批次的大小太大了。开始的数量可以在1000~5000个文档之间,如果你的文档非常大,可以使用较小的批次。
  • 通常着眼于你请求批次的物理大小是非常有用的。一千个 1kB 的文档和一千个 1MB 的文档大不相同。一个好的 批次最好保持在 5-15MB 大小间。
分页

SQL 使用 LIMIT 关键字返回只有一页的结果一样,Elasticsearch 接受 fromsize 参数:

  • size: 结果数,默认10
  • from: 跳过开始的结果数,默认0

如果你想每页显示5个结果,页码从1到3,那请求如下:

GET /_search?size=5 GET /_search?size=5&from=5 GET /_search?size=5&from=10

应该当心分页太深或者一次请求太多的结果。结果在返回前会被排序。但是记住一个搜索请求常常涉及多个分 片。每个分片生成自己排好序的结果,它们接着需要集中起来排序以确保整体排序正确。

GET /haoke/user/_1 search?size=1&from=2

elasticsearch怎么读日志,elasticsearch 日志输出(35)

在集群系统中深度分页

为了理解为什么深度分页是有问题的,让我们假设在一个有 5 个主分片的索引中搜索。当我们请求结果的第一 页(结果1到10)时,每个分片产生自己最顶端10个结果然后返回它们给请求节点(requesting node),它再 排序这所有的50个结果以选出顶端的10个结果。

现在假设我们请求第 1000 页 — 结果10001到10010。工作方式都相同,不同的是每个分片都必须产生顶端的 10010个结果。然后请求节点排序这50050个结果并丢弃50040个!

你可以看到在分布式系统中,排序结果的花费随着分页的深入而成倍增长。这也是为什么网络搜索引擎中任何 语句不能返回多于1000个结果的原因。

映射

前面我们创建的索引以及插入数据,都是由 Elasticsearch 进行自动判断类型,有些时候我们是需要进行明确字段类型的,否则,自动判断的类型和实际需求是不相符的。

自动判断的规则如下:

elasticsearch怎么读日志,elasticsearch 日志输出(36)

栏目热文

elasticsearch是什么系统(elasticsearch为什么快)

elasticsearch是什么系统(elasticsearch为什么快)

在安装配置之前 ,我们首先应该弄清楚什么是Elasticsearch,以及它有什么作用什么是Elasticsearch?...

2022-11-04 04:35:44查看全文 >>

elasticsearch干嘛的(elasticsearch白名单)

elasticsearch干嘛的(elasticsearch白名单)

Elasticsearch,这个家伙我就不用过多介绍了吧,简称ES,这可不是js里面的es语法也不是阿里云里面的es云服...

2022-11-04 04:35:08查看全文 >>

elasticsearch用什么语言写的(elasticsearch什么语言好)

elasticsearch用什么语言写的(elasticsearch什么语言好)

本文演示了如何使用IK Analysis 插件来实现在 Elasticsearch 中的中文分词功能。使用中文分词在“S...

2022-11-04 04:39:29查看全文 >>

elasticsearch有什么用(elasticsearch快速入门)

elasticsearch有什么用(elasticsearch快速入门)

目录一、ElasticSearch是什么?二、ElasticSearch基本概念1. 全文搜索(Full-text Se...

2022-11-04 04:54:14查看全文 >>

elasticsearch怎么读中文(elasticsearch快速入门)

elasticsearch怎么读中文(elasticsearch快速入门)

Elasticsearch是什么•Elasticsearch 是一个分布式的开源搜索和分析引擎。•适用于所有类型的数据,...

2022-11-04 04:58:03查看全文 >>

elasticsearch重要吗(为什么要elasticsearch)

elasticsearch重要吗(为什么要elasticsearch)

前提人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需,大型企业早已淹没在系统生成的...

2022-11-04 05:04:41查看全文 >>

elasticsearch的概念(elasticsearch 是啥)

elasticsearch的概念(elasticsearch 是啥)

Elasticsearch核心概念Near Realtime (NRT) 近实时:数据提交索引后,立马就可以搜索到。Cl...

2022-11-04 05:05:24查看全文 >>

elasticsearch是什么东西(elasticsearch是干啥的)

elasticsearch是什么东西(elasticsearch是干啥的)

Elasticsearch的简介ElasticSearch:智能搜索,分布式的搜索引擎是ELK的一个组成,是一个产品,而...

2022-11-04 04:22:53查看全文 >>

elasticsearch用什么语言(elasticsearch是用什么语言写的)

elasticsearch用什么语言(elasticsearch是用什么语言写的)

背景“检索”是很多产品中无法绕开的一个功能模块,当数据量小的时候可以使用模糊查询等操作凑合一下,但是当面临海量数据和高并...

2022-11-04 04:20:32查看全文 >>

elasticsearch 重要吗(elasticsearch 为啥快)

elasticsearch 重要吗(elasticsearch 为啥快)

问题1:开发不规范。我们这边es 都是我们在推,很多开发不会用或者用的不规范!问题2:不管性能,用起来再说!场景1:我们...

2022-11-04 04:56:37查看全文 >>

文档排行