当前位置:首页 > 经验 >

elasticsearch有什么用(elasticsearch快速入门)

来源:原点资讯(www.yd166.com)时间:2022-11-04 04:54:14作者:YD166手机阅读>>

3. ES写索引流程

elasticsearch有什么用,elasticsearch快速入门(9)

4. 存储原理

elasticsearch有什么用,elasticsearch快速入门(10)

5. 索引文件分段存储并且不可修改,那么新增、更新和删除如何处理呢?

6. 段合并

elasticsearch有什么用,elasticsearch快速入门(11)

## 四、ElasticSearch基本使用 - 观看附录2

### 慕课网视频摘要

1. 安装

  • 1. 但实例安装
  • 2. 插件安装
  • 3. 分布式安装

2. 基本用法

  • 1. 索引创建
  • 2. 插入
  • 3. 修改
  • 4. 删除
  • 5. 查询

3. 高级查询

  • 1. query
  • 2. filter
  • 3. 复合查询

4. Spring Boot 继承ES

## 五、ElasticSearch应用场景

(1)维基百科和百度百科,手机维基百科,全文检索,高亮,搜索推荐。

(2)The Guardian(国外新闻网站),类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论) 社交网络数据(对某某新闻的相关看法),数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)

(3)Stack Overflow(国外的程序异常讨论论坛),IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案

(4)GitHub(开源代码管理),搜索上千亿行代码。

(5)电商网站,检索商品。

(6)日志数据分析,logstash采集日志,ES进行复杂的数据分析(ELK技术,elasticsearch logstash kibana)

(7)商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅手机的监控,如果iphone的手机低于3000块钱,就通知我,我就去买

(8)BI系统,商业智能,Business Intelligence。比如说有个大型商场集团,BI,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,**区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化国内。

(9)国内:站内搜索(电商,招聘,门户,等等),IT OA系统搜索(OA,CRM,ERP,等等),数据分析(ES热门的一个使用场景)

## 六、ElasticSearch面试题 -- 答案附录4### 1、elasticsearch 了解多少,说说你们公司 es 的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

比如:ES 集群架构 13 个节点,索引根据通道不同共 20 索引,根据日期,每日递增 20 ,索引:10 分片,每日递增 1 亿 数据,每个通道每天索引大小控制:150GB 之内。

仅索引层面调优手段:

#### 1.1 设计阶段调优

  • 1. 根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索引;
  • 2. 使用别名进行索引管理;
  • 3. 每天凌晨定时对索引做 force_merge 操作,以释放空间;
  • 4. 采取冷热分离机制,热数据存储到 SSD,提高检索效率;冷数据定期进行 shrink操作,以缩减存储;
  • 5. 采取 curator 进行索引的生命周期管理;
  • 6. 仅针对需要分词的字段,合理的设置分词器;
  • 7. Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。……..
#### 1.2 写入调优
  • 1、写入前副本数设置为 0;
  • 2、写入前关闭 refresh_interval 设置为-1,禁用刷新机制;
  • 3、写入过程中:采取 bulk 批量写入;
  • 4、写入后恢复副本数和刷新间隔;
  • 5、尽量使用自动生成的 id。
#### 1.3、查询调优
  • 1. 禁用 wildcard;
  • 2. 禁用批量 terms(成百上千的场景);
  • 3. 充分利用倒排索引机制,能 keyword 类型尽量 keyword;
  • 4. 数据量大时候,可以先基于时间敲定索引再检索;
  • 5. 设置合理的路由机制。

#### 1.4. 其他调优

部署调优,业务调优等。

2. elasticsearch 的倒排索引是什么?

3. elasticsearch索引数据多了怎么办,如何调优,部署?

4. elasticsearch 是如何实现 master 选举的

5. 详细描述一下 Elasticsearch 索引文档的过程

6. 详细描述一下 Elasticsearch 搜索的过程?

7. Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法

8. lucence 内部结构是什么?

9. Elasticsearch 是如何实现 Master 选举的?

10. Elasticsearch 中的节点(比如共 20 个),其中的 10 个

11. 客户端在和集群连接时,如何选择特定的节点执行请求的?

12. 详细描述一下 Elasticsearch 索引文档的过程。

13. 详细描述一下 Elasticsearch 更新和删除文档的过程。

14. 详细描述一下 Elasticsearch 搜索的过程。

15. 在 Elasticsearch中,是怎么根据一个词找到对应的倒排索引的?

16. Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法?

17. 对于 GC 方面,在使用 Elasticsearch 时要注意什么?

18. Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?

19. 在并发情况下,Elasticsearch 如果保证读写一致?

20. 如何监控 Elasticsearch 集群状态?

21. 介绍下你们电商搜索的整体技术架构。

22. 介绍一下你们的个性化搜索方案?

23. 是否了解字典树?

24. 拼写纠错是如何实现的?

七、ElasticStack -- 参考附录3

elasticsearch有什么用,elasticsearch快速入门(12)

栏目热文

elasticsearch怎么读中文(elasticsearch快速入门)

elasticsearch怎么读中文(elasticsearch快速入门)

Elasticsearch是什么•Elasticsearch 是一个分布式的开源搜索和分析引擎。•适用于所有类型的数据,...

2022-11-04 04:58:03查看全文 >>

elasticsearch 可以干什么(elasticsearch是怎么存储的)

elasticsearch 可以干什么(elasticsearch是怎么存储的)

摘要先自上而下,后自底向上的介绍ElasticSearch的底层工作原理,试图回答以下问题:为什么我的搜索 *foo-b...

2022-11-04 04:40:27查看全文 >>

elasticsearch代码(elasticsearch接口调用)

elasticsearch代码(elasticsearch接口调用)

前言看到标题以后大家有些人可能感觉有点小题大做,毕竟cilent端几行代码就能解决的问题,没必要兴师动众的来仔细讲一下。...

2022-11-04 04:38:13查看全文 >>

elasticsearch 做什么用的(elasticsearch有什么用)

elasticsearch 做什么用的(elasticsearch有什么用)

作者:靠发型吃饭的柳树 来自:柳树的絮叨叨Elasticsearch是什么? Elasticsearch is the ...

2022-11-04 04:17:02查看全文 >>

elasticsearch是用什么语言写的(es数据查询)

elasticsearch是用什么语言写的(es数据查询)

我们之前介绍了相关的技术,并且也简单介绍了Elasticsearch相关的基本知识。那通过之前的内容我们知道Elasti...

2022-11-04 04:23:08查看全文 >>

elasticsearch用什么语言写的(elasticsearch什么语言好)

elasticsearch用什么语言写的(elasticsearch什么语言好)

本文演示了如何使用IK Analysis 插件来实现在 Elasticsearch 中的中文分词功能。使用中文分词在“S...

2022-11-04 04:39:29查看全文 >>

elasticsearch干嘛的(elasticsearch白名单)

elasticsearch干嘛的(elasticsearch白名单)

Elasticsearch,这个家伙我就不用过多介绍了吧,简称ES,这可不是js里面的es语法也不是阿里云里面的es云服...

2022-11-04 04:35:08查看全文 >>

elasticsearch是什么系统(elasticsearch为什么快)

elasticsearch是什么系统(elasticsearch为什么快)

在安装配置之前 ,我们首先应该弄清楚什么是Elasticsearch,以及它有什么作用什么是Elasticsearch?...

2022-11-04 04:35:44查看全文 >>

elasticsearch怎么读日志(elasticsearch 日志输出)

elasticsearch怎么读日志(elasticsearch 日志输出)

ElasticStack技术栈如果你没有听说过 Elastic Stack,那你一定听说过 ELK ,实际上 ELK 是...

2022-11-04 04:19:49查看全文 >>

elasticsearch重要吗(为什么要elasticsearch)

elasticsearch重要吗(为什么要elasticsearch)

前提人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需,大型企业早已淹没在系统生成的...

2022-11-04 05:04:41查看全文 >>

文档排行