Elasticsearch的功能、适用场景以及特点介绍

Elasticsearch的功能、适用场景以及特点介绍

1. Elasticsearch 功能

   1>.分布式的搜索引擎和数据分析引擎

   ​ 搜索：百度， 网站的站内搜索

   ​ 数据分析：eg: 冠寓，北京地区近7天出租率排名前10家的店铺有哪些?

   2>.全文检索，结构化检索，数据分析

   ​ 全文检索: 搜索门店名称中包含‘北京’门店 select * from projects where project_name like “%北京%”；

   ​ 结构化检索：搜索工单类型为报修的工单都有哪些，select * from work_order where type=’id’;

   ​ 部分匹配、自动完成、搜索纠错、搜索推荐
   ​ 数据分析：分析工单类型下有多少个工单数量，select type,count(*) from wor_order group by type;

   3>.对海量数据进行近实时的处理

   分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索

   海量数据的处理：分布式以后，可以采用大量的服务器去存储和检索数据，自然而然的就可以实现海量数据的处理

   近实时：在秒级对数据进行搜索和分析

   离线批处理（batch-processing）：比如 检索某个数据需要花费1小时

2. Elasticsearch 适用场景

   1、2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。 “GitHub使用ElasticSearch搜索20TB 的数据，包括13亿文件和1300亿行代码”

   2、维基百科：启动以elasticsearch为基础的核心搜索架构

   3、SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”

   4、百度：百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群最大100台机器，200个ES节点，每天导入30TB+数据

   5、新浪使用ES 分析处理32亿条实时日志

   6、阿里使用ES 构建挖财自己的日志采集和分析体系

   7 、日志数据分析，logstash采集日志，ES进行复杂的数据分析（ELK技术，elasticsearch+logstash+kibana）

   8、BI系统，商业智能，Business Intelligence。比如说有个大型商场集团，BI，分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成，产出相关的数张报表，**区，最近3年，每年消费金额呈现100%的增长，而且用户群体85%是高级白领，开一个新商场。ES执行数据分析和挖掘，Kibana进行数据可视化

3. Elasticsearch特点

   1>.可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司

   2>.Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；lucene（全文检索），商用的数据分析软件，分布式数据库（mycat）

   3>.对用户而言，是开箱即用的

   4>. 数据库的功能面对很多领域是不够用的（还有各种联机事务型的操作）；特殊的功能，比如全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理；Elasticsearch作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能