Skip to content

关于Elasticsearch

Elasticsearch是一个可用于构建搜索应用的成品软件(注:区别于Lucene这种中间件)。它最早由Shay Banon创建,并于2010年2月发布。之后的几年,Elasticsearch迅速流行开来,成为其他开源和商业解决方案之外的一个重要选择。它是下载量最多的开源项目之一。

基本概念

下面聊一聊Elasticsearch中的一些基本概念:

索引

索引用于帮助快速查找【类比小时候学习怎么查字典,通过笔画、拼音等快速查找到对应的字】。在Elasticsearch中会为每个文档建立其对应的索引,Elasticsearch在内部使用Lucene将数据写入索引或从索引中检索数据。 【可以类比为关系型数据库的库】

类型

在新版的Elasticsearch中已经取消了类型【可以类比关系型数据库中的表】

文档

文档(document)是Elasticsearch世界中的主要实体(对Lucene 来说也是如此)。对于所有使用Elasticsearch的案例来说,它们最终 都会被归结到对文档的搜索之上。文档由字段构成,每个字段包含字 段名以及一个或多个字段值(在这种情况下,该字段被称为是多值 的,即文档中有多个同名字段)。文档之间可能有各自不同的字段集 合,文档并没有固定的模式或强制的结构。站在用户的角度,文档就是一个JSON对象。 【可以类比为关系型数据库的一条记录】

映射

所有文档在写入索引前都将被分析。用户可以设置一些参数,决定如何将输入文本分割为词条,哪些词条应该被过滤掉,或哪些附加处理有必要被调用(例如移除HTML标签)。这就是映射(mapping)扮演的角色:存储分析链所需的所有信息。

节点

单个的Elasticsearch的服务实例被称为节点(node)。Elasticsearch节点可以按用途分为3类:

  • 数据(data)节点:用来持有数据,提供对这些数据的搜索功能
  • 主(master)节点:作为监督者负责控制其他节点的工作。一个 集群中只有一个主节点。
  • 部落(tribe)节点:它可以像桥梁一样连接起多个集群,并允许我们在多个集群上执行几乎所有可以在单集群Elasticsearch上执行的功能。

集群

多个协同工作的Elasticsearch节点的集合被称为集群(cluster)。Elasticsearch的分布式属性使我们可以轻松处理超过单机负载能力的数据量。同时,集群也是无间断提供服务的一种解决方案,即便当某些节点因为宕机或者执行管理任务(例如升级)不可用时,Elasticsearch几乎是无缝集成了集群功能。

分片

集群允许系统存储的数据总量超过单机容量。为了满足这个需求,Elasticsearch将数据散布到多个物理的Lucene索引上去。这些Lucene索引被称为分片(shard),而散布这些分片的过程叫做分片处理(sharding)。Elasticsearch会自动完成分片处理,并且让用户看来这些分片更像是一个大索引。当然,除了Elasticsearch本身自动进行分片处理外,用户为具体的应用进行参数调优也是至关重要的,因为分片的数量在索引创建时就被配置好了,之后无法改变,除非创建一个新索引并重新索引全部数据。

副本

分片处理允许用户推送超过单机容量的数据至Elasticsearch集群。副本(replica)则解决了访问压力过大时单机无法处理所有请求的问题。思路是很简单的,为每个分片创建冗余的副本,处理查询时可以把这些副本当作最初的主分片(primary shard)使用。值得注意的是,副本给Elasticsearch带来了更多的安全性。如果主分片所在的节点宕机了,Elasticsearch会自动从该分片的副本中选出一个作为新的主分片,因此不会对索引和搜索服务产生干扰。可以在任意时间点添加或移除副本,所以一旦有需要,可随时调整副本的数量。

主要特征

Elasticsearch的架构遵循了一些设计理念:

合理的默认配置

使得用户在简单安装以后能直接使用Elasticsearch而不需要任何额外的调优,这其中包括内置的发现(例如,字段类型检测)和自动配置功能。

默认的分布式工作模式

每个节点总是假定自己是某个集群的一部分或将是某个集群的一部分。

对等架构(P2P)可以避免单点故障

节点会自动连接到集群中的其他节点,进行相互的数据交换和监控操作。这其中就包括了索引分片的自动复制。

Elasticsearch没有对索引中的数据结构强加任何限制

这允许用户调整现有的数据模型。Elasticsearch支持在一个索引中存在多种数据类型,允许用户调整业务模型,包括处理文档之间的关联(尽管这种功能非常有限)。

·准实时(near real time searching)搜索和版本同步

考虑到Elasticsearch的分布式特性,查询延迟和节点之间临时的数据不同步是难以避免的。Elasticsearch尝试减少这些问题,并且提供了额外的机制用于版本同步。

工作流程简介

启动过程:

当Elasticsearch节点启动时,它使用发现(discovery)模块来发现同一个集群中的其他节点(这里的关键是配置文件中的集群名称)并与它们连接。默认情况下,Elasticsearch节点会向网络中发送广播请求,以找到拥有相同集群名称的其他节点。集群中有一个节点被选为主(master)节点。该节点负责集群的状态管理以及在集群拓扑变化时做出反应,分发索引分片至集群的相应节点上去。

管理节点读取集群的状态信息,如果有必要,它会进行恢复(recovery)处理。在该阶段,管理节点会检查有哪些索引分片,并决定哪些分片将用作主分片。此后,整个集群进入黄色状态。这意味着集群可以执行查询,但是系统的吞吐量以及各种可能的状况是未知的(这种状况可以简单理解为所有的主分片已经被分配了,但是副本没有被分配)。下面的事情就是寻找到冗余的分片用作副本。如果某个主分片的副本数过少,管理节点将决定基于某个主分片创建分片和副本。如果一切顺利,集群将进入绿色状态(这意味着所有主分片以及副本均已分配好)。

故障检测

集群正常工作时,管理节点会监控所有可用节点,检查它们是否正在工作。如果任何节点在预定义的超时时间内不响应,则认为该节点已经断开,然后错误处理过程开始启动。这意味着可能要在集群–分片之间重新做平衡,选择新的主节点等。对每个丢失的主分片,一个新的主分片将会从原来的主分片的副本中选出来。新分片和副本的放置策略是可配置的,用户可以根据具体需求进行配置。

与Elasticsearch通信:

对用户来说,最重要的部分是如何向Elasticsearch推送数据以及构建查 询。为了提供这些功能,Elasticsearch对外公开了一个设计精巧的Rest API。

索引数据

建索引操作只会发生在主分片上,而不是副本上。当一个索引请求被发送至一个节点上时,如果该节点没有对应的主分片或者只有副本,那么这个请求会被转发到拥有正确的主分片的节点。然后,该节点将会把索引请求群发给所有副本,等待它们的响应(这一点可以由用户控制),最后,当特定条件具备时(比如说达到规定数目的副本都完成了更新时)结束索引过程。

查询数据

  • 使用各种查询类型,包括,简单的词项查询,短语查询,范围查询,布尔查询,模糊查询,区间查询,通配符查询,空间查询,以及具备人类可读的打分控制功能的函数查询,等等。
  • 组合简单查询构建复杂查询。
  • 文档过滤,在不影响评分的前提下抛弃那些不满足特定查询条件的文档。这一点可以提升性能。
  • 查找与特定文档相似的文档。
  • 查找特定短语的查询建议和拼写检查。
  • 使用切面构建动态导航和计算各种统计量。
  • 使用预搜索(prospective search)和查找与指定文档匹配的query 集合。

查询并不是一个简单的、单步骤的操作。一般来说,查询分为两个阶段:分散阶段(scatter phase)和合并阶段(gather phase)。在分散阶段将查询分发到包含相关文档的多个分片中去执行查询,而在合并阶段则从众多分片中收集返回结果,然后对它们进行合并、排序,进行后续处理,然后返回给客户端。

最后

最后,Elasticsearch的成功不仅在于其强大的技术特性,也在于其背后活跃的社区和丰富的生态系统,提供了大量的插件和扩展,使其成为构建现代搜索应用不可或缺的工具。无论是在日志分析、全文搜索、安全情报分析等领域,Elasticsearch都展现了其强大的功能和灵活性。

Released under the MIT License.