es-introduction.md 3.4 KB
Newer Older
1
## Lucene 和 ES 的前世今生
Y
yanglbme 已提交
2

3
Lucene 是最先进、功能最强大的搜索库。如果直接基于 Lucene 开发,非常复杂,即便写一些简单的功能,也要写大量的 Java 代码,需要深入理解原理。
Y
yanglbme 已提交
4

5
ElasticSearch 基于 Lucene,隐藏了 lucene 的复杂性,提供了简单易用的 RESTful api / Java api 接口(另外还有其他语言的 api 接口)。
Y
yanglbme 已提交
6

Y
yanglbme 已提交
7 8 9
- 分布式的文档存储引擎
- 分布式的搜索引擎和分析引擎
- 分布式,支持 PB 级数据
Y
yanglbme 已提交
10

11
## ES 的核心概念
Y
yanglbme 已提交
12

Y
yanglbme 已提交
13
### Near Realtime
Y
yanglbme 已提交
14

Y
yanglbme 已提交
15 16
近实时,有两层意思:

Y
yanglbme 已提交
17 18
- 从写入数据到数据可以被搜索到有一个小延迟(大概是 1s)
- 基于 ES 执行搜索和分析可以达到秒级
Y
yanglbme 已提交
19 20

### Cluster 集群
Y
yanglbme 已提交
21

Y
yanglbme 已提交
22 23 24
集群包含多个节点,每个节点属于哪个集群都是通过一个配置来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常。

### Node 节点
Y
yanglbme 已提交
25

Y
yanglbme 已提交
26 27 28
Node 是集群中的一个节点,节点也有一个名称,默认是随机分配的。默认节点会去加入一个名称为 `elasticsearch` 的集群。如果直接启动一堆节点,那么它们会自动组成一个 elasticsearch 集群,当然一个节点也可以组成 elasticsearch 集群。

### Document & field
Y
yanglbme 已提交
29

30
文档是 ES 中最小的数据单元,一个 document 可以是一条客户数据、一条商品分类数据、一条订单数据,通常用 json 数据结构来表示。每个 index 下的 type,都可以存储多条 document。一个 document 里面有多个 field,每个 field 就是一个数据字段。
Y
yanglbme 已提交
31

Y
yanglbme 已提交
32
```json
Y
yanglbme 已提交
33
{
Y
yanglbme 已提交
34 35 36 37 38
  "product_id": "1",
  "product_name": "iPhone X",
  "product_desc": "苹果手机",
  "category_id": "2",
  "category_name": "电子产品"
Y
yanglbme 已提交
39 40 41 42
}
```

### Index
Y
yanglbme 已提交
43

Y
yanglbme 已提交
44 45 46
索引包含了一堆有相似结构的文档数据,比如商品索引。一个索引包含很多 document,一个索引就代表了一类相似或者相同的 ducument。

### Type
Y
yanglbme 已提交
47

Y
yanglbme 已提交
48 49 50
类型,每个索引里可以有一个或者多个 type,type 是 index 的一个逻辑分类,比如商品 index 下有多个 type:日化商品 type、电器商品 type、生鲜商品 type。每个 type 下的 document 的 field 可能不太一样。

### shard
Y
yanglbme 已提交
51

52
单台机器无法存储大量数据,ES 可以将一个索引中的数据切分为多个 shard,分布在多台服务器上存储。有了 shard 就可以横向扩展,存储更多数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能。每个 shard 都是一个 lucene index。
Y
yanglbme 已提交
53 54

### replica
Y
yanglbme 已提交
55

Y
yanglbme 已提交
56
任何一个服务器随时可能故障或宕机,此时 shard 可能就会丢失,因此可以为每个 shard 创建多个 replica 副本。replica 可以在 shard 故障时提供备用服务,保证数据不丢失,多个 replica 还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认 5 个),replica shard(随时修改数量,默认 1 个),默认每个索引 10 个 shard,5 个 primary shard,5 个 replica shard,最小的高可用配置,是 2 台服务器。
Y
yanglbme 已提交
57 58 59

这么说吧,shard 分为 primary shard 和 replica shard。而 primary shard 一般简称为 shard,而 replica shard 一般简称为 replica。

60
![es-cluster-0](./images/es-cluster-0.png)
Y
yanglbme 已提交
61

62
## ES 核心概念 vs. DB 核心概念
Y
yanglbme 已提交
63

Y
yanglbme 已提交
64 65 66 67
| ES       | DB       |
| -------- | -------- |
| index    | 数据库   |
| type     | 数据表   |
Y
Yang Libin 已提交
68
| document | 一行数据 |
Y
yanglbme 已提交
69

Y
yanglbme 已提交
70
以上是一个简单的类比。