简述ElasticSearch 分片数量？副本数量的设定？

ElasticSearch面试考题 0 123

参考回答

在 Elasticsearch 中，分片（Shard） 和 副本（Replica） 是用于管理和存储数据的重要机制。合理设置分片和副本数量能够显著提高集群的性能、存储效率和容错能力。

1. 分片数量的设定

分片的作用

水平扩展：每个分片是数据的一个子集，分片可以分布在不同的节点上，从而支持数据的分布式存储。
并行处理：查询和索引可以同时在多个分片上执行，提高性能。
分片作为最小的数据管理单元：数据被分片管理，每个分片对应一个 Lucene 索引。

如何设定分片数量

分片数量在索引创建时设置，之后无法更改。
设置分片数量时需要考虑以下因素：
1. 数据规模：
- 每个分片大小应在 20GB-50GB 之间。
- 如果预估索引大小为 500GB，建议设置 10-25 个分片。
  1. 节点数量：
- 确保分片总数大于等于节点数，以实现负载均衡。
  1. 查询性能：
- 分片数量过多会增加查询开销（如节点间通信）。
- 分片数量过少可能无法充分利用集群资源。
  1. 集群扩展性：
- 考虑将来的数据增长，预留一定的分片容量。

分片数量的最佳实践

小索引：1-5 个分片。
大索引：根据数据大小和节点数量动态调整。

示例：创建一个 5 主分片的索引

PUT /my_index
{
"settings": {
  "number_of_shards": 5,
  "number_of_replicas": 1
}
}

2. 副本数量的设定

副本的作用

高可用性：
- 每个主分片可以有 0 个或多个副本分片。副本分片分布在其他节点上，确保在节点故障时数据仍然可用。
提高查询性能：
- 查询可以在主分片和副本分片上并行执行，提升查询吞吐量。

如何设定副本数量

副本数量可以动态调整（无需重建索引）。
副本数量的设定需要考虑以下因素：
1. 节点数量：
- 副本分片不能与对应的主分片存储在同一节点，因此至少需要 副本数量 + 1 个节点。
  1. 高可用需求：
- 通常设置 1 个副本，确保至少有两份数据（主分片 + 副本）。
- 对于关键业务，可能需要更多副本（如 2 或更多）。
  1. 性能需求：
- 副本分片增加查询性能，但写性能可能略有下降（需要同步到副本分片）。

副本数量的最佳实践

小型集群：设置 1 个副本，确保基本的高可用性。
中大型集群：根据节点数量和容灾要求设置副本数。

示例：动态调整副本数量为 2

PUT /my_index/_settings
{
"number_of_replicas": 2
}

3. 分片与副本的关系

假设：
– 索引有 3 个主分片（number_of_shards: 3）。
– 副本数量设置为 1（number_of_replicas: 1）。

分片分布：
– 每个主分片对应 1 个副本分片。
– 集群中总共 6 个分片（3 主分片 + 3 副本分片）。

4. 分片和副本设置的注意事项

分片数量过多的问题

每个分片占用资源（如文件描述符和内存）。
过多的小分片可能导致资源浪费。
查询时需要聚合所有分片结果，可能增加延迟。

分片数量过少的问题

数据集中在少量分片中，可能导致负载不均。
如果单个分片过大，可能超出节点内存限制。

副本数量过多的问题

副本过多会增加写操作的开销（主分片需要同步到多个副本）。
节点不足时，可能导致副本无法分配。

副本数量过少的问题

高可用性不足，节点故障可能导致数据不可用。
查询吞吐量可能受到限制。

5. 总结建议

分片数量：
- 小索引设置 1-5 个分片。
- 大索引根据预估数据量动态调整，每个分片保持在 20GB-50GB 左右。
- 考虑未来扩展性，预留适当的分片容量。
副本数量：
- 最少设置 1 个副本，以满足基本的高可用需求。
- 根据查询吞吐量需求和集群规模调整副本数量。

通过合理设置分片和副本数量，可以在存储效率、高可用性和查询性能之间找到最佳平衡。