class="toc">
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
class="toc">
一、聚合查询概述
Elasticsearch中的聚合查询是一种功能强大的数据分析工具，它能够提供从索引中提取和计算有关数据的复杂统计信息的能力。聚合查询不仅可以帮助用户理解和分析数据中的趋势和模式，还能在业务决策中发挥关键作用。聚合查询支持多种类型，包括指标聚合、桶聚合和管道聚合，每一种都有其特定的应用场景和使用方法。
二、聚合查询类型
Metric Aggregations（指标聚合）
-
概述：指标聚合返回基于字段值的度量结果，如总和、平均值、最小值、最大值等。这些度量结果可以直接用于分析数据中的特定指标。
-
常用类型：
Sum：计算字段的总和。
Avg：计算字段的平均值。
Min/Max：查找字段的最小值和最大值。
Stats：提供包括count、sum、min、max和avg在内的多种统计信息。 -
应用场景举例：销售数据的总销售额和平均订单金额分析、用户行为的平均访问时长和最大访问深度分析等。
Bucket Aggregations（桶聚合）
-
概述：桶聚合类似于SQL中的GROUP BY操作，它将文档分组到不同的桶中，并对每个桶中的文档进行聚合计算。桶聚合可以基于字段值、时间间隔或数值范围进行分组。
-
常用类型：
Terms：根据字段的值将文档分配到不同的桶中，常用于分析文本字段的不同取值及其分布情况。
Date Histogram：根据日期字段的值，将文档按时间间隔（如天、周、月等）分组到桶中，适用于时间序列数据的分析。
Range：根据定义的范围将文档分配到不同的桶中，适用于分析数值字段在特定范围内的文档数量。 -
应用场景举例：按作者分组的博客文章数量统计、按月份统计的销售记录分析、按价格区间统计的产品数量等。
Pipeline Aggregations（管道聚合）
-
概述：管道聚合以其他聚合的结果作为输入，并对其进行进一步的处理或计算。这种聚合类型允许用户对聚合结果进行复杂的转换和分析。
-
常用类型：
Avg Bucket：计算每个桶的平均值，通常用于对分组数据进行平均值分析。
Sum Bucket：计算每个桶的总和，适用于对分组数据进行求和操作。
Max/Min Bucket：找出所有桶中的最大值或最小值，有助于识别分组数据中的极端情况。 -
应用场景举例：在按月份统计的销售记录中找出平均销售额最高的月份、分析不同价格区间产品的销售额总和等。
三、聚合查询应用
- 与查询语句结合：聚合查询通常与查询语句结合使用，可以在满足特定条件的文档集合上进行聚合操作。通过查询语句过滤出符合条件的文档集合，然后对这些文档进行聚合分析，可以得到更加准确和有用的结果。
- 嵌套聚合：Elasticsearch支持嵌套聚合，即在一个聚合内部可以包含其他聚合。通过嵌套聚合，用户可以构建复杂的查询和分析逻辑，满足各种复杂的数据分析和统计需求。
四、doc_values 与 fielddata
在 Elasticsearch 中，聚合操作主要依赖于 doc_values 或 fielddata 来进行。用于聚合的字段可以是精确值字段（如keyword类型）或分词字段（如text类型）。这两类字段在聚合查询时的处理方式有所不同。
exact value字段
精确值字段通常用于存储不需要分词和全文搜索的数据，如用户ID、产品类别等。对于这类字段，Elasticsearch默认使用doc_values数据结构来支持高效的聚合、排序和统计操作。doc_values以列式存储格式在磁盘上保存字段值，并在需要时加载到JVM堆内存中进行计算。由于doc_values直接在磁盘上操作，因此性能通常很高，且适用于大规模数据集。
分词字段
分词字段（如text类型）通常用于存储需要分词和全文搜索的文本数据。对于这类字段，Elasticsearch默认不启用fielddata，因为fielddata会将字段值加载到堆内存中，导致在处理大数据集时容易引发内存溢出（OOM）问题。然而，有时我们确实需要在分词字段上执行聚合操作（例如，按产品名称分组统计销售数据）。在这种情况下，有几种解决方案可供选择：
-
使用.keyword子字段：在定义字段映射时，可以为text字段添加一个.keyword子字段。这个子字段不会被分词器处理，而是作为一个完整的字符串存储。通过使用该子字段进行聚合操作，可以获得更准确的结果，同时避免启用fielddata带来的性能问题。
-
更新映射启用fielddata：如果你确实需要在text字段上启用fielddata（虽然不推荐），可以通过更新字段映射来实现。但请注意，这样做可能会导致内存消耗过大，特别是在处理大数据集时。因此，在启用fielddata之前，请务必评估其对系统性能的影响，并考虑其他可能的解决方案。
doc_values与fielddata的性能权衡
在Elasticsearch中，聚合操作主要依赖于doc_values或fielddata来访问文档中的字段值。了解这两种数据结构的差异和适用场景，有助于优化聚合查询的性能。
Doc Values
- 优势：适用于精确值字段和数字类型字段，提供高效的聚合、排序和统计操作。由于直接在磁盘上操作，性能通常很高。
- 适用场景：大多数精确值字段默认启用doc_values，无需额外配置。
Fielddata
- 优势：支持复杂的文本分析和聚合操作，允许对分词字段进行聚合查询。
- 劣势：需要占用大量堆内存资源，处理大数据集时容易引发OOM问题。默认情况下，Elasticsearch禁用了对text字段的fielddata访问。
- 适用场景：在确实需要在text字段上执行聚合查询，且系统资源允许的情况下，可以考虑启用fielddata。但请务必谨慎评估其对性能的影响。
总之, 对于精确值字段，利用doc_values可以获得高效且准确的聚合结果；对于分词字段，通过添加.keyword子字段或使用其他解决方案来避免启用fielddata带来的性能问题。通过合理配置字段映射和选择聚合查询策略，可以充分发挥Elasticsearch在数据分析领域的强大功能。
五、multi-fields（多字段）
- 描述：在Elasticsearch中，一个字段可以被定义为multi-fields类型，这意味着同一份数据可以被索引为不同类型的字段。通过为text字段添加keyword子字段，用户可以在保留全文搜索功能的同时，为精确值搜索、排序和聚合操作提供支持。
- 使用建议：对于需要进行聚合操作的text字段，强烈建议在索引设计阶段添加keyword子字段，并使用该子字段进行聚合操作。这样可以避免在text字段上启用Fielddata带来的性能问题，并提高聚合查询的效率和准确性。
六、聚合查询示例
Terms 分桶聚合
示例场景：统计每个作者写了多少篇文章，并按文章数量降序排序。
查询语句：
POST /blog/_search
{
"size": 0,
"aggs": {
"articles_per_author": {
"terms": {
"field": "author.keyword",
"size": 10,
"order": { "_count": "desc" }
}
}
}
}
class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
class="blog_extension_card_cont">
class="blog_extension_card_cont_l">
评论记录：
回复评论：