Spark SQL的GroupBy会造成窄依赖吗 ？
Spark SQL 中的 GroupBy 操作通常会导致宽依赖。这是因为 GroupBy 操作需要聚合数据，通常涉及将数据从不同的分区聚集到一起，以便对同一组的数据进行计算。在这个过程中，原始数据集被划分为不同的分区，每个分区中的数据可能需要根据分组键跨分区移动，这就产生了宽依赖。
在 Spark 中，依赖类型分为两种：
- 窄依赖（Narrow Dependency）：每个父分区最多被一个子分区依赖。例如，在
map、filter等操作中，每个输入分区的数据仅被单个输出分区使用，数据不跨分区移动。 -
宽依赖（Wide Dependency）：一个父分区可以被多个子分区依赖。例如，在
GroupBy、reduceByKey等操作中，多个输入分区的数据可能需要聚集在一起进行处理，因此需要跨分区移动和重组数据。
在 GroupBy 操作中，由于需要将具有相同键的数据聚集到一起进行聚合计算，因此通常涉及跨分区移动数据，这就形成了宽依赖。
应用场景举例：
假设有一个电商平台的订单数据集，其中包含订单ID、用户ID、商品类别和订单金额等字段。如果我们想要计算每个商品类别的总销售额，我们可以使用 GroupBy 对商品类别进行分组，并对每个组的订单金额进行求和。在这个过程中，系统需要将所有相同商品类别的订单聚集到一起，即使它们原本分布在不同的分区中，从而形成宽依赖。