简述Spark join的分类 ？

Spark 中的 join 操作可以按照不同的方式分类，主要包括以下几种：

1. 根据连接类型：
   • 内连接（Inner Join）：仅返回两个数据集中键相匹配的记录。
   • 外连接（Outer Join）：
     • 全外连接（Full Outer Join）：返回两个数据集中的所有记录，如果某一侧没有匹配，则该侧的结果为 。
     • 左外连接（Left Outer Join）：返回左侧数据集的所有记录，以及右侧匹配的记录；如果右侧没有匹配，则结果为 。
     • 右外连接（Right Outer Join）：返回右侧数据集的所有记录，以及左侧匹配的记录；如果左侧没有匹配，则结果为 。
   • 交叉连接（Cross Join）：返回两个数据集的笛卡尔积，即每个左侧记录与右侧的每个记录组合。
   • 半连接（Semi Join）：仅返回左侧数据集中有与右侧数据集匹配键的记录。
   • 反半连接（Anti Join）：返回左侧数据集中没有与右侧数据集匹配键的记录。
2. 根据执行策略：
   • Shuffle Join：在这种连接中，如果需要的话，数据会在多个节点之间重新分布，以确保具有相同键的数据位于同一节点上。这种方式在处理大数据集时可能会导致大量的网络传输。
   • Broadcast Join：在这种连接中，如果其中一个数据集足够小，那么这个小的数据集会被复制到每个节点上，与另一个数据集的相应部分进行连接。这种方式可以减少网络传输，通常用于一个小数据集与一个大数据集的连接操作。
3. 根据数据结构：
   • RDD Join：在原始的 RDD API 中，支持基本的连接操作，如 join, leftOuterJoin, rightOuterJoin 等。
   • DataFrame Join：在 DataFrame API 中，可以使用 join 方法进行更高级的连接操作，支持使用表达式和 SQL 风格的语法。

举个例子，假设有两个数据集，一个是用户信息，另一个是订单信息，都包含用户 ID。如果要找出有订单的所有用户的信息，可以使用内连接；如果要找出所有用户的信息，以及他们的订单信息（如果有的话），则可以使用左外连接。在数据量较大时，可能会选择 Shuffle Join；如果用户信息数据集很小，而订单信息数据集很大，则可能选择 Broadcast Join。

帅地永久会员

收藏 海报 分享链接