简述Spark分哪几个部分（模块）？分别有什么作用（做什么，自己用过哪些，做过什么） ？
Apache Spark是一个大数据处理框架，它由多个模块组成，每个模块都针对不同的数据处理需求。以下是Spark的主要模块及其作用：
- Spark Core：
- Spark Core是整个Spark框架的基础，提供了基本的I/O功能、任务调度、内存管理等基础功能。
- 它支持创建和操作弹性分布式数据集（RDD），是所有高级API的基础。
- 我曾使用Spark Core进行数据的ETL（提取、转换、加载）操作，处理大量日志数据。
- Spark SQL：
- Spark SQL是用于处理结构化和半结构化数据的模块。
- 它支持多种数据源（如Hive、Avro、Parquet等）并提供SQL接口和DataFrame API进行数据查询和分析。
- 我使用Spark SQL处理和分析结构化数据，如从数据仓库查询和聚合数据，进行报告生成等。
- Spark Streaming：
- Spark Streaming用于实时数据处理，可以处理来自各种源（如Kafka、Flume等）的数据流。
- 它将实时数据分成小批量来处理，从而实现准实时处理。
- 我使用Spark Streaming进行社交媒体数据的实时分析和监控，处理日志数据进行即时报警。
- MLlib（机器学习库）：
- MLlib提供了一系列常用的机器学习算法，如分类、回归、聚类等。
- 它还提供了特征提取、转换、降维等工具。
- 我使用MLlib进行数据挖掘和预测建模，如客户流失预测和推荐系统。
- GraphX（图处理库）：
- GraphX是用于图形数据处理和图算法的模块。
- 它提供了创建、变换和查询图的API。
- 我使用GraphX分析社交网络数据，进行关系网络分析和社区发现。
- SparkR：
- SparkR是一个R语言包，允许R用户使用Spark的功能。
- 它为R用户提供了一个方便的接口来运行Spark上的数据分析任务。
- 虽然我个人没有使用过SparkR，但它对于R语言用户来说是非常有用的。
每个模块都为特定类型的数据处理提供了专门的工具和API，这使得Spark成为一个非常灵活且强大的大数据处理平台。