简述Spark Streaming和Structed Streaming ？
在Apache Spark中，Spark Streaming和Structured Streaming都是用于实时数据处理的组件，但它们在处理模型、易用性、功能等方面有一些区别：
- Spark Streaming：
- Spark Streaming是Spark中较早提供的实时数据处理框架。
- 它基于“微批处理”（Micro-Batching）模型工作，将实时的数据流切分成一系列小批次的数据进行处理。
- 每个批次的数据被封装成一个RDD（弹性分布式数据集），然后使用Spark的计算引擎进行处理。
- Spark Streaming提供了DStream（离散流）抽象，用于表示连续的数据流。
- 它支持多种数据源，如Kafka、Flume等，并提供了容错机制。
- Structured Streaming：
- Structured Streaming是基于Spark SQL引擎的实时数据处理框架，提供了更高级别的抽象。
- 它以“无界数据表”（Unbounded Table）的概念为核心，将实时数据处理作为一个连续的查询。
- Structured Streaming提供了DataFrame和DataSet API，使得开发者可以像批处理一样轻松地编写实时数据处理代码。
- 它支持事件时间处理和窗口操作，非常适合复杂的时间序列数据处理。
- Structured Streaming还提供了更高效的执行引擎和更丰富的内置函数。
区别总结：
- 处理模型：Spark Streaming使用微批处理模型，而Structured Streaming提供了更近似于实时的流处理模型。
- API和易用性：Structured Streaming提供了基于DataFrame和DataSet的API，使得代码更易于编写和理解，而Spark Streaming使用的是基于DStream的低级API。
- 功能和性能：Structured Streaming提供了更高级的功能，如事件时间处理和更复杂的窗口操作，同时其执行引擎也更优化。
总的来说，Structured Streaming是Spark对实时数据处理能力的进一步扩展和提升，它提供了更高层次的抽象、更简洁的API和更强大的功能，适用于更复杂和要求更高的实时数据处理场景。