简述优化调优[(Count(Distinct)去重统计] ？
在Hive中，优化调优是提高查询性能和数据处理速度的重要手段。对于去重统计（Count(Distinct)）这种操作，可以通过以下几种方式进行优化：
- 使用桶表：桶表可以将数据按照特定的列值范围或哈希算法分成若干个桶，每个桶包含一部分数据。在去重统计之前，可以先对需要去重的列进行哈希操作，将数据分到不同的桶中。由于桶表可以减少I/O操作的次数和提高查询效率，因此可以加快去重统计的速度。
- 使用Map-side聚合：在Map阶段对数据进行初步的聚合操作，将数据压缩到更小的规模，减少shuffle和sort操作的数据量。在去重统计时，可以在Map阶段对数据进行初步的去重操作，将重复的数据过滤掉，然后在Reduce阶段进行最终的统计。这样可以减少Reduce阶段的数据处理量，提高查询性能。
- 使用更高效的文件格式：使用Parquet或ORC等列式存储格式可以更好地压缩数据，减少存储空间和I/O操作的次数。在去重统计时，可以使用这些格式来存储数据，以提高查询性能。
- 调整Hive参数：通过调整Hive的参数，如内存设置、缓存设置等，可以提高查询性能和数据处理速度。例如，增加内存设置可以提高任务的执行速度，开启缓存可以减少磁盘I/O操作的次数等。
总的来说，优化调优是提高Hive查询性能和数据处理速度的重要手段。用户可以根据实际需求选择适合的优化方式来进行数据处理和分析。