第04章 Spark SQL常用参数-摩杜云开发者社区

第04章 Spark SQL常用参数 2

4.1 AQE优化控制 2

4.2 SHUFFLE分区个数控制 3

4.3 SHUFFLE输入大小控制 3

4.4 TASK内存参数 3

4.5 TASK同时运行个数 3

4.6 其它REDUCE阶段相关参数 4

4.7 如何预估每个REDUCE任务处理的数据量 6

第04章 Spark SQL常用参数

4.1 AQE优化控制

通过设置spark.sql.adaptive.enabled参数，可以开启reduce合并功能。比如有500个map，每个map过滤后只有1M数据，每个reduce应该处理128M数据，那么只需要4个reduce就能处理数据，执行速度更快，而且还合并了小文件。

这是开启AQE前

第04章 Spark SQL常用参数_spark

这是开启AQE后，reduce进行了合并。

第04章 Spark SQL常用参数_运行时间_02

4.2 SHUFFLE分区个数控制

通过设置spark.sql.shuffle.partitions参数，可以控制shuffle时，reduce的个数。在一些大数据量shuffle时，调大这个参数，可以让每个reduce处理的数据量变小，避免oom产生。

这个值不建议特别大，一般不超过2000。

4.3 SHUFFLE输入大小控制

通过设置spark.sql.adaptive.shuffle.targetPostShuffleInputSize参数，可以控制shuffle时，每个reduce需要处理的数据量，通过减小这个参数，可以减小reduce处理的数据量，增加了reduce的个数，同样能避免oom产生。

注意：前提是spark.sql.adaptive.enabled参数必须设置为true，才会生效。

4.4 TASK内存参数

通过设置task的内存参数，可以优化任务。比如task处理的数据量比较大，那么可以加大内存，从而避免oom。如果task处理的数据量小，那么可以减小内存。通过设置--executor-memory 1G控制堆内内存占用，通过设置—conf spark.executor.memoryOverhead=3G设置堆外内存占用。

4.5 TASK同时运行个数

通过设置task的同时运行个数，能加快任务的产出，能有效减少任务的运行时间。通过spark.dynamicAllocation.maxExecutors或者通过设置--num-executors进行指定。

第04章 Spark SQL常用参数_spark_03

在占用集群总资源不变的情况下，减小内存配置，加大executor数，可以有效减少任务的运行时间。

这是我们在生产环境优化的一个sql，优化前需要执行5155秒，优化后只需要执行1791秒。

	执行时间秒
工作流参数（优化前）	5155
参数优化后	1791

第04章 Spark SQL常用参数_sql_04

这是我们的优化参数

	旧值	新值
spark.sql.shuffle.partitions	500	5000
spark.dynamicAllocation.maxExecutors	500	1200
spark.executor.memoryOverhead	1G	1G
executor-memory	5G	1.5G

旧资源总占用=(5G + 1G)* 500 =3000G

新资源总占用=(1.5G+1G)*1200=3000G

可以发现使用的总内存资源是一样的，但是执行时间减少了百分之60。

4.6 其它REDUCE阶段相关参数

在一个大集群中，Spark运行经常会遇到shuffle相关异常，如下参数对于提升SQL任务shuffle稳定有很大帮助。

参数	默认值	建议值	解释
spark.reducer.maxReqsInFlight	Int.MaxValue	50	此配置限制在任何给定点获取块的远程请求数。当集群中的主机数量增加时，可能会导致到一个或多个节点的大量入站连接，从而导致worker在负载下失败。通过允许它限制fetch请求的数量，可以缓解这种情况。
spark.reducer.maxBlocksInFlightPerAddress	Int.MaxValue	50	此配置限制每个reduce任务从给定主机端口获取的远程块的数量。当在单个获取中或同时从给定地址请求大量块时，这可能会使服务 Executor或 NodeManager 崩溃。当启用 External Shuffle 时，这对于减少 NodeManager 上的负载特别有用。可以通过将其设置为较低的值来缓解此问题。
spark.shuffle.registration.timeout	5000毫秒	15000	注册外部shuffle服务的超时时间
spark.shuffle.registration.maxAttempts	3	5	当我们无法注册到外部shuffle服务时，我们将重试maxAttempts次
spark.shuffle.io.retryWait	5s	20s	重试之间等待的时间
spark.shuffle.io.maxRetries	3	6	重试最大等待次数

4.7 如何预估每个REDUCE任务处理的数据量

如何减小每个reduce task处理的数据量,我们可以通过下面的公式预估每个reduce task处理的数据量。

1)、并行度=min(spark.sql.shuffle.partitions,(上一阶段处理的总数据量/spark.sql.adaptive.shuffle.targetPostShuffleInputSize) )

2）、每个reduce task处理的最终数据量=上一阶段处理的总数据量/并行度

通过公式，我们可以知道，要想减少每个reduce task处理的数据量，最终减小oom概率，那么我们可以增加spark.sql.shuffle.partitions参数，或者减小spark.sql.adaptive.shuffle.targetPostShuffleInputSize参数。

在总资源不变情况下，内存和executor数的关系是：

减小内存配置，加大executor数，在消耗总资源不变情况下，减少了任务运行时间。

加大内存配置，减小executor数，在消耗总资源不变情况下，增加了任务稳定性，减少oom概率，增加了任务运行时间。

来自视频：《Spark SQL性能优化》

链接地址：
https://edu.51cto.com/course/34516.html