概念

不需要指定并發，只需要指定內存， 程序在運行后會動態調節并發數量，我們只需要設置一個上線即可

1. 在spark 配置文件設置：
   spark.dynamicAllocation.enabled true
   spark.shuffle.service.enabled true

2. 準備shuffer jar
   將spark安裝包中的spark--yarn-shuffle.jar 放在集群中每個節點的classpath中

3. yarn-site.xml 增加

	 <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle,spark_shuffle</value></property><property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property>

5. 重啟 NodeManager