1. 广播变量（Broadcast Variables）：
广播变量用于在集群中的所有工作节点上缓存只读变量，以便在任务执行期间有效地共享。这对于在所有节点上的每个任务中使用同样的大型输入数据或机器学习模型时非常有用，可以避免在网络上传输相同的数据多次。
示例：
// 在驱动程序中创建广播变量
val broadcastVar = sc.broadcast(Array(1, 2, 3))
// 在工作节点上访问广播变量
val result = sc.parallelize(Array(1, 2, 3, 4))
.map(x => (x, broadcastVar.value(x)))
.collect()
// 打印结果
result.foreach(println)
2. 累加器（Accumulators）：
累加器用于在所有任务中进行关联和交换的变量。它们通常用于实现在所有节点上进行计数或总和的操作，而无需将所有数据传递回驱动程序。
示例：
// 在驱动程序中创建累加器
val accumulator = sc.longAccumulator("My Accumulator")
// 在工作节点上更新累加器
sc.parallelize(Array(1, 2, 3, 4))
.foreach(x => accumulator.add(x))
// 打印累加器的值
println("Accumulator value: " + accumulator.value)
在上述示例中，累加器用于计算数组中所有元素的总和。
共享变量的使用可以显著提高 Spark 应用程序的性能，特别是在需要在任务之间共享大量数据或进行分布式累积计算的情况下。
转载请注明出处：http://www.pingtaimeng.com/article/detail/9333/Spark