Ejemplo: reducir elementos de un RDD – reduce (función)

Agregar los elementos del conjunto de datos segun la función indicada por parámetro. Esta función debe ser conmutativa y asociativa para que se pueda calcular correctamente en paralelo.

val rdd = sc.parallelize(1 to 4, 2)
rdd.reduce(_+_)

res: Int = 10

Ejemplo: reducir elementos de un RDD – foreach (función)

Ejecuta la función indicada por parámetro para cada elemento del conjunto de datos.

Se suele utilizar para efectos secundarios, como actualizar un acumulador o interactuar con sistemas de almacenamiento externos.

val a = Array("coche", "moto", "tren", "avion")
a.foreach{x => println("Mira mi nuevo " + x)}

Mira mi coche
Mira mi moto
Mira mi tren
Mira mi avion

Nota: la modificación de variables que no sean acumuladores fuera de foreach () puede dar como resultado un comportamiento indefinido.