por Diego Calvo | Sep 3, 2018 | Big data, Scala, Spark
Ejemplo: Agrupar elementos Contar el número de personas que comparten el mismo apellido. val df = Seq( («Paco»,»Garcia»,24,24000), («Juan»,»Garcia»,26,27000), («Lola»,»Martin»,29,31000), («Sara»,»Garcia»,35,34000) ).toDF(«nombre», «apellido»,»edad»,»salario»)... por Diego Calvo | Ago 31, 2018 | Big data, Scala, Spark
Ejemplo: Contar datos Contar las personas que sean mayores de 30 años val df = Seq( («Paco»,»Garcia»,24,24000), («Juan»,»Garcia»,26,27000), («Lola»,»Martin»,29,31000), («Sara»,»Garcia»,35,34000) ).toDF(«nombre», «apellido»,»edad»,»salario»)... por Diego Calvo | Ago 31, 2018 | Big data, Scala, Spark
Registrar tabla temporal a partir de dataframe Spark permite la posibilidad de definir «Spark SQL» para poder hacer consultas en formato SQL sobre datos en scala. val df = Seq( («id1», 1,1), («id1», 2,1), («id1», 3,1), («id1», 4,1), («id2», 1,1), («id2»,... por Diego Calvo | Ago 30, 2018 | Big data, Scala, Spark
Añadir columna de unos Se suele añadir una coñumna de unos para en posteriores operaciones de reduce realizar recuentos por agrupación. val df = Seq( («id1», 1), («id1», 2), («id1», 3), («id1», 4), («id2», 1), («id2», 2), («id2», 3), («id3», 1), («id3», 2)... por Diego Calvo | Ago 30, 2018 | Big data, Scala, Spark
Calcular la media móvil simple (3 periodos) Calcula la media móvil a partir de una ventana temporal de 3 periodos import org.apache.spark.mllib.rdd.RDDFunctions._ val a = List(1,5,6,7,9,10,12,14) val b = sc.parallelize(a) .sliding(3) .map(curSlice =>...
