por Diego Calvo | Sep 3, 2018 | Big data, Scala, Spark
Ejemplo: Agrupar elementos Contar el número de personas que comparten el mismo apellido. val df = Seq( («Paco»,»Garcia»,24,24000), («Juan»,»Garcia»,26,27000), («Lola»,»Martin»,29,31000), («Sara»,»Garcia»,35,34000) ).toDF(«nombre», «apellido»,»edad»,»salario»)... por Diego Calvo | Ago 31, 2018 | Big data, Scala, Spark
Ejemplo: Contar datos Contar las personas que sean mayores de 30 años val df = Seq( («Paco»,»Garcia»,24,24000), («Juan»,»Garcia»,26,27000), («Lola»,»Martin»,29,31000), («Sara»,»Garcia»,35,34000) ).toDF(«nombre», «apellido»,»edad»,»salario»)... por Diego Calvo | Ago 30, 2018 | Big data, Scala, Spark
Añadir columna de unos Se suele añadir una coñumna de unos para en posteriores operaciones de reduce realizar recuentos por agrupación. val df = Seq( («id1», 1), («id1», 2), («id1», 3), («id1», 4), («id2», 1), («id2», 2), («id2», 3), («id3», 1), («id3», 2)... por Diego Calvo | Ago 30, 2018 | Big data, Scala, Spark
Cálculo de media móvil en Dataframe Scala Calcula la media móvil a partir de una ventana temporal de 3 periodos import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions._ val df = sc.parallelize( List((«Sensor1», «2016-05-01», 50.00),... por Diego Calvo | Ago 27, 2018 | Big data, Scala, Spark
Filtrar de datos con like Ejemplo que realiza un filtrado para seleccionar las personas que su apellido contiene «Garc» y cuya edad es menor de 30. val df = sc.parallelize(Seq( («Paco»,»Garcia»,24,24000,»2018-08-06 00:00:00″),...
