por Diego Calvo | Ago 30, 2018 | Big data, Scala, Spark
Calcular la media móvil simple (3 periodos) Calcula la media móvil a partir de una ventana temporal de 3 periodos import org.apache.spark.mllib.rdd.RDDFunctions._ val a = List(1,5,6,7,9,10,12,14) val b = sc.parallelize(a) .sliding(3) .map(curSlice =>... por Diego Calvo | Ago 27, 2018 | Big data, Scala, Spark
Filtrar de datos con like Ejemplo que realiza un filtrado para seleccionar las personas que su apellido contiene «Garc» y cuya edad es menor de 30. val df = sc.parallelize(Seq( («Paco»,»Garcia»,24,24000,»2018-08-06 00:00:00″),... por Diego Calvo | Ago 27, 2018 | Big data, Scala, Spark
Leer Json de cadena de texto Ejemplo simple de lectura de Json a partir de una cadena de texto val events = sc.parallelize( «»» [{«accion»:»create»,»tiempo»:»2018-08-07T00:01:17Z»}, {«accion»:»create»,»tiempo»:»2018-08-07T00:01:17Z»}] «»» :: Nil) val df =... por Diego Calvo | Ago 23, 2018 | Big data, Scala, Spark
Para calcular el tiempo de ejecución basta con medir el tiempo inicial y final. Una vez obtenidos se realiza la resta entre ellos. Calculo de tiempo en nanosegundos val t_ini = System.nanoTime() val realizar_calculos = «Aquí se introduce el bloque que se desea medir... por Diego Calvo | Ago 19, 2018 | Big data, Hadoop
Prerequisitos Los prerequisitos para estos ejemplos son los mismos que para el anterior post de Sqoop. En estos ejemplos se crea una base de datos «mibbdd» y una tabla con valores introducidos «mitabla» y otra tabla vacía «mitabla2». Ejemplo de Carga de datos... por Diego Calvo | Ago 17, 2018 | Big data, Scala, Spark
En el siguiente post se muestran los pasos a seguir para recrear un ejemplo de regresión lineal en Scala. Definir el conjunto de datos Se define el conjunto de datos sobre el que aplicar el modelo import org.apache.spark.ml.linalg.Vectors val df =...
