por Diego Calvo | Nov 23, 2018 | Big data, Scala
Ejemplo de regresión lineal sobre segmentos de datos Realiza diferentes regresiones de datos tomando como grupo para segmentar la clave formado por el identificador y el tipo import org.apache.spark.ml.Pipeline import org.apache.spark.ml.feature.VectorAssembler import... por Diego Calvo | Nov 8, 2018 | Scala
Transformar fecha dada en segundos a tipo Fecha y hora import java.time.{LocalDateTime, ZoneOffset} val offset = ZoneOffset.UTC val mydate = LocalDateTime.ofEpochSecond(1541113018, 0, offset) print(mydate) 2018-11-01T22:56:58 Transformar fecha dada en segundos a tipo... por Diego Calvo | Oct 31, 2018 | Big data, Scala
Prerequisitos Tener configurado la paquetería de Spark para IntelliJ IDEA Tener un Elastic con Searchguard instalado Incluir en el fichero pon la paquetería propia de Elastic: <!– https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20... por Diego Calvo | Oct 28, 2018 | Big data, Spark
Prerequisitos Tener configurado la paquetería de Spark para IntelliJ IDEA Incluir en el fichero pon la paquetería propia de Elastic: <!– https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20 –> <dependency>... por Diego Calvo | Sep 6, 2018 | Big data, Scala, Spark
Prerequisitos Limpiar todos los hdfs generados, utilizando la linea de comandos hdfs dfs -rm -r /streaming hdfs dfs -mkdir /streaming hdfs dfs -ls /streaming Generar datos usados para iniciar el análisis Se genera una serie de datos en formato json que se almacenan en...
