por Diego Calvo | Ago 27, 2018 | Big data, Scala, Spark
Leer Json de cadena de texto Ejemplo simple de lectura de Json a partir de una cadena de texto val events = sc.parallelize( «»» [{«accion»:»create»,»tiempo»:»2018-08-07T00:01:17Z»}, {«accion»:»create»,»tiempo»:»2018-08-07T00:01:17Z»}] «»» :: Nil) val df =... por Diego Calvo | Ago 23, 2018 | Big data, Scala, Spark
Para calcular el tiempo de ejecución basta con medir el tiempo inicial y final. Una vez obtenidos se realiza la resta entre ellos. Calculo de tiempo en nanosegundos val t_ini = System.nanoTime() val realizar_calculos = «Aquí se introduce el bloque que se desea medir... por Diego Calvo | Ago 17, 2018 | Big data, Scala, Spark
En el siguiente post se muestran los pasos a seguir para recrear un ejemplo de regresión lineal en Scala. Definir el conjunto de datos Se define el conjunto de datos sobre el que aplicar el modelo import org.apache.spark.ml.linalg.Vectors val df =... por Diego Calvo | Ago 10, 2018 | Big data, Hadoop, Spark
Escribir datos en HDFS Ejemplo de como escribir datos RDD en un HDFS de Hadoop. // Borrar el fichero si es que existe import scala.sys.process._ «hdfs dfs -rm -r /pruebas» ! // Grabar un RDD en HDFS val rdd = sc.parallelize(List( (0, 60), (0, 56), (0, 54),... por Diego Calvo | Jul 25, 2018 | Bases de Datos
Ejemplos MySQL: Instalar MySQL para RPM Acceso a MySQL: mysql -u root -p Consultar BBDD existentes: show databases; Crear BBDD: create database mibbdd; Consultar tablas: show tables; Crear tabla: CREATE TABLE mitabla ( … ) Insertar datos: INSERT INTO mitabla...
