por Diego Calvo | Oct 9, 2018 | Big data, Python
Generar datos a utilizar para leer y escribir JSON Ejemplo de datos aleatorios para utilizar en los siguientes apartados data = [] for x in range(5): data.append((random.randint(0,9), random.randint(0,9))) df = spark.createDataFrame(data, («label», «data»)) df.show()... por Diego Calvo | Ago 27, 2018 | Big data, Scala, Spark
Leer Json de cadena de texto Ejemplo simple de lectura de Json a partir de una cadena de texto val events = sc.parallelize( «»» [{«accion»:»create»,»tiempo»:»2018-08-07T00:01:17Z»}, {«accion»:»create»,»tiempo»:»2018-08-07T00:01:17Z»}] «»» :: Nil) val df =... por Diego Calvo | Jul 20, 2018 | Big data, Scala, Spark
Muestra una serie de ejemplos de compresión y descompresión de archivos en diferentes formatos tanto de representación como de compresión. Comprimir archivos Json val rdd = sc.parallelize( Array(1, 2, 3, 4, 5) ) // Definir RDD val df = rdd.toDF() // Transformar a df... por Diego Calvo | Jun 13, 2018 | R
Ejemplo de transformación simple desde cadena de texto Muestra un ejemplo de trasformación de un json a un dataframe utilizando la función fromJSON texto_json <- ‘[{«nombre»:»Paco»,»color»:»Rojo»,»edad»:24,»altura»:182,»peso»:74.8,»puntuacion»:null},...
