por Adrian Atienza | Dic 24, 2017 | Python, Spark
Cargar datos # Cargar un dataframe df = sqlContext.read.format(«com.databricks.spark.csv»).options(delimiter=’\t’,header=’true’,inferschema=’true’).load(«/databricks-datasets/power-plant/data») display(df) AT V AP RH PE 14.96 41.76... por Diego Calvo | Nov 24, 2017 | Python, Spark
Datos json usados para el análisis %fs head /databricks-datasets/structured-streaming/events/file-0.json {“time”:1469501107,”action”:”Open”} {“time”:1469501147,”action”:”Open”} {“time”:1469501202,”action”:”Open”} {“time”:1469501219,”action”:”Open”}... por Diego Calvo | Nov 23, 2017 | Python, Spark
Datos json usados para el análisis %fs head /databricks-datasets/structured-streaming/events/file-0.json {«time»:1469501107,»action»:»Open»} {«time»:1469501147,»action»:»Open»} {«time»:1469501202,»action»:»Open»} {«time»:1469501219,»action»:»Open»}... por Diego Calvo | Nov 23, 2017 | Python, Spark
Ordenar los 5 primeros elementos del RDD print (rdd.takeOrdered(5)) [1, 1, 1, 1, 2] Ordenar inversamente los 5 primeros elementos del RDD print(rdd.takeOrdered(5, lambda x: -x)) [4, 3, 3, 2, 2] Ordena todo el RDD y devuelve otro RDD rdd_aux = rdd.sortBy(lambda x: x)... por Diego Calvo | Nov 23, 2017 | Python, Spark
Selecionar una muestra de 5 elementos con repeticion «True» print rdd.takeSample(True, 5) [4, 1, 3, 2, 2] Selecionar datos con repetición con un tamaño de muestra de el doble print (rdd.sample(True, 2).collect()) [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 3,... por Diego Calvo | Nov 23, 2017 | Python, Spark
Ejemplo de función en Spark Python Muestra un ejemplo de función map con spark. def my_func(iterator): yield sum(iterator) list = range(1,10) parallel = sc.parallelize(list, 5) parallel.mapPartitions(my_func).collect() [1, 5, 9, 13,...
