por Diego Calvo | Jul 20, 2018 | Big data, Scala, Spark
Crear listas Ejemplos donde se definen las listas a utilizar en el resto de los apartados del post val list1 = 1::2::3::4::5::Nil val list2 = List(1,2,3,4,5) val list3 = List.range(1,6) val list4 = List.range(1,6,2) val list5 = List.fill(5)(1) val list6 =... por Diego Calvo | Jul 20, 2018 | Big data, Scala, Spark
Muestra una serie de ejemplos de compresión y descompresión de archivos en diferentes formatos tanto de representación como de compresión. Comprimir archivos Json val rdd = sc.parallelize( Array(1, 2, 3, 4, 5) ) // Definir RDD val df = rdd.toDF() // Transformar a df... por Diego Calvo | Jul 13, 2018 | Big data, Scala, Spark
Leer RDDs Ejemplo de lectura de RDDs en Scala val rdd2 = sc.textFile(«hdfs:///mitabla_hdfs/») rdd2.collect() res: Array[String] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9) Escribir RDDs Ejemplo de escritura de RDDs en Scala val rdd =... por Diego Calvo | Jun 27, 2018 | Spark
Definición de RDD RDD (Resilient Distributed Datasets o Conjuntos distribuidos y flexibles de datos), representa una colección inmutable y particionada de elementos sobre los que se puede operar de forma paralela. Un RDD se puede crear o bien paralelizando una... por Diego Calvo | Jun 27, 2018 | Big data, Hadoop, Spark
Definición de Zookeeper Zookeeper proporciona un servicio para la coordinación de procesos distribuidos altamente confiable, con el fin de dar solución a problemas de coordinación para grandes sistemas distribuidos. Servicios proporcionados por Zookeeper: Compartir... por Diego Calvo | Jun 27, 2018 | Big data, Spark
Definición de Kafka Apache Kafka es un sistema de intermediación de mensajes basado en el modelo publicador/suscriptor. Se considera un sistema persistente, escalable, replicado y tolerante a fallos. A estas características se añade la velocidad de lecturas y...
