por Diego Calvo | Jul 24, 2018 | Big data, Hadoop
Ejemplos de NIFI Grabar en ficheros datos generados aleatoreamente. Transformar un fichero CSV en uno JSON. Grabar en ficheros datos generados aleatoreamente Genera secuencias de datos y las almacena en ficheros de una carpeta definida. Prerequisitos Tener... por Diego Calvo | Jul 4, 2018 | Big data, Hadoop
Prerequisitos Tener instalado Hortonworks (Virtual Box) para Spark Visionar el ejemplo de Hola Mundo. Configurar ficheros productora/consumidor kafka Copiar ficheros de configuración para pruebas Desde la linea de comandos acceder la carpeta donde se guardan... por Diego Calvo | Jun 27, 2018 | Big data, Spark
Definición de Kafka Apache Kafka es un sistema de intermediación de mensajes basado en el modelo publicador/suscriptor. Se considera un sistema persistente, escalable, replicado y tolerante a fallos. A estas características se añade la velocidad de lecturas y... por Diego Calvo | Jun 25, 2018 | Big data, Scala, Spark
Ejemplo: mostrar elementos de RDD – collect() Convierte un RDD en un array para que pueda ser mostrado por pantalla var rdd = sc.parallelize(1 to 10, 2) rdd.collect() res: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) por Diego Calvo | Jun 20, 2018 | Big data
Map: Función que transforma un conjunto de datos a un número de pares clave/valor o key/value. Reduce: Función combina los valores (con la misma clave) en un mismo resultado.
