por Diego Calvo | Oct 11, 2018 | Big data, Trucos
Cambiar el password de forma simple Para cambiar el password de forma simple en hortonworks, basta con: Acceder por SSH Acceder por ssh a la máquina, por defecto las credenciales son: (usuario: root, clave: hadoop) Para ello se puede usar WinSCP, Firecilla, Putty,... por Diego Calvo | Oct 10, 2018 | Big data, Python
Generar datos a utilizar para leer y escribir en formato Parquet Ejemplo de datos aleatorios para utilizar en los siguientes apartados data = [] for x in range(5): data.append((random.randint(0,9), random.randint(0,9))) df = spark.createDataFrame(data, («label»,... por Diego Calvo | Oct 9, 2018 | Big data, Python
Generar datos a utilizar para leer y escribir JSON Ejemplo de datos aleatorios para utilizar en los siguientes apartados data = [] for x in range(5): data.append((random.randint(0,9), random.randint(0,9))) df = spark.createDataFrame(data, («label», «data»)) df.show()... por Fernando Campos | Sep 26, 2018 | Big data, Hadoop, Scala, Spark
En este post vamos a mostrar la manera de invocar un SparkSession para escribir un fichero en disco mediante hfds. Para ello toma como punto de partida el post Mi primera Apache Spark con Scala con Maven en Intelligent Idea. En el paquete com.fer.cam se crea una... por Diego Calvo | Sep 20, 2018 | Big data, Python, Spark
Ejemplo de Regresión lineal simple en Python Spark Se muestra un ejemplo de regresión lineal simple sobre un conjunto de datos que se genera de forma aleatoria. Entra regresión se ejecuta sobre una sesión de Spark utilizando la librería propia de Spark para machine... por Diego Calvo | Sep 17, 2018 | Big data, Scala, Spark
Ejemplo en Scala Spark de multiplicar por dos un vector En este ejemplo se muestran los pasos a seguir para crear un proyecto spark en Scala y ejecutarlo como un trabajo en el sistema distribuido Crear proyecto Entrar en el entorno de desarrollo IntelliJ Idea y crear...
