Instalar Hortonworks (Virtual Box) para Spark

por | May 30, 2018 | Big data, Spark | 0 Comentarios

Descarga

Instalación

Instalar primeramente Virtual box y una vez instalado ir a la máquina virtual de hortonworks y ejecutarla, con ello aparecerá una instalación de esta máquina en virtual box.

Configurar las características de la máquina, comentar que mínimamente necesita 8Gb de RAM.

 

Configuración Hortonworks

Una vez la máquina este arrancada nos saldrá un http en el shell indicando la ruta web para acceder. Ejemplo http://127.0.0.1:8888

Nota: en la versión HDP 2.6.5 la ruta es http://127.0.0.1:8080

hortonworks cargado

Al acceder al navegador obtendremos siguiente web.

hortonworks interface inicialUna vez aquí podemos acceder directamente a «NEW TO HDP» con user/pass = raj_ops/raj_ops o bien «ADVANCED HDP» y en cada uno de los servicios se puede ver el usuario y clave por defecto.

 

Configuración de interprete (Python o Scala)

Entrar en Zeppelin (http://127.0.0.1:8080) y en la parte superior derecha hay un icono de configuración para configurar los intérpretes.

Una vez allí modificar la ruta de Python para que el sistema sea capaz de encontrarlo.

 

Utilización con Zeppelin

Zeppelin proporciona un notebook (tipo Jupiter) donde podemos ejecutar nuestro código en diferentes lenguajes, basta con indicar en la primera linea el interprete a utilizar:

%spark2 => para scala
%spark2.pyspark => para python

Nota: Cambiar el password del administrador de Ambari

0 comentarios

Enviar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *