Definición de Yarn (Yet Another Resource Negociator)

Yarn es un sistema operativo de datos y gestor de recursos distribuido, conocido también como Hadoop 2 ya que es la evolución de Hadoop Map-Reduce.

Los cambios más significativos de Hadoop 2 sobre Hadoop 1 es que se incluye la tecnología HILO, esta tecnología proporciona una asignación de recursos de manera efectiva, para ello ejecuta dos demonios:

Administrador de recursos o Resource Manager: encargado de la gestión propia de los recursos en sus múltiples nodos.

Maestro de la aplicación o Application Master: encargado de negociar los recursos con el Administrador de Recursos por un lado y con los Gestor de nodos para ejecutar y monitorizar por otro. Existirá una aplicación maestra para cada «job» enviado al clúster.

Arquitectura

Visualizar procesos Yarn

El servicio de Yarn en Cloudera o Hortoworks suele configurarse en el puerto 8088

http://localhost:8088 o http://127.0.0.1:8088

Comandos

Comandos utilizados en el shell de Hortonworks:
Restaurar el servicio:

sudo service ambari-server restart

Visualizar el listado de procesos

yarn application -list -appStates ALL

Nota se puede especificar los procesos por el estado cambiando ALL por: NEW, NEW_SAVING , SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED.

Matar aplicaciones arrancadas

yarn application -kill <id-aplicación>

Ver logs aplicación concreta

yarn logs -applicationId <id-aplicación>

Fuente: Web Oficial

Fuente: Commands