Prerequisitos

• Tener instalado Hortonworks (Virtual Box) para Spark
• Visionar el ejemplo de Hola Mundo.

Configurar ficheros productora/consumidor kafka

Copiar ficheros de configuración para pruebas

Desde la linea de comandos acceder la carpeta donde se guardan los ficheros de configuracion

cd /usr/hdp/current/kafka-broker/conf

ls

connect-console-sink.properties    kafka_client_jaas.conf                           
connect-console-source.properties  kafka-env.sh                                     
connect-distributed.properties     log4j.properties                                 
connect-file-sink.properties       producer.properties                              
connect-file-source.properties     server.properties                                
connect-log4j.properties           test-log4j.properties                            
connect-standalone.properties      tools-log4j.properties                           
consumer.properties                zookeeper.properties

Copiar los ficheros originales para realizar pruebas

cp connect-standalone.properties ~/
cp connect-file-source.properties ~/
cp connect-file-sink.properties ~/

Acceder a la carpeta de ficheros copiados

cd ~

Configurar fichero: connect-standalone.properties

Abrir el fichero: connect-standalone.properties

vi connect-standalone.properties

Modificar del extrato mostrado, con lo marcado en negrita

# These are defaults. This file just demonstrates how to override some settings.
bootstrap.servers= sandbox.hortonworks.com:6667

Configurar fichero productor: connect-source.properties

Abrir el fichero productor: connect-source.properties

vi connect-file-source.properties

Modificar del extrato mostrado lo marcado en negrita

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file= ~/input.txt  
topic=test

Configurar fichero consumidor: connect-sink.properties

Abrir el fichero consumidor: connect-file-sink.properties

vi connect-file-sink.properties

Modificar del extrato mostrado lo marcado en negrita

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=~/output.txt
topics=test

Definir topic

./kafka-topics.sh --create --zookeeper sandbox.hortonworks.com:2181 --replication-factor 1 --partitions 1 --topic test

Ejecutar configuración definida

Acceder a la carpeta de los ejecutables

/usr/hdp/current/kafka-broker/bin/

Ejecutar el comando que arranca las configuraciones definidas

./connect-standalone.sh ~/connect-standalone.properties ~/connect-file-source.properties ~/connect-file-sink.properties