#Copiar el archivo a hdfs, ejecutar: hdfs dfs -copyFromLocal /home/cloudera/hadoop-book-master/input/ncdc/sample.txt "/user/$(whoami)" #---------------------------------------------------------------------------------- #Ejemplo en java #------------------- #Dentro del directorio /home/cloudera/hadoop-book-master ejecutar en la terminal: export HADOOP_CLASSPATH=hadoop-examples.jar hadoop MaxTemperature sample.txt output #Para ver el archivo de salida, ejecutar: hadoop fs -cat /user/cloudera/output/part-r-00000 #--------------------------------------------------------------------------------- #---------------------------------------------------------------------------------- # Las distintas formas de correr el ejemplo generan la carpeta ouput en hdfs. # Hay que borrar la carpeta si se quiere correr otro ejemplo para que no produzca error. #------------------- # Para borrar la carpeta ejecutar en la terminal: hdfs dfs -rm -r /user/cloudera/output #---------------------------------------------------------------------------------- #---------------------------------------------------------------------------------- #Ejemplo Streaming con Python #------------------- #---------------- #sin combiner #---------------- hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-*.jar -input input/ncdc/sample.txt -output output -mapper /home/cloudera/hadoop-book-master/ch02-mr-intro/src/main/python/max_temperature_map.py -reducer /home/cloudera/hadoop-book-master/ch02-mr-intro/src/main/python/max_temperature_reduce.py #---------------- #usando combiner #---------------- hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-*.jar -input input/ncdc/sample.txt -output output -mapper /home/cloudera/hadoop-book-master/ch02-mr-intro/src/main/python/max_temperature_map.py -combiner /home/cloudera/hadoop-book-master/ch02-mr-intro/src/main/python/max_temperature_reduce.py -reducer /home/cloudera/hadoop-book-master/ch02-mr-intro/src/main/python/max_temperature_reduce.py #----------------------------------------------------------------------------------