hadoop平台运行WordCount程序(三)

2014-11-24 10:26:44 · 作者: · 浏览: 2
ork
10/09/16 22:49:55 INFO mapred.JobClient: Reduce input groups=11
10/09/16 22:49:55 INFO mapred.JobClient: Combine output records=14
10/09/16 22:49:55 INFO mapred.JobClient: Map input records=4
10/09/16 22:49:55 INFO mapred.JobClient: Reduce output records=11
10/09/16 22:49:55 INFO mapred.JobClient: Map output bytes=118
10/09/16 22:49:55 INFO mapred.JobClient: Map input bytes=62
10/09/16 22:49:55 INFO mapred.JobClient: Combine input records=14
10/09/16 22:49:55 INFO mapred.JobClient: Map output records=14
10/09/16 22:49:55 INFO mapred.JobClient: Reduce input records=14

  6. 查看运行结果


[admin@host WordCount]$ hadoop fs -ls /tmp/output/
Found 2 items
drwxr-x--- - admin admin 0 2010-09-16 22:43 /tmp/output/_logs
-rw-r----- 1 admin admin 102 2010-09-16 22:44 /tmp/output/part-00000
[admin@host WordCount]$ hadoop fs -cat /tmp/output/part-00000
Hello, 1
You 1
are 2
china 1
hello, 1
i 2
love 2
ok 1
ok 1
word 1
you 1


其中可能出现的问题
1:java.io.FileNotFoundException
这个异常是因为目录创建上有问题,于是重新检查了下目录,发现自己弄成/opt/hadoop/tmp/inout。而是/tmp/input
2:org.apache.hadoop.mapred.FileAlreadyExistsException
这个异常主要是因为上一个导致的,因为hadoop 由于进行的是耗费资源的计算,生产的结果默认是不能被覆盖的,因此中间结果输出目录一定不能存在,否则出现这个错误。