hadoop 运行wordcount 需要多久
发布网友
发布时间：2022-04-21 17:59
共1个回答
热心网友
时间：2022-04-12 18:48
hadoop fs -mkdir /input
在HDFS中创建input文件目录
hadoop fs -put LICENSE.txt /input
我当前在hadoop的目录下，有个LICENSE.txt的文件，把它放到hdfs的input目录下面
hadoop fs -ls /input
查看文件是否正确传入到/input目录下
hadoop fs -cat /input/LICENSE.txt查看文件内容
执行：hadoop jar hadoop-maprece-examples-2.7.1.jar wordcount /input /output
或者绝对路径：
hadoop jar /home/yy/hadoop-2.7.1/share/hadoop/maprece/hadoop-maprece-examples-2.7.1.jar wordcount /input /output
按我前面的配置会卡在maprece.Job: Running job
在etc/hadoop/mapred-site.xml中，如果配置
<property>
<name>maprece.framework.name</name>
<value>yarn</value>
</property>
则使用yarn来进行计算，那么必须启动nodemanager,
如果不使用yarn,进行maprece.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：
<property>
<name>maprece.job.tracker</name>
<value>hdfs://192.168.1.51:8001</value>
<final>true</final>
<property>
修改后可以正常运行，看到这个就成功了
hadoop fs -ls /output
查看输出结果的目录
hadoop fs -cat /output/part-r-00000
查看输出结果
结果就是对LICENSE.txt文件中单词进行计数统计了，到这就运行完成了。
这时你就可以把这个example导入了eclipse中去试试啦。
