怎样在本地搭建hadoop测试环境

发布网友 发布时间：2022-04-22 07:53

我来回答

共2个回答

懂视网 时间：2022-05-05 12:41

首先要下载mongo-hadoop adapter git clone https://github.com/mongodb/mongo-hadoop.git git checkout release-1.0 然后进入mongo-hadoop目录，找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示： hadoopRelease in ThisBuild := "0.20" 然后运

首先要下载mongo-hadoop adapter

git clone https://github.com/mongodb/mongo-hadoop.git

git checkout release-1.0

然后进入mongo-hadoop目录，找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示：

hadoopRelease in ThisBuild := "0.20"

然后运行 ./sbt package(关于sbt https://github.com/harrah/xsbt/wiki)

运行时需要才行。

运行结束之后会再core/target目录下生成一个jar文件mongo-hadoop-core_0.20.205.0-1.0.1.jar，服务器，然后下载mongodb的驱动包。

然后修改mongo-treasury_yield.xml文件中mongodb的url和存放collection

mongo.input.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.in



mongo.output.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.out

然后修改TreasuryYieldXMLConfig.java如下：

Configuration.addDefaultResource( "resources/mongo-treasury_yield.xml");
Configuration.addDefaultResource( "resources/mongo-defaults.xml" );

后将项目打包成jar文件。

运行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可运行hadoop程序。运行结果如下图：mongodb中的数据。

热心网友 时间：2022-05-05 09:49

namenode节点配置
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs测试环境配置
conf/hdfs-site.xml: 数据块不需要冗余
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
job-tracker配置
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
免密码ssh登录配置

$ ssh localhost
# 若不行, 则进行以下配置
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

初始化HDFS, 启动hadoop

$ bin/hadoop namenode -format
$ bin/start-all.sh
# 所有运行日志都在 ${HADOOP_LOG_DIR} 目录, (默认是 ${HADOOP_HOME}/logs).