一、core-site.xml
hadoop用户为fulndon:fulndon namenode结点为master
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/fulndon/hadoop-2.7.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.fulndon.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.fulndon.groups</name>
<value>*</value>
</property>
二、hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/fulndon/hadoop-2.7.1/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/fulndon/hadoop-2.7.1/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
三、mapred-site.xml.template
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
四、yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
五、向hadoop-env.sh和yarn-env.sh中追加jdk路径
// echo export JAVA_HOME=$JAVA_HOME >> yarn-env.sh
echo export JAVA_HOME=$JAVA_HOME | tee -a yarn-env.sh -a hadoop-env.sh
分享到:
相关推荐
hadoop 2.7.1 hdfs-over-ftp http://yunpan.cn/cHaQvV4UdLxX3 访问密码 f09f
Hadoop-2.7.1-Windows-64-binaries, 预先编译,非官方的Hadoop 2.7.1的Win64二进制文件 用于 Windows 64位 平台的 2.7.1二进制文件这是针对 Windows 64位 平台的非官方预先编译的Apache Hadoop 2.7.1. 这里的tar.gz ...
hadoop-common-2.7.1需要的工具包,其中包括hadoop.dll,winutils.exe
hadoop-common-2.7.1-bin-master-master.zip, 用于Hadoop的bin目录下没有winutils.exe文件时
hadoop-mapreduce-examples-2.7.1.jar
hadoop-eclipse-plugin-2.7.1.jar插件,直接放在eclipse插件目录中
hadoop2.7.1平台搭建
非常详细的centos7.0下Hadoop2.7.1集群搭建教程,内附自己的解决办法和提示
hadoop-common-2.7.1-bin-maste,资源真的找来很久很久,在机器上测试了下可行的。
大数据hadoop安装伪分布式成熟虚拟机镜像,只需改本地虚拟网卡ip地址为192.168.6.1,网关192.168.6.2即可
赠送Maven依赖信息文件:hadoop-mapreduce-client-jobclient-2.6.5.pom; 包含翻译后的API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop...
hadoop-eclipse-plugin-2.7.1的jar包,在eclipse中使用hadoop插件。
赠送Maven依赖信息文件:hadoop-mapreduce-client-common-2.6.5.pom; 包含翻译后的API文档:hadoop-mapreduce-client-common-2.6.5-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:...
hadoop2.7.1 winUtils 。如果本机操作系统是 Windows,在程序中使用了 Hadoop 相关的东西,比如写入文件到HDFS,则会遇到如下异常:could not locate executable null\bin\winutils.exe ,使用这个包,设置一个 ...
hadoop-2.7.1.tar.gz做大数据处理,分布式计算的,安装在linux服务器上。
赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom; 包含翻译后的API文档:hadoop-yarn-client-2.6.5-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-yarn-client:2.6.5; 标签:...
hadoop-eclipse2.7.1、hadoop-eclipse2.7.2、hadoop-eclipse2.7.3