一,
ubuntu-14.04.3-desktop-amd64(32位的总是报不能识别系统的jvm等错误)
至少1G内存
相关链接
http://www.tuicool.com/articles/bmeUneM
二,
安装JDK
http://fulndon.iteye.com/blog/2276974
安装ssh和无密码登录
http://blog.csdn.net/hackerwin7/article/details/28109073
使用shell下载
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
tar -zxvf hadoop-2.7.1.tar.gz
三,对hadoop2.7.1/etc/hadoop下的相关配置文件进行配置
一 core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/sijiu/program/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
二 mapred-site.xml.template
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/sijiu/program/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/sijiu/program/hadoop/tmp/dfs/data</value>
</property>
</configuration>
三, 运行
1.初始化HDFS系统
在hadop2.7.1目录下使用如下命令:
bin/hdfs namenode -format
2.开启 NameNode 和 DataNode 守护进程
使用如下命令开启:
sbin/start-dfs.sh,
若启动时报找不到JAVA_HOME的错误,将JAVA_HOME的真实路径替换掉hadoop-env.sh中的${JAVA_HOME}
3.查看进程信息
使用如下命令查看进程信息
jps,正常可以看到namenode,datanode,secondarynamenode,jps四个进程
遇到的问题:查看日志启动正常,但看到的进程不全,解决:重新格式化hdfs,切换到root用户(我曾用root用户启动过)结束hadoop运行
44.查看Web UI
在浏览器中输入 http://机器ip:50070
分享到:
相关推荐
hadoop2.7.1_Snappy64 位编译完成后的软件与编译方法 编译 完成 软件下载地址: http://yunpan.cn/cL3jJa7XEMtHy 访问密码 66de 第 一 步 :编译前环境要求 第 二步:snappy 编译 第 三步:hadoop-snappy 编译 第 四...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
只需要5积分!!!hadoop官网下载的hadoop不能直接在Windows下运行,需要替换部分文件。该压缩包中含有hadoop2.7.1和它在Windows下运行需要替换的文件,分别为bin和etc。
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。
hadoop-2.7.1-64位编译包,本人亲测,绝对有用。
hadoop2.7.1的eclipse插件,编译环境,eclipse 4.4(luna) ,jdk1.7,ant1.9.6,maven3.3,hadoop2.7.1,centos6.7,jdk1.7 要注意的是开发黄金下jdk版本必须是jdk1.7及以上,否则无法使用
hadoop2.7.1的linux下eclipse支持插件。已经经过检查,安装后在eclipse下,可以正常上传,下载,删除hdfs文件,以及跑mapreduce程序。 编译环境:ant1.9.6 jdk1.8 hadoop2.7.1
eclipse hadoop2.7.1 plugin 配置,包括操作步骤说明,eclipse hadoop2.7.1的插件,还有hadoop.dll和winutils.exe等文件。
Hadoop2.7.1中文文档
hadoop2.7.1平台搭建
Hadoop安装教程_单机_伪分布式配置
Spark所需的hadoop2.7.1相关资源 hadoop2.7.1版本的hadoop.dll,winutils.exe 适用Spark2.0.0+版本
hadoop2.7.1版本的hadoop.dll,winutils.exe hadoop2.7.1版本的hadoop.dll,winutils.exe
本人用7个多小时成功编译 hadoop 2.7.1 64位编译包(JDK1.8 64),由于文件太大,分3卷压缩。 hadoop 2.7.1 相对于2.7.0修复了上百个Bug,是可用于生产环境的版本了。
hadoop2.7.1 windows 64位 相关 dll文件
在网上下了好多2.6版本的hadoop.dll,但是都不好使,昨天有个好心网友给我发了一份,实际测试通过。开发环境是64位win7+hadoop2.7.1+redhat版本的linux。
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04_给力星追逐内心的平和首页 (http://www.powerxing.
Hadoop-2.7.1-Windows-64-binaries, 预先编译,非官方的Hadoop 2.7.1的Win64二进制文件 用于 Windows 64位 平台的 2.7.1二进制文件这是针对 Windows 64位 平台的非官方预先编译的Apache Hadoop 2.7.1. 这里的tar.gz ...
Windows 7 or 10 eclipse hadoop2.7.1 配置需要文件和工具
针对问题: hadoop2.7.1下运行org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 解决办法: 1:解压该文件 2:将hadoop.dll复制到C:\Window\System32下 3:添加环境变量HADOOP_HOME...