ITKeyword,专注技术干货聚合推荐

注册 | 登录

本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅

yaoxiaochuang 分享于 2015-07-20

推荐:Hadoop学习四:hadoop分布式环境搭建

Hadoop学习四:hadoop分布式环境搭建 标签(空格分隔): hadoop Hadoop学习四hadoop分布式环境搭建 一环境准备 二分布式环境搭建针对克隆 三角色分配 四安装配置

2019阿里云全部产品优惠券(新购或升级都可以使用,强烈推荐)
领取地址https://promotion.aliyun.com/ntms/yunparter/invite.html

1、准备软件

  64位下载包下载:      hadoop-2.4.0-64bit.tar.gz
百度网盘: 链接: http://pan.baidu.com/s/1hqEDe2S 密码: 224f 链接: http://pan.baidu.com/s/1gdl95OB 密码: h6dc

2、安装JDK

直接执行安装命令:sudo apt-get install openjdk-7-jdk

3、安装Hadoop

3.1上传hadoop压缩文件

通过之前配置的FlashFXP直接将文件上传到Ubuntu上

3.2解压hadoop文件

sudo tar -xzvf /tmp/hadoop-2.4.0-64bit.tar.gz

3.3配置hadoop文档

文档1:sudo vi profile(注意,这里说的etc不是hadoop文件夹下的那个,是用户根目录下的。在末尾添加: )
export JAVA_HOME=/usr/lib/jvm/ java-1.7.0-openjdk-amd64 export HADOOP_PREFIX=/home/YXC/hadoop-2.4.0 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH" export HADOOP_PREFIX PATH CLASSPATH
文档2: hadoop-env.sh 进入hadoop2.4.0文件夹,配置etc/hadoop中的文件
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
文档3:core-site.xml
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/home/YXC/hadoop-2.4.0/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/home/YXC/hadoop-2.4.0/dfs/data</value>
     </property>
</configuration>

文档4: hdfs-site.xml(系统默认文件保存3份,

推荐:hadoop+zookeeper+hbase分布式环境配置之zookeeper分布式环境搭建

1.hadoop最新版安装 省略此处可参考我的博客自行搭建 192.168.1.252 master namenode secondarynamenode resourcemanager 192.168.1.251 slave1 DataNode NodeMa

因伪分布模式,故改为1份)
<configuration>
  <property>
      <name>dfs.replication</name>  
      <value>1</value>  
      <description>Default block replicied when the file is created. The default </description>  
  </property>  
  <property>
      <name>dfs.namenode.name.dir</name>
      <value>/home/YXC/hadoop-2.4.0/dfs/name</value>
  <property>
  <property>
      <name>dfs.namenode.data.dir</name>
      <value>/home/YXC/hadoop-2.4.0/dfs/data</value>
  <property>
<configuration>

文档5:mapred-site.xml (注意修改文件后缀: sudo mv mapred-site.xml.template mapred-site.xml )
<configuration>
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>localhost:9001</value>
  </property>
</configuration>

文档6:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

4、SSH免密码登录

      之前已经配置,不再赘述。
ssh localhost 要是能免密码登陆显示系统信息,就应该是对的。(这里有个输入密码环节,是系统的密码)。

5、开始终极配置

5.1到hadoop2.4.0目录下

./bin/hadoop namenode –format格式化结点信息 如果出现  HADOOP_HDFS_HOME not found! 关掉虚拟机重启即可。

5.2开始sbin/start-all.sh.

执行 jps 则出现:

表明成功! 浏览器下http://ip:50070 这是hdfs的页面!




推荐:在oracle Virtual Box 虚拟机中搭建hadoop1.2.1完全分布式环境

一、初衷 对于学习Hadoop的我来将,没有足够的硬件设备,但又想安装完全分布式的Hadoop,一个master两个slave。手上就一台能联网的笔记本,那就使用oracle vitua

1、准备软件   64位下载包下载:      hadoop-2.4.0-64bit.tar.gz 百度网盘: 链接: http://pan.baidu.com/s/1hqEDe2S 密码: 224f 链接: http://pan.baidu.com/s/1gdl95OB 密码: h6dc 2、安装JD

相关阅读排行


用户评论

游客

相关内容推荐

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。