ITKeyword,专注技术干货聚合推荐

注册 | 登录

linux下从安装JDK到安装ssh到hadoop单机伪分布式部署

ydd326 分享于 2011-10-10

推荐:ubuntu linux分布式hadoop安装

第一步:配置hosts文件 vim /etc/hosts: 127.0.0.1       localhost 192.168.12.123 master 192.168.12.124 hadoop1 192.168.12.125 hadoop2 注意:要在所有的

2019阿里云全部产品优惠券(新购或升级都可以使用,强烈推荐)
领取地址https://promotion.aliyun.com/ntms/yunparter/invite.html

           环境: ubuntu 10.10  JDK1.6.0.27  hadoop 0.20.2

          一. ubuntu 下 JDK 的安装:

1. 下载jdk-6u27-linux-i586.bin

2. 拷贝到/usr/java,设置文件的操作权限

3. $ ./jdk-6u27-linux-i586.bin开始安装

4. 设置环境变量 vi /etc/profile 在文件最后添加

   JAVA_HOME=/usr/Java/jdk1.6.0_27
   PATH=$JAVA_HOME/bin:$PATH
   CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
   export PATH JAVA_HOME CLASSPATH

5. 设置用户安装的JDK为默认JDK,执行

  $ update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_12/bin/java 300
  $ update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_12/bin/javac 300

  $ update-alternatives --config java

6. 输入 java -version 成功安装

二.ubuntu下安装ssh:

1. $ sudo apt-get install openssh-server

2. 启动ssh    /etc/init.d/ssh start

3. $ ps -e | grep ssh 来验证是否启动sshserver

4. 免密码化 

       $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
       $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

三.ubuntu 下安装 hadoop:

1. 下载hadoop-0.20.2.tar.gz,放在/usr/hadoop 下载地址http://apache.etoak.com//hadoop/core/

2.  解压$ tar zxvf hadoop-0.20.2.tar.gz

3. 修改hadoop配置文件

    conf/hadoop-env.sh  修改JAVA_HOME选项:

        export JAVA_HOME=/usr/java/jdk.1.6.0_27

推荐:hadoop完全分布式集群安装

因为机器学习,接触到了数据挖掘;因为数据挖掘,接触到了大数据;因为大数据,接触到了hadoop。之前有过hadoop的简单了解,但都是基于别人提供的hadoop来学习和

4. 伪分布式单机配置

    conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
         <property>
                  <name>fs.default.name</name>
                  <value>hdfs://localhost:9000</value>
        </property>
</configuration>

conf/hdfs-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
         <property>
                  <name>dfs.replication</name>
                   <value>1</value>
         </property>
</configuration>


conf/mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
        <property>
                 <name>mapred.job.tracker</name>
                          <value>localhost:9001</value>
        </property>
</configuration>

5. 创建hdfs文件系统

    $ bin/hadoop namenode -format

6. 启动hadoop    需要先启动ssh  $ /etc/init.d/ssh start

    $ bin/hadoop start-all.sh

7. 在hadoop下创建test目录,然后建立file1.txt file2.txt 写入几个单词;将hadoop/test下的测试文件上传到hadoop 文件系统中

   $ bin/hadoop dfs -put ./test input

8. 运行wordCount例子

    $ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

9. 把结果从dfs上拷贝下来

    $ bin/hadoop dfs -get output output

10. 查看结果

    $ cat output/* 也可以直接查看 $ bin/hadoop dfs -cat output/*

11. 停止hadoop运行

    $ bin/hadoop stop-all.sh

12. 关闭ssh-server

    $  /etc/init.d/ssh stop

推荐:hadoop - hadoop2.6 伪分布式安装和ssh 安装

1.hadoop基本知识    1.1  特点:  扩容能力:能可靠地存储和处理千兆字节的数据;    成本低:可以通过普通机器组成的服务器来分发以及处理数据,这些服务器群

           环境: ubuntu 10.10  JDK1.6.0.27  hadoop 0.20.2           一. ubuntu 下 JDK 的安装: 1. 下载jdk-6u27-linux-i586.bin 2. 拷贝到/usr/java,设置文件的操作权限 3. $ ./jdk-6u2

相关阅读排行


用户评论

游客

相关内容推荐

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。