ITKeyword,专注技术干货聚合推荐

注册 | 登录

(二)hue与HDFS、YARN集成配置与测试

xuxudede1989 分享于 2015-12-22

2019阿里云全部产品优惠券(新购或升级都可以使用,强烈推荐)
领取地址https://promotion.aliyun.com/ntms/yunparter/invite.html

1、安装环境

  • hadoop2.5.0
  • centOS6.4
  • jdk7
  • hue3.7.0

2、hadoop配置

2.1、配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<!-- historyserver configue start-->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<!-- historyserver configue end-->

<!-- hue configure start -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<!-- hue configure end -->

2.2、配置core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://xuxudede.com:9000</value>
</property>

<!-- hue configure start-->
<property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
</property>
<!-- hue configure end-->

2.3、配置yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>xuxudede.com</value>
</property>

<!-- historyserver############ -->
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>106800</value> 
</property> 
<!-- historyserver############ -->

2.4、配置httpfs-site.xml

<configuration>

    <!-- hue configure start-->
    <property>
        <name>httpfs.proxyuser.hue.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>httpfs.proxyuser.hue.groups</name>
        <value>*</value>
    </property>
    <!-- hue configure end-->

</configuration>

3、hue配置

hue的配置位于HUE_HOME/desktop/conf下的hue.ini文件

3.1、配置【hdfs_clusters】

# Enter the filesystem uri
fs_defaultfs=hdfs://xuxudede.com:9000

# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
webhdfs_url=http://xuxudede.com:50070/webhdfs/v1

# This is the home of your Hadoop HDFS installation
hadoop_hdfs_home=xuxudede.com

# Use this as the HDFS Hadoop launcher script
hadoop_bin=xuxudede.com

# Directory of the Hadoop configuration
hadoop_conf_dir=/home/xusy/share/cdh5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop

3.2、配置【yarn_clusters】

# Enter the host on which you are running the ResourceManager
resourcemanager_host=xuxudede.com

# The port where the ResourceManager IPC listens on
resourcemanager_port=8032

# Whether to submit jobs to this cluster
submit_to=True

# URL of the ResourceManager API
resourcemanager_api_url=http://xuxudede.com:8088

# URL of the ProxyServer API
proxy_api_url=http://xuxudede.com:8088

# URL of the HistoryServer API
history_server_api_url=http://xuxudede.com:19888

4、重启hadoop进程

命令如下:

sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/hadoop-daemon.sh  stop datanode 
sbin/hadoop-daemon.sh  stop namenode 

sbin/hadoop-daemon.sh  start namenode
sbin/hadoop-daemon.sh  start datanode
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/yarn-daemon.sh start resourcemanager  
sbin/yarn-daemon.sh start nodemanager

5、启动hue

到hue根目录下,执行

build/env/bin/supervisor 

如下图:
启动hue

6、HDFS测试

进入HDFS如下图:
进入hdfs

6.1、文件操作

文件一般操作,重命名,改权限等
注意:需要选中某一个文件才能对其进行操作,不用敲命令也可以达到修改文件的效果,非常棒!

6.2、删除文件

删除文件,放进垃圾桶

6.3、还原已经删除的文件

进入垃圾桶
还原垃圾桶中的文件

6.4、上传文件

上传宿主机文件
上传文件
上传文件成功
上传linux系统上的文件的话,需要安装samba服务器,将linux文件系统映射到宿主机。

另外,还可以对文件进行创建等等的操作,集成了hadoop成功后自己对进行操作测试。

7、mapreduce测试

查看job页面如下图所示:
查看mapreduce job
当前只有一个运行成功的job,可以选择查看“正在运行”、“失败”等的job。

8、查看日志、计数器等

点击id查看此作业:
查看该id的作业
任务查询:
任务查询
标准输出日志:
标准输出日志
标准错误日志:
标准错误日志
系统日志:
系统日志

1、安装环境 hadoop2.5.0 centOS6.4 jdk7 hue3.7.0 2、hadoop配置 2.1、配置hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value></property><!-- historyserve

相关阅读排行


用户评论

游客

相关内容推荐

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。