详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

配置yarn-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml 

<configuration> 
<!-- Site specific YARN configuration properties --> 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration> 

（4）关机重启系统。

四、测试Hadoop是否安装并配置成功。

（1）验证Hadoop单机模式安装完成

hadoop version 

能够显示Hadoop的版本号即可说明单机模式已经配置完成。

（2）启动hdfs使用为分布模式。

格式化namenode

hdfs namenode -format 

有 "……has been successfully formatted" 等字样出现即说明格式化成功。注意：每次格式化都会生成一个namenode对应的ID，多次格式化之后，如果不改变datanode对应的ID号，运行wordcount向input中上传文件时会失败。

启动hdfs

start-all.sh 

显示进程

jps 

在浏览器中输入http://localhost:50070/，出现如下页面

输入 http://localhost:8088/，出现如下页面

则说明伪分布安装配置成功了。

停止hdfs

stop-all.sh 

五、运行wordcount

（1）启动hdfs。

start-all.sh 

（2）查看hdfs底下包含的文件目录

hadoop dfs -ls / 

如果是第一次运行hdfs，则什么都不会显示。