Linux中Centos7搭建Hadoop服务步骤

配置下一个文件mapred-site.xml 因为这个文件默认不存在 我们把mapred-site.xml.template作为模板来配置

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在<configuration></configuration>中添加以下内容

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

配置下下个文件yarn-site.xml

vim yarn-site.xml

在<configuration></configuration>中添加以下内容

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

配置最后一个文件yarn-env.sh

vim yarn-env.sh

注意：在第23行左右 export JAVA_HOME （删除# 去掉注释），并更改正确jdk的路径

格式化namenode

cd /usr/local/hadoop bin/hdfs namenode-format

注意：成功的话，会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若为 “Exitting with status 1” 则是出错了

通过脚本启动hdfs

sbin/start-dfs.sh

打开浏览器访问http://localhost:50070，验证是否hdfs配置成功

再来启动yarn

sbin/start-yarn.sh

打开浏览器访问http://localhost:8088，验证yarn是否配置成功

注意：由于浏览器存在缓存问题 打开地址可能会失败关闭浏览器 重新打开一两次就好，如果还是失败 检查配置文件是否有误

查看已启动的hadoop进程

jps

注意：如果没有 NameNode 或 DataNode ，那就是配置不成功

您可能感兴趣的文章:

基于Hadoop实现Knn算法ubantu 16.4下Hadoop完全分布式搭建实战教程Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进ubuntu docker搭建Hadoop集群环境的方法在CentOS中搭建Hadoop的详细步骤hadoop的wordcount实例代码Java/Web调用Hadoop进行MapReduce示例代码Hadoop多Job并行处理的实例详解hadoop重新格式化HDFS步骤解析Hadoop计数器的应用以及数据清洗