ubantu 16.4下Hadoop完全分布式搭建实战教程

2019-01-16 21:03:56于丽

3.  mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

4.yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>s101</value> </property> </configuration>

到此成功一半。。。。。。。。。。。。。。

创建文件夹

mkdir /data/hdfs/tmp mkdir /data/hdfs/var mkdir /data/hdfs/logs mkdir /data/hdfs/dfs mkdir /data/hdfs/data mkdir /data/hdfs/name mkdir /data/hdfs/checkpoint mkdir /data/hdfs/edits

记得将目录权限修改

sudo chown ubantu:ubantu /data

接下来传输 /soft文件夹到其他主机

创建 xsync可执行文件

sudo touch xsync

sudo chmod 777 xsync   权限变成可执行文件

sudo  nano xsync 

#!/bin/bash pcount=$# if((pcount<1));then echo no args; exit; fi p1=$1; fname=`basename $p1` pdir=`cd -P $(dirname $p1);pwd` cuser=`whoami` for((host=102 ; host<105 ;host=host+1));do echo --------s$host-------- rsync -rvl $pdir/$fname $cuser@s$host:$pdir done

xsync /soft-------->就会传文件夹到其他主机

xsync /data

创建  xcall 向其他主机传命令

#!/bin/bash pcount=$# if((pcount<1));then echo no args; exit; fi echo --------localhost-------- $@ for ((host=102;host<105;host=host+1));do echo --------$shost-------- ssh s$host $@ done

别着急  快结束了  哈

还得配置 workers问价

将需要配置成数据节点(DataNode)的主机名放入其中,一行一个

注意重点来了

先格式化    hadoop -namenode -format

再 启动   start-all.sh

查看进程   xcall  jps

进入网页 


是不是很想牛泪,成功了耶!!!

中间出现了很多问题 

  1, rsync 权限不够   :删除文件夹   更改文件夹权限chown

  2.学会看日志  log

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对易采站长站的支持。