前言
本文主要介绍了关于ubantu 16.4 Hadoop完全分布式搭建的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧
一个虚拟机
1.以 NAT网卡模式 装载虚拟机
2.最好将几个用到的虚拟机修改主机名，静态IP /etc/network/interface，这里 是 s101 s102 s103 三台主机 ubantu，改/etc/hostname文件
3.安装ssh
在第一台主机那里s101 创建公私密匙
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
>cd .ssh
>cp id_rsa.pub >authorized_keys 创建密匙库
将id_rsa.pub传到其他主机上，到.ssh目录下
通过 服务端 nc -l 8888 >~/.ssh/authorized_keys
客户端 nc s102 8888 <id_rsa.pub
开始安装Hadoop/jdk
1、安装VM-tools 方便从win 10 拖拉文件到ubantu
2、创建目录 /soft
3、改变组 chown ubantu:ubantu /soft 方便传输文件有权限
4、将文件放入到/soft （可以从桌面cp/mv src dst）
tar -zxvf jdk或hadoop 自动创建解压目录
配置安装环境 （/etc/environment）
1.添加 JAVA_HOME=/soft/jdk-...jdk目录
2.添加 HADOOP_HOME=/soft/hadoop（Hadoop目录）
3.在path里面加/soft/jdk-...jdk/bin:/soft/hadoop/bin/:/soft/hadoop/sbin
4.通过 java -version 查看有版本号 成功
5.hadoop version 有版本号 成功
开始配置HDFS四大文件 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
core-site.xml
| <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://s101:9000</value> </property> </configuration> |
2.hdfs-site.xml
| <configuration> <!-- Configurations for NameNode: --> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/data/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/data/hdfs/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>s101:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>s101:50070</value> <description> The address and the base port where the dfs namenode web ui will listen on. If the port is 0 then the server will start on a free port. </description> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:/data/hdfs/checkpoint</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:/data/hdfs/edits</value> </property> </configuration> |
