第六步，Hadoop必要设置
所有设置文件在hadoop/conf目录下
1、hadoop-env.sh 找到 #export JAVA_HOME 去掉注释#，并设置实际jdk路径
2、core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://hadoopmaster:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
3、mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>hadoopmaster:9001</value>
</property>
4、hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5、文件masters 和 文件slaves， 单机写 localhost 即可
第七步，启动Hadoop
格式化Hadoop的HDFS文件系统
hadoop namenode -format
执行Hadoop启动脚本，如果是集群的话在master上执行，其他slave节点Hadoop会通过ssh执行：
start-all.sh
执行命令 jps 如果显示有： Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker等五个进程表示启动成功了！
第八步，集群的配置
所有其他单机的安装跟上面相同，下面只增加集群的额外配置！
最好先配置好一台单机，其他的可以通过scp直接复制，路径也最好相同包括java！
本例的主机列表（设置hosts）：
设置ssh，让master能够不要密码登录到其他slaves上，主要用来启动slaves
复制hadoopmaster下id_rsa.pub到子结点：
scp ./ssh/id_rsa.pub hadoopnode1:/home/hadoop/.ssh/id_master
scp ./ssh/id_rsa.pub hadoopnode2:/home/hadoop/.ssh/id_master
分别在子结点~/.ssh/目录下执行：
cat ./id_master >> authorized_keys
masters文件，添加作为secondarynamenode或namenode的主机名,一行一个。
集群写master名如：hadoopmaster
slaves文件，添加作为slave的主机名，一行一个。
集群写子结点名：如 hadoopnode1、hadoopnode2
Hadoop管理
hadoop启动后会启动一个任务管理服务和一个文件系统管理服务，是两个基于JETTY的WEB服务，所以可在线通过WEB的方式查看运行情况。
任务管理服务运行在50030端口，如 http://127.0.0.1:50030文件系统管理服务运行在50070端口。
参数说明：
1、dfs.name.dir：是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
