Hadoop的框架最中心的设想便是：HDFS战MapReduce.HDFS为海量的数据供给了存储，则MapReduce为海量的数据供给了计较.
年夜数据正在Hadoop处置的流程能够参照上面简朴的图去停止了解：数据是经由过程了Hadoop的散群处置后获得的成果。
HDFS:Hadoop Distributed File System,Hadoop的散布式文件体系.
年夜文件被分红默许64M一块的数据块散布存储正在散群机械中.以下图中的文件 data1被分红3块,那3块以冗余镜像的方法散布正在差别的机械中.
MapReduce:Hadoop为每个input split创立一个task挪用Map计较，正在此task中顺次处置此split中的一个个记载(record),map会将成果以key--value 的情势输出,hadoop卖力按key值将map的输出收拾整顿后做为Reduce的输进,Reduce Task的输出为全部job的输出，保留正在HDFS上.
Hadoop的散群次要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker构成.以下图所示:
NameNode中记载了文件是怎样被拆分红block和那些block皆存储到了那些DateNode节面.NameNode同时保留了文件体系运转的形态疑息. DataNode中存储的是被拆分的blocks.Secondary NameNode协助NameNode搜集文件体系运转的形态疑息.JobTracker当有使命提交到Hadoop散群的时分卖力Job的运转,卖力调理多个TaskTracker.TaskTracker卖力某一个map大概reduce使命.
-
word怎么调整行距
2023-03-10
0万阅读
-
Windows自动启动程序的十大藏身之所
2023-03-03
0万阅读
-
安全狗服云怎么删除离线服务器
2023-03-03
0万阅读
-
爱思助手怎么制作铃声 iphone怎么制作铃声
2023-02-28
0万阅读
-
刷机精灵2.0.4新增支持周杰伦手机 有奖活动进行中
2023-02-27
0万阅读
-
Docker的应用场景和优点
2023-02-22
1万阅读
-
微软AI暴露主观意识：会示爱、会PUA甚至威胁人类
2023-02-17
4万阅读
-
省级农信再下一城，神州数码中标广西农信数据脱敏项目
2023-02-15
3万阅读
-
360云盘上传速度慢怎么办 360云盘上传速度慢解决方法
2023-02-12
9万阅读
-
如何取得弹出式广告的地址
2023-02-09
7万阅读
-
word怎么调整行距
2023-03-10
0万阅读
-
Windows自动启动程序的十大藏身之所
2023-03-03
0万阅读
-
安全狗服云怎么删除离线服务器
2023-03-03
0万阅读
-
爱思助手怎么制作铃声 iphone怎么制作铃声
2023-02-28
0万阅读
-
刷机精灵2.0.4新增支持周杰伦手机 有奖活动进行中
2023-02-27
0万阅读
-
Docker的应用场景和优点
2023-02-22
1万阅读
-
微软AI暴露主观意识：会示爱、会PUA甚至威胁人类
2023-02-17
4万阅读
-
省级农信再下一城，神州数码中标广西农信数据脱敏项目
2023-02-15
3万阅读
-
360云盘上传速度慢怎么办 360云盘上传速度慢解决方法
2023-02-12
9万阅读
-
如何取得弹出式广告的地址
2023-02-09
7万阅读