cvmachine.com - 申博开户网

查找: 您的方位主页 > 网络频道 > 阅览资讯:HDFS架构简述

HDFS架构简述

2019-04-17 08:32:21 来历:www.cvmachine.com 【

HDFS架构简述

一、HDFS简介

HDFS(Hadoop distributed File System):Hadoop分布式文件体系。是依据流数据形式拜访和处理超大文件的需求而开发的,能够运转于廉价的服务器上。它所具有的高容错,高可靠性,高可扩展性,高获得性,高吞吐率等特征为海量数据供给了不怕毛病的存储,为超大数据集的使用带来了许多便当。简略来说便是把一个超大号文件按必定巨细切割并放置在多台服务器上,这样多台服务器一起作业,功率超高,并且安全性也会进步。

二、HDFS组成结构以及各部分效果

HDFS首要由四个部分组成,分别为Client,nameNode、DataNode、以及Secondary NameNode组成。
2.1Client(客户端)
* 文件切分:文件上传HDFS的时分,client依据需求将文件切分红一个一个的小数据块(block),然后进行存储。
* 每个小数据块(block)在其他服务器上都有副本,client会与namenode进行通讯,获取文件及其副本方位,为今后做计划。
* 与DataNode进行通讯,读取或写入数据。
* client能够办理HDFS,比方发动或封闭。

2.2nameNode(办理者)
nameNode在HDFS是办理者的效果,类似于实践国际中的国王位置,客户端和secondary nameNode都是与他进行通讯,然后由他指挥若定来操作DataNode。首要效果有:
* 办理HDFS的称号空间
* 办理数据块(block)映射信息
* 装备副本战略
* 处理客户端恳求

2.3DataNode(履行者)
DataNode在文档中的人物是slave,翻译过来便是奴隶的意思(所以咱们知道他的位置了吧),首要便是存储数据块和读写数据块用的:
* 存储实践的数据块(block)
* 履行数据块的读写操作

2.4secondary nameNode
他是nameNode的死忠,协助nameNode完结一些作业,并且在nameNode要挂的时分给他续命,首要效果如下:
* 定时兼并nameNode中的fsimage(映像文件)和fsedits(日志),并推送给nameNode,防止nameNode中的fsedits过大。
* 在紧迫情况下,可辅佐康复nameNode。

三、副本放置战略

第一个副本:放置在上传文件的DN;如果是集群外提交,则随机选择一台磁盘不太满,CPU不太忙的节点。
第二个副本:放置在于第一个副本不同的 机架的节点上。
第三个副本:与第二个副本相同机架的节点。 更多副本:随机节点

 
 

本文地址:http://www.cvmachine.com/a/question/100396.html
Tags: 架构 简述 hdfs
修改:申博开户网
  • 上一篇:HBASE架构总结
  • 下一篇:Nexus架构Maven私服
  • 关于咱们 | 联络咱们 | 友情链接 | 网站地图 | Sitemap | App | 回来顶部