HDFS的主要架构/特点/应用场景

HDFS(HadoopDistribu     te   dFileSystem),是一个适合运行在通用硬件(commodityhardware)上的分布式文件系统,是Hadoop的核心子项目,是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS),是GFS的一个简化和开源版本。

HDFS的主要架构

 HDFS的主要架构/特点/应用场景_设计制作_RF/无线

HDFSClient(客户端):从NameNode获取文件的位置信息,再从DataNode读取或者写入数据。此外,client在数据存储时,负责文件的分割;

NameNode(元数据节点):管理名称空间、数据块(Block)映射信息、配置副本策略、处理客户端读写请求;

DataNode(存储节点):负责执行实际的读写操作,存储实际的数据块,同一个数据块会被存储在多个DataNode上

SecondaryNameNode:定期合并元数据,推送给NameNode,在紧急情况下,可辅助NameNode的HA恢复。

HDFS的特点(VsGFS)

分块更大,每个数据块默认128MB;

不支持并发,同一时刻只允许一个写入者或追加者;

过程一致性,写入数据的传输顺序与最终写入顺序一致;

MasterHA,2.X版本支持两个NameNode,(分别处于Ac  TI ve和Standby状态),故障切换时间一般几十秒到数分钟

HDFS适合的应用场景:

适用于大文件、     大数据   处理,处理数据达到GB、TB、甚至PB级别的数据。

适合流式文件访问,一次写入,多次读取。

文件一旦写入不能修改,只能追加。

HDFS不适合的场景:

低延时数据访问。

小文件存储

并发写入、文件随机修改
责任编辑人:CC

32
180
0
42

相关资讯

  1. 1、《新葵花宝典》60级副本日月栈道东方不败华丽出场4013
  2. 2、《群雄崛起》三国归来不删档公告天下4706
  3. 3、《十字召唤师》安卓首测27日震撼来临最燃格斗来挑战4369
  4. 4、《汤姆猫跑酷》圣诞新版本今日上线3832
  5. 5、《天天皮卡丘》张优与歪歪秀身材为夺最优秀训练师4191
  6. 6、本周新游开测第二十六弹狂暴每周一1011
  7. 7、耳朵要怀孕《苍之纪元》手游首批声优解禁4997
  8. 8、《仙剑奇侠传五》时光荏苒仙剑一直都在身边706
  9. 9、传说中的这三种玩家《烈焰龙城》你知道嘛4684
  10. 10、《激流快艇3》多维度PVE玩法飙艇场面太激情1590
全部评论(0)
我也有话说
0
收藏
点赞
顶部