• 欢迎关注微信公众号:九万里大数据
  • 请使用Ctrl+D收藏本站到书签栏
  • 手机也可访问本站 jwldata.com

2021年05月的内容

大数据技术

HDFS SecondaryNameNode的原理和作用

HDFS SecondaryNameNode的原理和作用
NameNode与fsimage、edits文件NameNode(简称NN)负责管理和保存HDFS中所有的元数据,包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。当NameNode在运行时,元数据都是保存在内存中,以保证响应时间。元数据同时也会持久化到磁盘,dfs.namenode.name.dir参数指定了元数据的磁盘保存路径。N……继续阅读 »

九万里大数据 1年前 (2021-05-21) 908浏览 0评论5个赞

大数据技术

搞懂HDFS体系架构这一篇就够了

搞懂HDFS体系架构这一篇就够了
Hadoop Distributed File System (HDFS)是一种分布式文件系统,具有高容错性,可运行在廉价的硬件上,具有高吞吐量,特别适合存放大规模数据集。HDFS实际架构非常复杂,今天通过一篇文章来浓缩最关键的几个点,结合图和源码等理解HDFS体系架构。系统设计目标硬件故障具有硬件故障检测能力,可自动快速恢复。流式数据访问高数据……继续阅读 »

九万里大数据 1年前 (2021-05-10) 594浏览 0评论0个赞