HDFS 核心原理与实战:分布式文件系统、读写流水线与高可用

本文聚焦分布式文件系统本身。HDFS 是博客已写的 Kafka/Spark/Flink/HBase/Hive/Doris/Iceberg 共同依赖的”地基”,但它与消息、计算、OLAP 是不同层——文中只点它们如何在 HDFS 上落地,不再复述各自内部原理。读前请知悉。

一、为什么需要分布式文件系统

单机文件系统(ext4、NTFS、APFS)在大数据时代会撞上三道墙:

  1. 容量墙:单盘再大也就几十 TB,且无法横向叠加。
  2. 吞吐墙:单盘 IOPS/带宽有限,几百个任务同时扫数据直接打满。
  3. 可靠墙:磁盘坏了就是数据永久丢失,RAID 也只能挡一块盘。

解决思路不是”买更大的盘”,而是把一堆廉价机器的磁盘聚合成一个统一命名空间,对外看起来像一块”无限大、永不丢”的盘——这就是 HDFS(Hadoop Distributed File System)的出发点。

HDFS 的设计哲学可以浓缩成一句话:为”一次写入、多次读取”的大文件而生,用”分块 + 多副本”换吞吐与可靠性,牺牲低延迟随机写和海量小文件的效率。

维度 HDFS 本地文件系统 云对象存储(S3/OSS)
元数据 集中(NameNode) 分散在各盘 集中(KV 元数据)
文件大小 大文件(GB~TB)友好 任意 任意
写入模型 追加写、不支持随机改 随机读写 对象级覆盖/追加
吞吐 极高(顺序流) 中 高
延迟 高(百 ms 级) 低 中高
小文件 不友好 友好 友好

HDFS 不适合做什么?低延迟的随机读写(比如数据库)、海量小文件(每张照片几 KB)、频繁修改已有内容。它适合的是”把 TB 级日志/数据顺序落盘,然后被上百个计算任务并行扫”的场景。

二、整体架构:NameNode、DataNode 与块

HDFS 是典型主从(Master/Slave)架构:

  • NameNode(NN):集群的”大脑”,只管元数据(文件名、目录树、每个文件由哪些块组成、每块存在哪些 DataNode 上),不存真实数据。
  • DataNode(DN):真正存数据块的工人,每台机器上一个,负责块的读写、校验、定期汇报。
  • Secondary NameNode(SNN):常被误解为”热备”,其实它是帮 NN 合并元数据 checkpoint 的辅助进程,不参与服务,主 NN 挂了它顶不上。

核心概念——块(Block):HDFS 把文件切成固定大小的块,默认 128MB(老版本 64MB)。为什么这么大?

1
2
3
4
假设块大小 128MB,集群 100 台机器各 1 个 DN:
- 一个 1TB 的文件 → 拆成 8192 个块 → 分散在集群上并行读写
- 块越大:寻址开销(定位块)占比越小,顺序吞吐越高
- 块越小:单块并行度受限,且 NN 要记的块数爆炸(内存压力)

副本(replication)默认 3 份:同一个块会存到 3 个不同 DN 上,任一机器宕机数据都还在。这个”3”是可靠性与存储成本(3 倍空间)的折中。

元数据与数据分离是 HDFS 的灵魂:NN 内存里只放”目录树 + 块映射”,数据本身在 DN 磁盘上。因此一个 1PB 的集群,NN 内存可能只需几 GB——前提是别塞海量小文件(后面第八节细说)。

三、数据块与副本放置策略

副本往哪放,决定了”既抗故障又省跨机架带宽”。HDFS 默认开启机架感知(Rack Awareness),经典三副本放置规则:

1
2
3
4
第 1 副本:客户端所在节点(若客户端不在集群内,则随机选一个不太忙、磁盘不太满的节点)
第 2 副本:与第 1 副本【不同机架】的节点上
第 3 副本:与第 2 副本【同机架、不同节点】
(更多副本:随机散到剩余节点,但同机架不超过上限)

这样设计的好处:

  • 挂一个节点:丢 1 副本,数据仍在。
  • 挂一整个机架(交换机故障/断电):第 1、3 副本可能同机架一起没,但第 2 副本在另一机架,数据依然可用。
  • 读数据时:优先读同机架副本,省跨机架带宽。

副本一致性靠两个机制维持:

  • 心跳(Heartbeat):DN 每 3 秒向 NN 报到,超时(默认 10 分钟)NN 判定该 DN 死亡。
  • 块汇报(Block Report):DN 定期把”我这儿有哪些块、各块大小/校验和”全量上报 NN,NN 据此知道每块现有副本数是否达标。

四、写流程:流水线复制

客户端写一个大文件时,HDFS 在内部走一条流水线(pipeline):

1
2
3
4
5
6
7
8
9
1. 客户端向 NameNode 申请:要在 /data/logs/bigfile 写数据,NN 检查权限与空间,
返回"可用的 DataNode 列表"(按机架感知挑好的 3 个 DN)。
2. 客户端与这 3 个 DN 建立 pipeline(A → B → C 的链式连接)。
3. 客户端把文件流切成 packet(默认 64KB 一个),逐个发往 A。
4. A 收到 packet:写入本地磁盘 + 转发给 B;B 写本地 + 转发给 C。
5. C 写完回一个 ack,沿原路反向传回(C→B→A→客户端)。
只有收到 ack,这个 packet 才算"3 副本都落盘成功"。
6. 一个块写满 128MB(或文件结束),客户端关闭 pipeline,NN 提交该块(记元数据)。
7. 下一个块重复 1~6,直到整个文件写完。

这里有个关键设计叫租约(Lease):NN 把文件的”写锁”租给当前客户端一段时间,期间别的客户端不能来写,避免并发写乱套;客户端定期续租,写完释放。这也是为什么 HDFS 是”单写者、多读者”模型。

写流程的几个要点:

  • 流水线复制让网络开销从”客户端发 3 份”降为”发 1 份 + DN 间链式转发”,带宽利用率高。
  • packet 级 ack 保证三副本强一致,不会出现”只写了 2 份就算成功”。
  • 不支持随机修改:文件一旦写完就不可变(immutable),要改只能重写——这是为简单和一致牺牲的代价。

五、读流程:就近读取

读比写简单,核心是就近 + 校验:

1
2
3
4
5
1. 客户端向 NameNode 请求 /data/logs/bigfile 的块位置列表。
2. NN 返回每个块的副本所在 DN(按"距离"排序:同节点 > 同机架 > 同机房 > 跨机房)。
3. 客户端挑最近的那个 DN,直接建立连接,流式读取块数据(不经过 NN,NN 不扛数据流量)。
4. 每读一段就校验 crc 校验和:若发现数据损坏,立刻换另一个副本的 DN 重读同一段。
5. 一个块读完,取下一块最近的 DN,直到文件结束。

注意第 3 步:读数据完全绕过 NameNode,NN 只提供”块在哪些机器上”这张地图。这正是 HDFS 能扛高并发读的原因——数据流量分散在成百上千个 DN 上。

六、NameNode 元数据与高可用

6.1 NN 的元数据怎么存

NN 内存里维护整棵目录树 + 块映射表,但它不能只放内存(一重启就没了),所以落盘成两类文件:

  • FsImage:某一时刻元数据的完整快照(类似全量备份)。
  • EditLog:FsImage 之后的增量操作日志(新建/删除/追加块等,类似 binlog)。

启动时:加载 FsImage + 回放 EditLog = 恢复最新元数据。但 EditLog 会无限增长,所以 Secondary NameNode 定期把”旧 FsImage + 期间 EditLog”合并成新 FsImage(checkpoint),掐掉旧日志——这就是 SNN 的真正作用,它不是备份 NN。

6.2 单点问题 → HDFS HA

早期 NN 是单点:它挂了整个集群不可写也不可读。现代 HDFS 用 HA(High Availability) 解决:

1
2
3
4
5
              ┌─────────────── 共享存储(QJM / JournalNode 集群)──────────────┐
│ 存 EditLog,Active 写、Standby 实时读回放 │
ZKFC(A)──监控──► Active NameNode ──────── 实时同步 edits ───────► Standby NameNode
│ │ │
ZKFC(B)──监控── └────────── ZK 选举,谁活谁当 Active ──────────┘
  • QJM(Quorum Journal Manager):一组 JournalNode 用”多数派”存 EditLog,Active 写成功需过半 JN 确认,Standby 实时读并回放,保证两者元数据几乎一致。
  • ZKFC(ZK Failover Controller):常驻进程,通过 ZooKeeper 做健康监测和故障转移选举。
  • Fencing(隔离):切换时万一旧 Active 假死还在写,必须把它”踢下线”(重启其进程、封其端口),否则会出现脑裂(split-brain)两个 NN 同时写,数据直接混乱。

HA 里最容易被忽视的是 fencing。很多”切主后数据错乱”的事故,根因就是隔离不彻底——旧 Active 没被真正拦住。生产上 fencing 通常要”ssh 杀进程 + shell 封端口”多重保险。

七、容错机制

HDFS 的”永不丢数据”靠三层容错叠出来:

故障类型 检测方式 HDFS 应对
DataNode 宕机 心跳超时(默认 10min) 标记该 DN 死亡,扫描它上面的块,凡副本数不足的,在其他 DN 上补副本到目标数
磁盘损坏 DN 自检 + 块汇报异常 该盘上的块副本数下降,NN 触发补副本;坏盘下线不影响整体
数据静默损坏 读写时 CRC 校验和比对 读到坏块立即换副本源重读;DN 后台定期 BlockScanner 扫盘自纠
网络分区/脑裂 ZK 选举 + fencing 旧 Active 被隔离,Standby 接管,避免双写

补副本(replication)是个后台异步过程:NN 只负责”记账”发现缺口,真正搬数据的是源 DN 与目的 DN 之间点对点复制,NN 不扛数据流量。

八、小文件之痛与解法

这是 HDFS 最大的”原罪”。回忆第二节:NN 内存放的是”每个文件/目录/块”的元数据,每个对象约 150 字节。那么:

1
2
100 万个 1KB 的小文件 → 100 万个块 → NN 内存 ≈ 150MB(还不含目录树)
1 个 100GB 的大文件 → 800 个块 → NN 内存 ≈ 120KB

同样 100GB 数据,小文件场景让 NN 内存膨胀近万倍。后果:NN 启动慢(要加载全部元数据)、内存吃紧、寻址开销大。

解法按”治本→治标”排列:

  1. 从源头合并:写入时就用 SequenceFile / ORC / Parquet 等容器格式把小记录打包成大块(Hive、Spark 落盘默认就是列式大文件)。
  2. HAR 归档:hadoop archive 把一堆小文件打包成一个 .har 大文件,对 NN 只算一个条目(但读时仍需解包,不能根治)。
  3. HDFS Federation:当单 NN 内存真扛不住,按业务横向拆多个 namespace(多个 NN 各管一片目录),共用同一批 DN。
  4. 旁路存储:真正海量的小文件(图片、附件)放对象存储(OSS/S3)或 Alluxio 缓存层,HDFS 只存大数据块。
  5. CombineFileInputFormat:计算时把多个小文件合并成一个 split 读,缓解”一个文件一个 map”的爆炸。

九、与大数据生态的协同

HDFS 不是孤立的,博客前面写的那些组件,几乎都”踩”在它身上:

  • HBase:RegionServer 把 WAL(写前日志)和 HFile(数据文件)直接落 HDFS,靠 HDFS 的多副本保证不丢。
  • Hive:建表时 LOCATION 指向 HDFS 路径,表数据就是 HDFS 上的一堆文件。
  • Spark / Flink:默认把 HDFS 当分布式存储,流式作业的 checkpoint、状态后端(RocksDB) 都写在 HDFS 上,作业挂了能从这里恢复。
  • Iceberg / Hudi:表格式的事务日志、数据文件也躺在 HDFS(或对象存储)上。

那么 HDFS 和云对象存储(S3/OSS)到底怎么选?

维度 HDFS 云对象存储
一致性 强一致(写即见) 通常最终一致(读写可能短暂不一)
计算亲和 与 YARN/Spark 同机房,本地读极快 跨网络,需走公网/专线,有流量费
成本模型 机器一次性投入,运维重 按量付费,弹性好,运维轻
POSIX 类 POSIX(可追加) 对象级,无目录树语义
适用 自有 IDC、重计算、大数据本地化 云上、弹性、冷热分层、对外服务

趋势是”存算分离“:计算用云上弹性集群,存储用对象存储,HDFS 更多退居”集群内高性能层”或干脆被对象存储取代。但凡涉及”计算和数据在同一批机器上就近跑”的高性能批处理,HDFS 仍有不可替代的低延迟优势。

十、生产调优与避坑清单

  1. 块大小别盲目改:默认 128MB 适合大文件批处理;若业务真有大量中等文件,可上调到 256MB 减轻 NN 压力,但过小会削弱并行度。
  2. 副本数按需分级:核心数据 3 副本,冷数据可降到 2 甚至 1(配合 EC 纠删码更省空间,见下条)。
  3. 冷数据用纠删码(Erasure Coding):EC 把”3 倍空间”降到约 1.5 倍,还能容忍多盘同时坏,适合温冷数据,但重建 CPU 开销大,热数据慎用。
  4. NN 内存要留余量:按”文件/块数 × 150B”提前算容量,别等 OOM 才扩容;开启 Storage Policy 做冷热分层。
  5. HA 必须配 fencing:只上 ZK 选举不上隔离,迟早脑裂;fencing 用”ssh 杀进程 + 端口封禁”双保险。
  6. JournalNode 要奇数台且跨故障域:QJM 靠多数派,3/5 台且分散在不同机架,避免一起挂。
  7. 小文件是头号杀手:规范写入用列式/容器格式合并,别让 NN 被百万小文件拖垮。
  8. DataNode 磁盘别单盘:多盘 JBOD 挂载,HDFS 会自动均衡;单盘故障只丢该盘副本,NN 补副本即可,别上 RAID(反而拖慢)。
  9. 读放大要监控:客户端读时频繁”换源重读”说明有坏块或网络抖,盯 CorruptBlocks、MissingBlocks 指标。
  10. 权限与 Kerberos:生产集群务必开 Kerberos 认证 + Ranger/Sentry 授权,裸奔的 HDFS 一旦暴露内网就是数据裸奔。

系列回顾:HDFS 是博客大数据系列的”存储底座”。往上是消息层《Kafka 核心原理与实战》《Apache Pulsar 核心原理与实战》、批计算《Spark 核心原理与实战》《Hive 离线数仓核心实战》、流计算《Flink 核心原理与实战》、NoSQL 存储《HBase 核心原理与实战》、检索《Elasticsearch 核心实战》、OLAP《ClickHouse 实战》《Apache Doris 实时数仓核心实战》、表格式《Apache Iceberg 数据湖核心实战》、协调《ZooKeeper 核心原理与实战》。理解 HDFS,是把整条”采集—存储—计算—服务”链路串起来的关键一环。