HDFS 核心原理与实战:分布式文件系统、读写流水线与高可用

HDFS 核心原理与实战:分布式文件系统、读写流水线与高可用
神经蛙本文聚焦分布式文件系统本身。HDFS 是博客已写的 Kafka/Spark/Flink/HBase/Hive/Doris/Iceberg 共同依赖的”地基”,但它与消息、计算、OLAP 是不同层——文中只点它们如何在 HDFS 上落地,不再复述各自内部原理。读前请知悉。
一、为什么需要分布式文件系统
单机文件系统(ext4、NTFS、APFS)在大数据时代会撞上三道墙:
- 容量墙:单盘再大也就几十 TB,且无法横向叠加。
- 吞吐墙:单盘 IOPS/带宽有限,几百个任务同时扫数据直接打满。
- 可靠墙:磁盘坏了就是数据永久丢失,RAID 也只能挡一块盘。
解决思路不是”买更大的盘”,而是把一堆廉价机器的磁盘聚合成一个统一命名空间,对外看起来像一块”无限大、永不丢”的盘——这就是 HDFS(Hadoop Distributed File System)的出发点。
HDFS 的设计哲学可以浓缩成一句话:为”一次写入、多次读取”的大文件而生,用”分块 + 多副本”换吞吐与可靠性,牺牲低延迟随机写和海量小文件的效率。
| 维度 | HDFS | 本地文件系统 | 云对象存储(S3/OSS) |
|---|---|---|---|
| 元数据 | 集中(NameNode) | 分散在各盘 | 集中(KV 元数据) |
| 文件大小 | 大文件(GB~TB)友好 | 任意 | 任意 |
| 写入模型 | 追加写、不支持随机改 | 随机读写 | 对象级覆盖/追加 |
| 吞吐 | 极高(顺序流) | 中 | 高 |
| 延迟 | 高(百 ms 级) | 低 | 中高 |
| 小文件 | 不友好 | 友好 | 友好 |
HDFS 不适合做什么?低延迟的随机读写(比如数据库)、海量小文件(每张照片几 KB)、频繁修改已有内容。它适合的是”把 TB 级日志/数据顺序落盘,然后被上百个计算任务并行扫”的场景。
二、整体架构:NameNode、DataNode 与块
HDFS 是典型主从(Master/Slave)架构:
- NameNode(NN):集群的”大脑”,只管元数据(文件名、目录树、每个文件由哪些块组成、每块存在哪些 DataNode 上),不存真实数据。
- DataNode(DN):真正存数据块的工人,每台机器上一个,负责块的读写、校验、定期汇报。
- Secondary NameNode(SNN):常被误解为”热备”,其实它是帮 NN 合并元数据 checkpoint 的辅助进程,不参与服务,主 NN 挂了它顶不上。
核心概念——块(Block):HDFS 把文件切成固定大小的块,默认 128MB(老版本 64MB)。为什么这么大?
1 | 假设块大小 128MB,集群 100 台机器各 1 个 DN: |
副本(replication)默认 3 份:同一个块会存到 3 个不同 DN 上,任一机器宕机数据都还在。这个”3”是可靠性与存储成本(3 倍空间)的折中。
元数据与数据分离是 HDFS 的灵魂:NN 内存里只放”目录树 + 块映射”,数据本身在 DN 磁盘上。因此一个 1PB 的集群,NN 内存可能只需几 GB——前提是别塞海量小文件(后面第八节细说)。
三、数据块与副本放置策略
副本往哪放,决定了”既抗故障又省跨机架带宽”。HDFS 默认开启机架感知(Rack Awareness),经典三副本放置规则:
1 | 第 1 副本:客户端所在节点(若客户端不在集群内,则随机选一个不太忙、磁盘不太满的节点) |
这样设计的好处:
- 挂一个节点:丢 1 副本,数据仍在。
- 挂一整个机架(交换机故障/断电):第 1、3 副本可能同机架一起没,但第 2 副本在另一机架,数据依然可用。
- 读数据时:优先读同机架副本,省跨机架带宽。
副本一致性靠两个机制维持:
- 心跳(Heartbeat):DN 每 3 秒向 NN 报到,超时(默认 10 分钟)NN 判定该 DN 死亡。
- 块汇报(Block Report):DN 定期把”我这儿有哪些块、各块大小/校验和”全量上报 NN,NN 据此知道每块现有副本数是否达标。
四、写流程:流水线复制
客户端写一个大文件时,HDFS 在内部走一条流水线(pipeline):
1 | 1. 客户端向 NameNode 申请:要在 /data/logs/bigfile 写数据,NN 检查权限与空间, |
这里有个关键设计叫租约(Lease):NN 把文件的”写锁”租给当前客户端一段时间,期间别的客户端不能来写,避免并发写乱套;客户端定期续租,写完释放。这也是为什么 HDFS 是”单写者、多读者”模型。
写流程的几个要点:
- 流水线复制让网络开销从”客户端发 3 份”降为”发 1 份 + DN 间链式转发”,带宽利用率高。
- packet 级 ack 保证三副本强一致,不会出现”只写了 2 份就算成功”。
- 不支持随机修改:文件一旦写完就不可变(immutable),要改只能重写——这是为简单和一致牺牲的代价。
五、读流程:就近读取
读比写简单,核心是就近 + 校验:
1 | 1. 客户端向 NameNode 请求 /data/logs/bigfile 的块位置列表。 |
注意第 3 步:读数据完全绕过 NameNode,NN 只提供”块在哪些机器上”这张地图。这正是 HDFS 能扛高并发读的原因——数据流量分散在成百上千个 DN 上。
六、NameNode 元数据与高可用
6.1 NN 的元数据怎么存
NN 内存里维护整棵目录树 + 块映射表,但它不能只放内存(一重启就没了),所以落盘成两类文件:
- FsImage:某一时刻元数据的完整快照(类似全量备份)。
- EditLog:FsImage 之后的增量操作日志(新建/删除/追加块等,类似 binlog)。
启动时:加载 FsImage + 回放 EditLog = 恢复最新元数据。但 EditLog 会无限增长,所以 Secondary NameNode 定期把”旧 FsImage + 期间 EditLog”合并成新 FsImage(checkpoint),掐掉旧日志——这就是 SNN 的真正作用,它不是备份 NN。
6.2 单点问题 → HDFS HA
早期 NN 是单点:它挂了整个集群不可写也不可读。现代 HDFS 用 HA(High Availability) 解决:
1 | ┌─────────────── 共享存储(QJM / JournalNode 集群)──────────────┐ |
- QJM(Quorum Journal Manager):一组 JournalNode 用”多数派”存 EditLog,Active 写成功需过半 JN 确认,Standby 实时读并回放,保证两者元数据几乎一致。
- ZKFC(ZK Failover Controller):常驻进程,通过 ZooKeeper 做健康监测和故障转移选举。
- Fencing(隔离):切换时万一旧 Active 假死还在写,必须把它”踢下线”(重启其进程、封其端口),否则会出现脑裂(split-brain)两个 NN 同时写,数据直接混乱。
HA 里最容易被忽视的是 fencing。很多”切主后数据错乱”的事故,根因就是隔离不彻底——旧 Active 没被真正拦住。生产上 fencing 通常要”ssh 杀进程 + shell 封端口”多重保险。
七、容错机制
HDFS 的”永不丢数据”靠三层容错叠出来:
| 故障类型 | 检测方式 | HDFS 应对 |
|---|---|---|
| DataNode 宕机 | 心跳超时(默认 10min) | 标记该 DN 死亡,扫描它上面的块,凡副本数不足的,在其他 DN 上补副本到目标数 |
| 磁盘损坏 | DN 自检 + 块汇报异常 | 该盘上的块副本数下降,NN 触发补副本;坏盘下线不影响整体 |
| 数据静默损坏 | 读写时 CRC 校验和比对 | 读到坏块立即换副本源重读;DN 后台定期 BlockScanner 扫盘自纠 |
| 网络分区/脑裂 | ZK 选举 + fencing | 旧 Active 被隔离,Standby 接管,避免双写 |
补副本(replication)是个后台异步过程:NN 只负责”记账”发现缺口,真正搬数据的是源 DN 与目的 DN 之间点对点复制,NN 不扛数据流量。
八、小文件之痛与解法
这是 HDFS 最大的”原罪”。回忆第二节:NN 内存放的是”每个文件/目录/块”的元数据,每个对象约 150 字节。那么:
1 | 100 万个 1KB 的小文件 → 100 万个块 → NN 内存 ≈ 150MB(还不含目录树) |
同样 100GB 数据,小文件场景让 NN 内存膨胀近万倍。后果:NN 启动慢(要加载全部元数据)、内存吃紧、寻址开销大。
解法按”治本→治标”排列:
- 从源头合并:写入时就用 SequenceFile / ORC / Parquet 等容器格式把小记录打包成大块(Hive、Spark 落盘默认就是列式大文件)。
- HAR 归档:
hadoop archive把一堆小文件打包成一个.har大文件,对 NN 只算一个条目(但读时仍需解包,不能根治)。 - HDFS Federation:当单 NN 内存真扛不住,按业务横向拆多个 namespace(多个 NN 各管一片目录),共用同一批 DN。
- 旁路存储:真正海量的小文件(图片、附件)放对象存储(OSS/S3)或 Alluxio 缓存层,HDFS 只存大数据块。
- CombineFileInputFormat:计算时把多个小文件合并成一个 split 读,缓解”一个文件一个 map”的爆炸。
九、与大数据生态的协同
HDFS 不是孤立的,博客前面写的那些组件,几乎都”踩”在它身上:
- HBase:RegionServer 把 WAL(写前日志)和 HFile(数据文件)直接落 HDFS,靠 HDFS 的多副本保证不丢。
- Hive:建表时
LOCATION指向 HDFS 路径,表数据就是 HDFS 上的一堆文件。 - Spark / Flink:默认把 HDFS 当分布式存储,流式作业的 checkpoint、状态后端(RocksDB) 都写在 HDFS 上,作业挂了能从这里恢复。
- Iceberg / Hudi:表格式的事务日志、数据文件也躺在 HDFS(或对象存储)上。
那么 HDFS 和云对象存储(S3/OSS)到底怎么选?
| 维度 | HDFS | 云对象存储 |
|---|---|---|
| 一致性 | 强一致(写即见) | 通常最终一致(读写可能短暂不一) |
| 计算亲和 | 与 YARN/Spark 同机房,本地读极快 | 跨网络,需走公网/专线,有流量费 |
| 成本模型 | 机器一次性投入,运维重 | 按量付费,弹性好,运维轻 |
| POSIX | 类 POSIX(可追加) | 对象级,无目录树语义 |
| 适用 | 自有 IDC、重计算、大数据本地化 | 云上、弹性、冷热分层、对外服务 |
趋势是”存算分离“:计算用云上弹性集群,存储用对象存储,HDFS 更多退居”集群内高性能层”或干脆被对象存储取代。但凡涉及”计算和数据在同一批机器上就近跑”的高性能批处理,HDFS 仍有不可替代的低延迟优势。
十、生产调优与避坑清单
- 块大小别盲目改:默认 128MB 适合大文件批处理;若业务真有大量中等文件,可上调到 256MB 减轻 NN 压力,但过小会削弱并行度。
- 副本数按需分级:核心数据 3 副本,冷数据可降到 2 甚至 1(配合 EC 纠删码更省空间,见下条)。
- 冷数据用纠删码(Erasure Coding):EC 把”3 倍空间”降到约 1.5 倍,还能容忍多盘同时坏,适合温冷数据,但重建 CPU 开销大,热数据慎用。
- NN 内存要留余量:按”文件/块数 × 150B”提前算容量,别等 OOM 才扩容;开启
Storage Policy做冷热分层。 - HA 必须配 fencing:只上 ZK 选举不上隔离,迟早脑裂;fencing 用”ssh 杀进程 + 端口封禁”双保险。
- JournalNode 要奇数台且跨故障域:QJM 靠多数派,3/5 台且分散在不同机架,避免一起挂。
- 小文件是头号杀手:规范写入用列式/容器格式合并,别让 NN 被百万小文件拖垮。
- DataNode 磁盘别单盘:多盘 JBOD 挂载,HDFS 会自动均衡;单盘故障只丢该盘副本,NN 补副本即可,别上 RAID(反而拖慢)。
- 读放大要监控:客户端读时频繁”换源重读”说明有坏块或网络抖,盯
CorruptBlocks、MissingBlocks指标。 - 权限与 Kerberos:生产集群务必开 Kerberos 认证 + Ranger/Sentry 授权,裸奔的 HDFS 一旦暴露内网就是数据裸奔。
系列回顾:HDFS 是博客大数据系列的”存储底座”。往上是消息层《Kafka 核心原理与实战》《Apache Pulsar 核心原理与实战》、批计算《Spark 核心原理与实战》《Hive 离线数仓核心实战》、流计算《Flink 核心原理与实战》、NoSQL 存储《HBase 核心原理与实战》、检索《Elasticsearch 核心实战》、OLAP《ClickHouse 实战》《Apache Doris 实时数仓核心实战》、表格式《Apache Iceberg 数据湖核心实战》、协调《ZooKeeper 核心原理与实战》。理解 HDFS,是把整条”采集—存储—计算—服务”链路串起来的关键一环。
















