Hdfs 读数据流程
那 Hdfs 读数据流程你了解吗?
- 客户端通过
Distributed FileSystem
向NameNode
请求下载文件,NameNode
通过查询元数据,找到文件块所在的DataNode
地址。 - 挑选一台
DataNode
(就近原则,然后随机)服务器,请求读取数据。 DataNode
开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet
为单位来做校验)。- 客户端以
Packet
为单位接收,先在本地缓存,然后写入目标文件。
参考链接
那 Hdfs 读数据流程你了解吗?
Distributed FileSystem
向 NameNode
请求下载文件,NameNode
通过查询元数据,找到文件块所在的 DataNode
地址。DataNode
(就近原则,然后随机)服务器,请求读取数据。DataNode
开始传输数据给客户端(从磁盘里面读取数据输入流,以 Packet
为单位来做校验)。Packet
为单位接收,先在本地缓存,然后写入目标文件。参考链接