当前位置:首页 > 教育 >

hdfs读取步骤(hdfs读取文件步骤)

来源:原点资讯(www.yd166.com)时间:2023-06-19 08:24:02作者:YD166手机阅读>>

总流程

数据读取请求是由HDFS、NameNode、DataNode共同来完成服务的。下图描述了Hadoop中的文件读取操作。

hdfs读取步骤,hdfs读取文件步骤(1)

步骤
  1. 客户端通过调用FileSystem对象的open()方法发起读取请求,它的分布式实现类型是DistributedFileSystem,其负责终端用户代码与Hadoop分布式文件系统交互。
  2. 这个对象使用RPC连接到Namenode,并获取元数据信息,例如文件的块的位置。
  3. 为了响应这个元数据请求,将返回具有该块副本的DataNodes的地址。
  4. 一旦接收到DataNode的地址,就会返回一个FSDataInputStream类型的对象给客户端。FSDataInputStream包含DFSInputStream,它负责处理与DataNode和NameNode的交互。在上图中的步骤4中,客户端调用read()方法,使DFSInputStream与第一个DataNode建立连接,并与文件的第一个数据块建立连接。
  5. 数据以流的形式被读取,客户端反复调用read()方法。这个read()操作的过程一直持续到把块数据读取完。
  6. 一旦一个块数据读取完毕,DFSInputStream就会关闭连接,并继续寻找下一个区块的下一个DataNode。
  7. 一旦客户端完成了读取,它就会调用一个close()方法。

栏目热文

hdfs系统架构的读写流程(简述hdfs系统架构及读写流程)

hdfs系统架构的读写流程(简述hdfs系统架构及读写流程)

导读:HDFS(Hadoop Distributed File System)是一种分布式文件系统,可运行在廉价的硬件上...

2023-06-19 08:16:03查看全文 >>

hdfs的操作原理(简述hdfs的基本原理)

hdfs的操作原理(简述hdfs的基本原理)

HDFS概述HDFS是一个分布式的文件系统。用于存储文件,通过统一的命名空间——目录树来定位文件。优点高容错性:数据自动...

2023-06-19 08:19:02查看全文 >>

倩女幽魂手游囤货(倩女幽魂手游怎么买银子)

倩女幽魂手游囤货(倩女幽魂手游怎么买银子)

倩女幽魂手游怎么搬砖?游戏中土豪靠充钱就可以获得强大的实力,平民玩家就只能靠搬砖来慢慢进行人物养成。下面我便为大家带来倩...

2023-06-19 08:24:02查看全文 >>

倩女幽魂手游怎么出大货(倩女幽魂手游新手买什么)

倩女幽魂手游怎么出大货(倩女幽魂手游新手买什么)

倩女幽魂手游的玩家数量适中,需求也不算太大,但是每周四都会开新区,开服频繁,自然而然换区也很频繁。因此,这个游戏有两种主...

2023-06-19 08:49:17查看全文 >>

倩女幽魂手游囤货指南(倩女幽魂手游充值折扣平台)

倩女幽魂手游囤货指南(倩女幽魂手游充值折扣平台)

谈谈本人操作搬了3个多月的倩女幽魂手游桌面版,浅谈一点自己经验,不喜勿喷,请各位大佬手下留情。。。。。首先,我自己最开始...

2023-06-19 08:45:52查看全文 >>

常用hdfs操作(hdfs操作流程)

常用hdfs操作(hdfs操作流程)

基本语法bin/hadoopfs具体命令 或者 bin/hdfs dfs 具体命令 dfs是fs的实现类。常用命令实操1...

2023-06-19 08:40:41查看全文 >>

简答hdfs数据读取和写入的流程(hdfs写数据流程通俗易懂)

简答hdfs数据读取和写入的流程(hdfs写数据流程通俗易懂)

一.HDFS读流程(文件下载)为了降低整体的带宽消耗和读取延时,HDFS会尽量让读取程序读取离它最近的副本。如果在读取程...

2023-06-19 08:44:23查看全文 >>

hdfs读写步骤(描述HDFS读写过程)

hdfs读写步骤(描述HDFS读写过程)

概述HDFS(Hadoop Distributed File System)是GFS的开源实现。HDFS的优缺点1、优点...

2023-06-19 08:43:17查看全文 >>

hdfs适合什么读写任务(hdfs适合的读写操作)

hdfs适合什么读写任务(hdfs适合的读写操作)

深入探究HDFS:高可靠、高可扩展、高吞吐量的分布式文件系统在当今数据时代,数据的存储和处理已经成为了各行各业的一个关键...

2023-06-19 08:38:34查看全文 >>

hdfs操作实例(hdfs基本操作实践)

hdfs操作实例(hdfs基本操作实践)

1、启动HDFS:2、WebConsole访问:端口:500703、操作命令:-mkdir:创建目录,-p:先创建父目录...

2023-06-19 08:50:32查看全文 >>

文档排行