当前位置:首页 > 实用技巧 >

格式化hdfs找不到命令(hdfs重新格式化要怎么做)

来源:原点资讯(www.yd166.com)时间:2023-11-28 11:31:30作者:YD166手机阅读>>

格式化hdfs找不到命令,hdfs重新格式化要怎么做(1)

经过了前几期的介绍hadoop网络交互这块就告一段落了。接下来我们要入坑聊聊hdfs文件系统了。内容应该是越来越精彩了。但是大家一定要耐下性子,不要着急。阅读代码最忌着急。所以一定要冷静。

hdfs是什么?大家可能都知道它是一个分布式的文件系统,那么它就会有两个属性,首先它是一个文件系统,其次才是分布式这个概念。所以我们要想学习也应该先从文件系统的角度去了解它。

文件系统大家可能都很了解了,我会经常用它,那么它最基基的功能是什么呢?显而易见呀,当然是读和写了。这样说对不对?很对,但是有一点点可能大家忽略了就是文件系统的格式化,随然它不是我们使用文件系统的目的,但是它却是我们接触一个文件系统的第一步,就像开箱一样。下面我就给大家带来hdfs的开箱直播。

首先根据hadoop命令:

$ bin/hdfs NameNode –format

找到对应的java类,这个找不到的可以看看【小白看源码-1-hadoop fs命令学习】。

org.apache.hadoop.hdfs.server.namenode.NameNode

下面我们就开始学习NameNode类。

通过查看NameNode的main方法,我们了解createNameNode函数是它处理的核心逻辑,而format只是它的很小的一个分支,代码里不过3行,如下所示,而format函数就是最终的处理。

格式化hdfs找不到命令,hdfs重新格式化要怎么做(2)

Format函数中最主要的代码也是3行,如下所示,不得不感慨大师的编码能力真是强呀^_^

格式化hdfs找不到命令,hdfs重新格式化要怎么做(3)

不开玩笑了,这里要重点留意两个参数dirsToFormat和editDirsToFormat。这两个就是被hdfs管理的真实路径。

按代码看,我们先看一下FSImage是如何创建的。如下所示,里面又创建了NNStorage

格式化hdfs找不到命令,hdfs重新格式化要怎么做(4)

首页 123下一页

栏目热文

hdfs 文件合并(hdfs小文件处理方法)

hdfs 文件合并(hdfs小文件处理方法)

HDFS作为Hadoop大数据处理框架下的分布式文件系统,深受开发人员的喜爱,为此许多人想在自己的linux单机上搭建出...

2023-11-28 11:18:45查看全文 >>

vfs文件(vfs文件怎么打开)

vfs文件(vfs文件怎么打开)

概述本文将介绍一下Linux的VFS虚拟机文件系统,主要介绍该文件系统在Linux中的作用及概要实现。我们知道在Linu...

2023-11-28 11:48:44查看全文 >>

hdfs如何在文件中添加内容(hdfs创建文件并写入内容)

hdfs如何在文件中添加内容(hdfs创建文件并写入内容)

HDFS是基于Java的文件系统,可在Hadoop生态系统中提供可扩展且可靠的数据存储。因此,我们需要了解基本的HDFS...

2023-11-28 11:27:18查看全文 >>

过大的vfs文件会导致无法使用吗(vfs文件删除影响软件使用吗)

过大的vfs文件会导致无法使用吗(vfs文件删除影响软件使用吗)

一.VFS(虚拟文件系统)和Ext2关系:VFS是Linux中的一个虚拟文件文件系统,它为应用程序员提供一层抽象,屏蔽底...

2023-11-28 11:22:37查看全文 >>

vfs文件不存在(vfs文件是什么 求答案)

vfs文件不存在(vfs文件是什么 求答案)

前言为什么 Linux 内核的文件系统类型那么多,都能挂载上呢?为什么系统里可以直接 mount 其他文件系统呢?甚至能...

2023-11-28 11:19:23查看全文 >>

应用文具有直接的什么价值(应用文具备什么特点)

应用文具有直接的什么价值(应用文具备什么特点)

应用文是人们在日常工作、学习、生产、生活、交流信息、处理事情、解决问题时而经常使用的,并且有一定惯用格式的实用文体。它具...

2023-11-28 11:40:56查看全文 >>

哪些应用文具有法规性(应用文具有直接的功能性吗)

哪些应用文具有法规性(应用文具有直接的功能性吗)

应用文写作能力已经越来越成为人才素质的一个重要的衡量指标。试想,领导交办“写个东西”交给我,结果交上来的东西杂乱无章、拖...

2023-11-28 11:15:56查看全文 >>

公文具有哪些作用(公文具有哪些特点作用)

公文具有哪些作用(公文具有哪些特点作用)

(一)领导和指导作用 公文的内容反映机关或部门工作的意图,所以具有领导和指导工作的作用,在传达贯彻党和国家的方针政策、...

2023-11-28 11:50:16查看全文 >>

哪些应用文具有鲜明的法规性(应用文具备什么特点)

哪些应用文具有鲜明的法规性(应用文具备什么特点)

2020国家公务员考试申论科目迎来新变化,两套试卷均未考查曾被诸多考生视为必考题的“大作文”题,而是各考查了一道“加强版...

2023-11-28 11:19:21查看全文 >>

应用文具有法规作用吗(应用文具有的作用)

应用文具有法规作用吗(应用文具有的作用)

唐晓敏二十世纪前期,一些语文教育家强调应用文的重要。如叶圣陶等人。叶圣陶讲:“我们实际生活上,为了事务的逼迫而写作文章...

2023-11-28 11:45:54查看全文 >>

文档排行