专业的IT培训机构|腾科IT教育集团
复制成功
微信号:togogoi
添加微信好友, 详细了解课程
已复制成功,如果自动跳转微信失败,请前往微信添加好友
打开微信
图片

腾科新闻

Hadoop namenode重复格式化该怎么解决

发布时间: 2023-04-14

1、重新格式化意味着集群中的所有数据将被删除,在格式化之前应考虑数据备份或转移; 

2、首先删除主节点(即namenode节点)、Hadoop的临时存储目录tmp、namenode存储永久元数据目录dfs/name、Hadoop系统日志文件目录log的内容(注意是删除目录的内容,不是目录); 

3、删除所有数据节点(即datanode节点)、Hadoop临时存储目录tmp的内容、namenode存储永久元数据目录dfs/name,以及Hadoop系统日志文件目录log; 

4.、格式化一个新的分布式文件系统:

$ hadoop namenode -format

注意

(1)Hadoop的临时存储目录tmp(即core-site.xml配置文件中的hadoop.tmp.dir属性,默认值是/tmp/hadoop-${user.name}),如果没有配置hadoop.tmp.dir属性,那么hadoop格式化时将会在/tmp目录下创建一个目录,例如在cloud用户下安装配置hadoop,那么Hadoop的临时存储目录就位于/tmp/hadoop-cloud目录下 

(2)Hadoop的namenode元数据目录(即hdfs-site.xml配置文件中的dfs.namenode.name.dir属性,默认值是${hadoop.tmp.dir}/dfs/name),同样如果没有配置该属性,那么hadoop在格式化时将自行创建。必须注意的是在格式化前必须清楚所有子节点(即DataNode节点)dfs/name下的内容,否则在启动hadoop时子节点的守护进程会启动失败。这是由于,每一次format主节点namenode,dfs/name/current目录下的VERSION文件会产生新的clusterID、namespaceID。但是如果子节点的dfs/name/current仍存在,hadoop格式化时就不会重建该目录,因此形成子节点的clusterID、namespaceID与主节点(即namenode节点)的clusterID、namespaceID不一致。最终导致hadoop启动失败。

上一篇: hadoop备份数如何修改

下一篇: Cloud-init是什么

在线咨询 ×

您好,请问有什么可以帮您?我们将竭诚提供最优质服务!