Hadoop集群安全模式磁盘修复
迪丽瓦拉
2025-05-28 18:59:44
0次

目录

1)安全模式

2)进入安全模式场景

3)退出安全模式条件

4)基本语法

5)案例1:启动集群进入安全模式

6)案例2:磁盘修复

7)案例3:模拟等待安全模式


1)安全模式

文件系统只接受读数据请求,而不接受删除、修改等变更请求

2)进入安全模式场景

  • NameNode在加载镜像文件和编辑日志期间处于安全模式;
  • NameNode再接收DataNode注册时,处于安全模式

3)退出安全模式条件

dfs.namenode.safemode.min.datanodes:最小可用datanode数量,默认0

dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比,默认0.999f。(只允许丢一个块)

dfs.namenode.safemode.extension:稳定时间,默认值30000毫秒,即30秒

4)基本语法

集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。

hdfs dfsadmin -safemode get  (功能描述:查看安全模式状态)hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态)hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)

5)案例1:启动集群进入安全模式

      (1)重新启动集群

myhadoop.sh stopmyhadoop.sh start

      (2)集群启动后,立即来到集群上删除数据,提示集群处于安全模式

6)案例2:磁盘修复

      需求:数据块损坏,进入安全模式,如何处理

      (1)分别进入hadoop102/103/104以下目录,统一删除某4个块信息

/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1176991228-192.168.13.102-1677655156869/current/finalized/subdir0/subdir0

rm -rf blk_1073741834_1010.metarm -rf blk_1073741835_1011.metarm -rf blk_1073741984_1162.metarm -rf blk_1073741985_1163.meta

说明:hadoop103/hadoop104重复执行以上命令

      (2)重新启动集群

myhadoop.sh stopmyhadoop.sh start

      (3)观察http://hadoop102:9870/dfshealth.html#tab-overview

      说明:安全模式已经打开,块的数量没有达到要求。

      (4)离开安全模式

hdfs dfsadmin -safemode gethdfs dfsadmin -safemode leave

      (5)观察http://hadoop102:9870/dfshealth.html#tab-overview

如果是磁盘损坏造成的影响,且数据比较重要,此时应将磁盘断电,进行维修

如果数据不重要,直接将上述受影响的文件删除即可

数据删除一项后,错误少了一项

 将相关文件全部删除后,系统恢复正常

7)案例3:模拟等待安全模式

需求:模拟等待安全模式

这个功能主要用于离开安全模式后自动做的一些操作

(1)查看当前模式

hdfs dfsadmin -safemode getSafe mode is OFF

(2)先进入安全模式

hdfs dfsadmin -safemode enter

(3)创建并执行下面的脚本

在/opt/module/hadoop-3.1.3路径上,编辑一个脚本safemode.sh

#!/bin/bashhdfs dfsadmin -safemode waithdfs dfs -put /opt/module/hadoop-3.1.3/README.txt /
​​​​​​​ chmod 777 safemode.sh
./safemode.sh

(4)再打开一个窗口,执行

hdfs dfsadmin -safemode leave

(5)再观察上一个窗口

Safe mode is OFF

(6)HDFS集群上已经有上传的数据了

 

相关内容

热门资讯

AI做攻略、“双向奔赴”……国... 本文转自:人民网人民网记者 许维娜今年国庆假期,AI(人工智能)成了不少年轻人的“旅行搭子”。行前做...
合肥的这个“梗”, 翻篇了 社交平台的评论区,曾长期流传一句专属于合肥的黑色幽默。有人问合肥哪里好玩,本地网友半开玩笑地回复:合...
7万+旅游中高层都在的群,今天... 做旅游这行,资源卡位、渠道互通、项目落地——往往就差一个“对的机会”。我们的行业社群已聚集70,00...
一场帐篷音乐节,如何让井研从“... 帐篷音乐节现场封面新闻记者 周洪攀10月的研溪湿地,晚风里裹着柑橘的清甜与民谣的回响。夜幕降临,10...
白鹤翩翩落星愿,上海迪士尼度假... 10月9日,世界候鸟日前夕,上海迪士尼度假区星愿公园的湖风里多了一分白鹤的灵动。三座白鹤雕塑正式揭幕...
成都锦江边赏初秋枫叶飘飘 目前,成都锦江边国华街枫叶树红了。近年来,国华街附近的几条街都栽种了红枫树,是城区较集中看枫叶的点位...
GBTA:商务旅行正在复苏,但... 亚太正在成为全球商务旅行增长的重要引擎。在经历疫情后的快速反弹之后,全球商务旅行正在进入一个新的增长...
从景区焕新到节赛引流 邹城双节... 齐鲁网·闪电新闻10月9日讯 中秋、国庆“双节”假期,邹城市文化和旅游局提前谋划、周密部署,立足自身...
江山如此多娇 且看石楼今朝 金秋十月,黄河岸畔秋意盎然,丰收盛会喜迎国庆。本次石楼国庆文旅活动以“江山如此多娇,且看石楼今朝”为...
海南国庆假期接待游客475.4... 2026年国庆假期,海南接待游客475.40万人次,较2025年增长13.1%,较2024年增长15...