CDH运维｜节点宕机造成块丢失修复方案
·
一、场景
cdh集群中某节点长时间宕机，还有数据不断写入hdfs，但是副本数据无法写入已宕机的节点。当宕机节点重启后，clouderManeger集群管理平台会抛出hdfs副本块丢失损坏的异常。eg：群集中有 8 个 副本不足的块 块。群集中共有 10 个块。百分比 副本不足的块: 80.00%。 临界阈值：40.00%。
二、修复方案
1.检测已损坏的块
执行： hdfs fsck /
如下（示例）：
2.如果文件不重要
直接将文件删除：hdfs dfs -rmr /user/yangchuan/app_log_chackPoint/operation_point/*
3.如果文件重要
修复损坏文件：执行命令 hdfs debug recoverLease -path -retries eg：hdfs debug recoverLease -path /user/yangchuan/app_log_chackPoint/operation_point/9fe89a7d-ae60-4784-8e91-4df837aa8232/rdd-2098161/part-00000 -retries 10
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)