【问题修复】mds0: Metadata damage detected
时间:2022-07-22
本文章向大家介绍【问题修复】mds0: Metadata damage detected,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1. 故障现场
- 通过监控发现集群状态是HEALTH_ERR状态, 并且发现mds0: Metadata damage detected。 顾名思义,猜测应该是元信息损坏导致的。
2. 分析damage是啥原因导致
大概意思是:
- 从元数据存储池读取时,遇到了元数据损坏或丢失的情况。这条消息表明损坏之处已经被妥善隔离了,以使 MDS 继续运作,如此一来,若有客户端访问损坏的子树就返回 IO 错误。关于损坏的细节信息可用 damage ls 管理套接字命令获取。只要一遇到受损元数据,此消息就会立即出现。
3. 查看damage ls
- 通过指令查询到damage ls 显示的信息,可以发现里面有个ino编号。
4. 通过转换拿到十六进制ino
- 通过ino:1099519182934 -> ino: 10000734856
5. 检查是否属于目录(10000734856)
- 通过指令查找发现该ino确定是目录
6. 确定目录名
7. 该目录下面的所有文件
8. 查看fs挂载的目录是否匹配
ceph fs ls -f json-pretty
9. 修复这个目录元信息
ceph --admin-daemon /var/run/ceph/ceph-mds.00.asok scrub_path /dir repair
10. 跟踪代码
参考文件:
- https://github.com/ceph/ceph/blob/5cdf9c3380098f5d2b1d988ab623c74baad55ee3/src/mds/MDSRank.cc#L2245
- https://github.com/ceph/ceph/blob/5cdf9c3380098f5d2b1d988ab623c74baad55ee3/src/mds/MDCache.cc#L12197
11. 总结
11.1 问题过程回顾
- 集群ERR
- 发现mds0: Metadata damage detected
- 查看damage ino
- 根据ino定位跟踪目录
- 根据目录名知道业务存储的数据
- 修复问题
12. 修复方案
12.1方案一:删除ino对应的目录(生产环境实战演练过)
1.业务方备份迁移数据 2.查看damage ls
3.检查该ino确实没有对应的目录
4.删除damage rm信息
5.检查集群状态(集群状态从ERR恢复到WARN)
12.2 方案二:修复该目录元信息
1.通过指令修复目录
ceph --admin-daemon /var/run/ceph/ceph-mds.ceph-newpublic-osd02.py.asok scrub_path /dir/xxx repair
- js运算符优先级笔记
- 通过协同绘制用GAN合成高分辨率无尽道路
- ASP.NET MVC的Model元数据与Model模板:预定义模板
- 为您的组织选择正确的企业云解决方案
- 搞定这些疑难杂症,向css3动画说yes
- 前十一个网络游戏业务收入1341亿 同比增22.1%
- ASP.NET MVC Model元数据及其定制:一个重要的接口IMetadataAware
- 使用Docker 1.12.x构建多容器Web应用程序
- 基于 vue2 + vuex 构建一个具有 45 个页面的大型单页面应用
- 深度解剖dubbo源码
- .NET Core采用的全新配置系统[6]: 深入了解三种针对文件(JSON、XML与INI)的配置源
- 基于 vue2 构建和后台真实交互的 管理系统
- ASP.NET MVC的Model元数据与Model模板:模板的获取与执行策略
- python3.6抓取100知乎用户头像详解(四)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 第十三篇 zabbix创建Item
- 第十四篇 zabbix创建自定义Item
- 【性能】688- 前端性能优化——从 10 多秒到 1.05 秒
- 第十六篇 zabbix创建Trigger
- 如何通过程序(java代码)提高你的博客访问量
- zabbix_get [12429]: Check access restrictions in Zabbix agent configuration
- 【设计模式】689- TypeScript 设计模式之观察者模式
- Found a swap file by the name ".jsidInspector.py.swp"
- CentOs7下部署tomcat文件服务器
- 【拓展】未来的JavaScript记录与元组
- 【Vuejs】690- Vue新特性:CSS 中使用 JS 变量
- Zabbix监控之从Kafka中获取消费进度和lag
- 将UTC(字符串包含TZ的时间)时间转换成本地时间 python
- centos7安装telnet服务
- linux vim编辑器之环境设置