监控脚本凌晨报一块盘读写超时,凭前兆判断它快不行了,连夜抢救,过程记录。
前兆判断:两天内出现三次读写超时,系统日志里有重映射记录,健康监测的自检项从正常变成警告。三个信号凑齐,这块盘进入倒计时。
抢救动作:先确认备份,昨晚的增量备份完好,心里有底;阵列上把这块盘对应的灯确认清楚,避免拔错;业务低谷期执行热拔替换,新盘插入后阵列自动重建,六个小时完成;重建期间业务降速运行,提前发了公告。
复盘:如果等它彻底死掉再处理,重建期间再坏一块的概率不小。磁盘报错的处理原则是宁可信其坏,监控告警从来不是吓唬人的。
这块退役盘做了消磁处理才下架,抢救全程零数据丢失,监控和备份各立一功。