备份任务最大的敌人不是失败,是静默失败。监控体系的目标就是让每一次失败都被看见。
监控三层:任务层,备份脚本每步执行后检查退出码和产物,失败即写告警文件;结果层,每天定时核对备份目录的新文件,按预期文件名和大小做存在性检查,缺失即告警;汇总层,每天早上发一条备份日报到群里,昨天的所有备份任务一行一条,绿勾红叉一目了然。
告警渠道要冗余:群消息为主,手机短信兜底,重要任务再加电话提醒。
这套体系上线后抓到过三类静默失败:存储空间满导致备份中断、通道密码过期导致上传失败、任务被误禁用。
备份任务不需要人天天盯,但失败必须主动找人。这是备份体系里投入产出比最高的一环。