服务器日志把磁盘写满的事故与防范

凌晨收到磁盘告警，登录一看，应用日志把数据分区写满了，业务写入全部失败。排查发现某个组件在异常状态下每秒写几百行调试日志，一夜写了八十个G。

应急先把日志切走腾出空间恢复业务，随后做三件事防复发。第一，日志轮转收紧，单文件上限一百兆、保留七天，写进配置统一推送；第二，日志级别从调试改成常规，调试日志按需临时开；第三，分区使用率告警阈值从九成提前到八成，留出处置时间。

顺带把所有机器的日志目录大小做了基线，超出基线两倍的自动进告警名单。日志是有价值的，但没管理的日志就是定时炸弹。