做服务器运维5年,这9条注意事项我记在本子上
凌晨两点被电话叫醒,说线上数据库连不上。爬起来一看,磁盘满了,日志把分区写爆。这事我经历过三次,前两次是同一台机器。后来我把踩过的坑都记在笔记本上,现在翻出来整理成这份清单,给刚接手服务器的同行省点事。
备份能不能恢复,得真去试一次
我见过太多人把"每天自动备份"当成护身符。备份脚本跑成功了,日志里一堆 OK,真出事才发现压缩包是空的——磁盘写满,tar 写到一半就断了,退出码还被 || true 吃掉。备份这事,脚本成功不等于数据可用,唯一的验证方式就是定期在测试机上真恢复一次。

- 检查备份文件大小,连续几天体积一模一样,大概率是没写进去
- 每月做一次恢复演练,恢复完随便查几张表确认数据对得上
- 本地备份和异地备份分开,同一块盘上的备份等于没备份
- 数据库别只靠文件拷贝,binlog 或者 WAL 一起留着

监控也一样。默认的 CPU、内存、磁盘三项指标根本不够用。我加过几个自己写的脚本,专门盯 inode 使用率、TCP 连接数、文件描述符数量。有一次线上服务莫名其妙拒绝连接,CPU 内存都正常,最后查出来是句柄数打满了。这种问题,通用监控面板上看不出来。

变更之前先想好怎么退回去
运维出事,八成出在变更上。改配置、升级内核、调防火墙规则,任何一步操作前先问自己一句:搞砸了怎么回到现在这个状态。想不出答案就先别动手。我有次给生产机调内核参数,忘了记原值,重启之后网络直接起不来,只能进救援模式一点点试。
- 改配置先 cp 一份带日期的备份,别嫌麻烦
- 动防火墙和 SSH 配置,务必留一个已连接的会话别断开
- 生产变更挑流量低谷,别在周五下午动手
- 能灰度就灰度,先上一台观察半小时再说
权限管理是最容易被忽略的一块。团队小的时候大家都用 root 直接登,图省事;人一多就乱套,谁改的、什么时候改的,全查不到。后来我们改成每人一个账号加 sudo,密钥登录,禁用密码,操作日志统一收集。麻烦是麻烦,但出事的时候能定位到人。日常巡检还有几个小地方容易翻车:服务器时间不同步,证书校验、集群选举、日志排序全乱;SSL 证书到期没人管,半夜整个站打不开;crontab 里两个任务时间撞在一起,抢同一份文件。这些都不是什么高深技术,纯粹是细心问题。
说到底,服务器运维这活儿,技术水平只占一半,另一半是习惯。把每次操作当回事,把每次故障的根因写下来,半年之后你会发现,半夜被叫醒的次数明显变少了。