服务器运维怎么做?三年踩坑后我总结的实操流程
刚接手公司那台物理机的时候,我以为运维就是装个宝塔、重启一下服务。结果第一个月就出了两次事故,一次是磁盘写满把 MySQL 干趴了,一次是 SSL 证书过期,凌晨三点被电话叫醒。从那之后我才明白,服务器运维这活儿,重点不在"会修",而在"别让它坏"。现在我手上管着 30 多台云主机,监控、备份、发布都是自己搭的,下面这些是我真正在用的东西,不是网上抄的那种大而全清单。
监控不配全,等于没监控
很多人装完 Zabbix 或者 Prometheus 就以为完事了,其实默认模板能报的东西很有限。我的做法是把下面这些指标全部加上告警阈值,缺一个都可能半夜出事:

- 磁盘使用率,超过 80% 提醒,90% 直接电话
- 内存和 swap,swap 一有持续读写基本就是内存不够了
- SSL 证书到期时间,提前 30 天开始每天推一条
- 关键进程存活,用 systemd 自动重启兜底,但重启次数也要告警
- 备份任务的退出码,备份失败没人知道是最要命的

告警发到哪里也有讲究。我一开始全丢微信群,结果天天被刷屏,后来大家看都懒得看了。现在分成两级:能自己恢复的走邮件日报,需要人动手的才打电话。告警这东西,噪音一多就失效了。

变更和备份是两条命
线上出问题,八成是变更引起的。我的规矩是任何改动都得走流程,哪怕只是改一行 nginx 配置。先在测试机跑一遍,写清楚改什么、怎么回滚,再挑业务低峰期动手。听着麻烦,但真出事的时候,有回滚方案和没有回滚方案,完全是两种心情。
备份我踩过最大的坑是"备了但没恢复过"。有次要真用的时候,才发现备份脚本把空目录打包上去了,文件全是 0 字节。现在我每周随机挑一台机器做恢复演练,把数据还原到临时实例里跑一下,确认能起来才算数。备份不验证,等于没备份。
自动化方面我用 Ansible 比较多,批量装软件、改配置、发证书都靠它。同一件事做过三遍就该写成脚本,人手动操作一定会漏步骤。但也别一上来就搞 K8s 那一套,机器不到 20 台的时候,Ansible 加几个 shell 脚本完全够用,复杂度是要花成本养的。
最后说个心态问题。运维做得好的时候,别人是感觉不到你存在的,这行没什么成就感。但只要你把监控、变更、备份这三件事抓牢,一年下来能少掉八成事故。省下的时间拿去学点新东西,而不是天天救火,这才是这份工作该有的样子。