数据容灾：企业灾备避坑指南

作者：陈景行

机房里那台最贵的服务器，从来没坏过

上周跟朋友吃饭，他在一家做跨境电商的公司当运维主管。酒过三巡，他说了句让我到现在都忘不了的话：“我在这家公司干了四年，最贵的服务器从来没坏过，但公司还是差点没了。”

我当时一愣，以为他在讲什么恐怖故事。

他解释说，去年“双十一”前夜，业务高峰还没到，数据库主库突然出现慢查询，紧接着存储节点报错——集群里两台机器同时出现故障。好在他们做了主从切换，业务没中断。但切换完才发现，从库的数据落后了整整二十分钟。那二十分钟里产生的订单，全部丢了。

“你知道二十分钟订单对我们意味着什么吗？”他问我。

我不知道。

“够我们赔掉全年利润。”

后来他连夜联系云厂商，从快照里恢复数据。折腾到凌晨四点，才把丢失的订单找回来大半。但客服那边已经炸了锅，几十个客户在群里骂街，有两个大客户直接说要换供应商。

他跟我说，那天晚上他坐在机房走廊的地上，抽了半包烟，想明白了一件事：数据备份不算容灾，真正的容灾是你能在业务还能接受的时间内，把数据找回来。

这句话我琢磨了很久。

容灾到底是个啥

很多人一听“容灾”两个字，就觉得是高大上的东西——什么异地双活、同城三中心，听起来就费钱。

说实话，我也被这些词唬过一阵子。

后来干得久了才明白，容灾本质上就回答三个问题：

你丢了数据，能找回多少？

你系统挂了，多久能恢复？

恢复的时候，人会不会手忙脚乱？

第一个问题看备份策略，第二个问题看恢复机制，第三个问题看演练习惯。

就这么简单。但简单不等于容易做到。我之前遇到过一个客户，他们服务器托管在本地机房，每天凌晨两点自动备份，用的是一个十年前买的备份软件。听起来挺规范对吧？结果有次机房空调故障，温度飙到四十度，两台服务器直接过热关机。等他们换好硬件，准备恢复数据的时候，发现备份文件是坏的——那个老软件在某个版本升级之后，写出来的备份文件一直有问题，但从来没验证过。

备份文件能不能恢复，这件事不等到灾难发生那一天，你是永远不知道的。

这就是容灾最坑的地方。你花了大价钱做的备份，可能只是自我安慰。

数据安全的底线思维

我之前在金融行业待过一阵子，那边有个说法叫“RTO”和“RPO”。听起来很专业，其实就是两个数字：

RTO是你系统挂了，多久必须恢复——比如两小时。

RPO是你允许丢多少数据——比如五分钟。

这两个数字定下来，容灾方案基本就定了一大半。

RPO五分钟意味着什么？意味着你的备份频率至少每五分钟一次，或者做实时同步。RTO两小时意味着你的恢复流程必须跑得通，而且大概率要演练过，不然真到那一天，光找文档就要找半天。

我见过太多公司，RTO写在制度里是两小时，真出了事，从联系供应商到等快递送备件，就花了三天。制度写得再好看，不落地等于零。

所以我给的建议很简单：别追求完美的方案，先把底线保住。

什么是底线？

第一，核心数据至少有三份拷贝，其中一份在异地。

第二，备份要定期做恢复演练，别只盯着备份成功日志看。

第三，关键系统的恢复步骤要写成文档，放在团队都能找到的地方，别存在某个人脑子里。

这三件事成本不高，但能帮你避开百分之八十的坑。

一次让我改变观念的容灾演练

前年有个做生鲜电商的客户找到我们，说他们想搞一次容灾演练，但不敢真演练，怕搞砸了影响线上业务。

他们的系统架构其实不复杂——一套核心数据库，一套业务应用，部署在云上。备份用的是云厂商自带的快照功能，每天一次。

我们帮他们设计了一次“半演练”：在测试环境里，把快照恢复到一台全新的机器上，模拟生产环境跑一下核心业务流程。

结果一跑，问题全出来了。

快照恢复出来的数据，比生产环境少了三个小时。问了一圈才知道，他们数据库用的是异步复制，从库数据本身就有延迟，快照是从从库打的，所以丢数据是必然的。

再往下查，发现他们的业务应用依赖一个配置文件，里面的IP地址写死了生产环境的地址。恢复到新机器上，IP对不上，应用直接起不来。

这些问题，不演练，永远发现不了。

后来他们调整了备份策略，把数据库改成了同步复制，快照直接从主库打，配置文件也改成了从环境变量读取。再演练的时候，整个恢复流程跑通只需要四十分钟。

一次演练，比看十本技术文档都有用。

避坑提醒

说了这么多，我总结几个最常见的坑，都来自真人真事：

第一，别信云厂商的“持久性”宣传。 对象存储确实很稳，但你的数据从数据库到对象存储，中间要经过网络传输、格式转换、权限校验，任何一个环节出问题，数据就过不去。我之前遇到一个客户，他们的备份任务显示成功，但实际写到存储桶里的文件全是零字节——因为备份账号的权限被改了，写入被静默拦截。

第二，注意备份软件的版本兼容性。 老备份软件升级之后，备份格式可能变了，但你没注意到。等恢复的时候才发现，新的恢复工具读不了老的备份文件。这种情况我见过不止一次。解决办法很土：每次升级备份软件之后，找一台测试机做一次完整的恢复验证。

第三，别把鸡蛋放在一个篮子里。 我见过最离谱的一个案例，某公司把备份数据放在和主数据同一个存储阵列上，结果存储阵列坏了，主数据和备份一起消失。备份必须放在和主数据不同的设备上，最好不同的机房，甚至不同的城市。

说到底，容灾是习惯问题

我干了十几年运维，经历过的大小事故也有几十起了。说实话，技术方案再牛，也抵不过一个“懒”字。备份任务配了不验证，恢复文档写了不更新，演练计划定了不执行——这些才是真正的风险。

以前刚入行的时候，师父跟我说了一句话，我一直记到现在：“你把每一次变更都当成最后一次来操作，把每一次恢复都当成第一次来练习。”

现在想想，这就是容灾的全部秘密。

数据这东西，平时安安静静躺在硬盘里，感觉不到它的存在。一旦丢了，才意识到它比什么都重要。就像空气，平时不觉得，憋气的时候才知道难受。

这两年我们也开始用一些更自动化的数据保护工具，比如中科热备的备份一体机和CDP持续数据保护，操作上确实省了不少心。但工具只是工具，真正能救你的，还是平时养成的那些习惯。

前阵子那个朋友又找我吃饭，他说今年他们终于把RPO从二十分钟降到了三十秒以内，RTO也从四小时压缩到一小时。他说这话的时候，眼里有光。

我知道，那是被吓过之后才有的踏实。