1. 方案概述与适用场景
本段简要说明方案目标与适用场景。
1) 目标:对香港部署的双程VPS(两条不同上游链路/ISP)实现自动检测、无缝切换、故障自动化处理与自动恢复;
2) 适用场景:对外服务有高可用要求(API、游戏服、代理、网站等)、需降低单链路故障影响的中小型部署;
3) 假设条件:两条公网链路(ISP-A与ISP-B)可分别建立静态路由或BGP邻居,VPS支持root操作并可安装keepalived、bird或frr等软件。
2. 网络拓扑与设计要点
设计要点与拓扑建议。
1) 拓扑:VPS主机单网卡或双网卡,向两家ISP各自出口;建议使用 policy routing(源策略路由)+ VRRP/keepalived 做 L3 协调;
2) 路由:对每个ISP配置一套路由表(ip rule add fwmark/源地址),并使用 health check 决定主路由表;
3) BGP vs 静态:若ISP支持BGP优先使用BGP(frr/bird);不支持用静态路由与高优先级路由规则。
3. 环境准备(软件与账号)
预先准备清单。
1) 安装软件:keepalived、frr 或 bird、iproute2、iptables/nftables、curl、jq、systemd;
2) 监控:Prometheus node_exporter、blackbox_exporter 或自定义健康检查脚本;Alertmanager 或 webhook;
3) API凭证:DNS提供商API(Route53/Cloudflare/阿里云)和ISP或CDN的管理API(用于必要时更新BGP社区或路由策略)。
4. VRRP/keepalived 基本配置步骤
keepalived 用来做虚拟IP漂移的具体步骤:
1) 安装:Debian/Ubuntu:apt install keepalived;CentOS:yum install keepalived;
2) 配置示例(/etc/keepalived/keepalived.conf): 设置虚拟IP(VIP)并把优先级绑定到本地链路健康状态。示例要点:vrrp_script 检查本地链路(ping或curl),track_script 根据结果调整优先级;
3) 启动:systemctl enable --now keepalived;并用 ip addr show 检查 VIP 是否正确漂移。
5. 源策略路由(policy routing)与多路由表配置
详细命令及自动化步骤:
1) 新增路由表:在 /etc/iproute2/rt_tables 添加 100 ispA、200 ispB;
2) 添加规则示例:ip rule add from 1.2.3.4/32 table 100;ip rule add from 5.6.7.8/32 table 200;(将源地址替换为对应链路的地址);
3) 为每张表添加默认路由:ip route add default via ISP_A_GW dev eth0 table 100;ip route add default via ISP_B_GW dev eth0 table 200;
4) 将以上命令写入启动脚本或NetworkManager脚本,保证重启后生效。
6. 健康检测与自动切换逻辑(脚本实现)
步骤与示例脚本逻辑:
1) 健康项:本地链路丢包/延迟、上游路由是否可达(使用:ping -c3 8.8.8.8、curl --max-time 5 https://example.com/health);
2) 检测脚本:每 10 秒运行,判断连续失败次数(建议阈值3次)才触发切换;
3) 切换动作:修改 ip rule/ip route 或通过 keepalived 的 vrrp_priority 控制 VIP 漂移;示例命令:ip route replace default via NEW_GW table 100;并触发通知(curl 到告警 webhook)。把脚本做成 systemd 服务,保证守护。
7. BGP 高可用场景(使用 FRR/BIRD)
如果可用BGP,建议用 BGP 做路由优雅切换,步骤:
1) 安装并配置 FRR:apt install frr,编辑 /etc/frr/frr.conf,配置两条邻居和不同的 local-as(或相同根据ISP要求);
2) 使用 route-maps 或 community 控制优先级;当一条链路检测到失败,撤销对应 route 或设置更高 MED;
3) 自动化:通过脚本调用 vtysh 执行路由删/加命令用于紧急切换。
8. DNS 级别的故障转移与 TTL 策略
DNS 作为第二层容错方案的具体操作:
1) 低TTL:将关键域名 TTL 设置为 60 秒或更低(注意缓存问题);
2) 通过 API 更新:编写脚本调用 DNS 提供商 API(示例:Cloudflare 使用 /zones/:zone_id/dns_records),切换到备用IP;
3) 触发时机:当链路/服务不可达并且VIP迁移无法恢复时调用DNS回退;并记录变更日志以便回滚。
9. 自动化运维(Ansible Playbook 与 CI)
把重复操作自动化的建议与实例:
1) Ansible:编写 roles 管理 keepalived、frr、healthcheck 脚本与 systemd 服务,variables 包含 ISP 网关与IP;
2) CI 集成:将 playbook 放入 git,使用 Jenkins/GitLab CI 在变更合并后触发到测试环境,自动验证脚本兼容性;
3) 回滚策略:playbook 中加入变更前快照(ip rule show / ip route show),失败时 restore。
10. 测试、演练与恢复流程
列出必须的测试项与演练步骤:
1) 灰度测试:先对非关键服务做链路切换验证;
2) 故障模拟:断开 ISP-A 网口或 iptables 用 drop 模拟丢包,观察 VIP 漂移、路由表切换、DNS 更新是否在预期时间内完成;记录 RTO 与 RPO;
3) 恢复流程:故障消除后自动或手动触发 failback(注意避免频繁抖动,建议有冷却时间)。
11. 日志、监控与告警配置
监控项与告警建议与配置要点:
1) 监控项:链路延迟、丢包、本地服务状态、VIP 状态、路由表一致性;
2) 工具:Prometheus + Alertmanager + Grafana;blackbox_exporter 做外部可达性检查;
3) 告警策略:分级告警(P1—立即短信/电话,P2—邮件/Slack),并包含自动化 remediation 的执行记录。
12. 安全与合规注意事项
安全配置与合规建议:
1) API 密钥保管:使用 Vault 或密钥管理服务,避免明文放在脚本中;
2) 防火墙与访问控制:限制仅允许监控/管理IP访问 BGP/管理端口;
3) 日志审计:所有自动化操作记录到集中化日志(ELK/EFK),便于事后审计与回溯。
13. 常见问题解答(问)
Q:在进行链路切换时会不会短暂中断服务?
14. 常见问题解答(答)
A:短暂中断是有可能的,但可通过以下手段最小化:1) 使用VIP+keepalived实现L2/L3快速漂移,漂移通常在几百毫秒到几秒内完成;2) 配置健康检测与冷却时间,避免误切换;3) 对外使用DNS低TTL或Anycast结合CDN做进一步平滑,必要时采用BGP以实现更平滑切换。
15. 常见问题解答(问)
Q:双程VPS的成本与运维复杂度如何权衡?
来源:运维策略香港 双程vps 多链路切换与故障自动化处理方案