益阳香港服务器机房常见故障类型与应急恢复处理流程

1.

概述：应急恢复的基本原则

a) 优先保证业务可用性，遵循先稳定、后完美的原则；b) 记录每一步操作（时间、执行人、命令、结果）；c) 若涉及风险操作（重启、重建RAID、fsck），先做快照或备份快照；d) 与机房值班、远程手（remote hands）及客户沟通并确认SLA与授权。

2.

故障判断第一步：收集信息与确认范围

a) 通过监控平台（Zabbix/Prometheus）查看告警时间与影响范围；b) 登录BGP/DNS监控查看是否存在全网可达性问题；c) 通过控制台（IPMI/iLO/虚拟控制台）确认是否能进入ILO界面；d) 记录ping、traceroute、mtr的结果以判断链路发生在哪一跳。

3.

网络故障处理（链路不可达、丢包高）

a) 本地测试：ping 网关/公网IP；traceroute -n <目标>; mtr -rw <目标>；b) 检查本机网卡状态：ip addr show / ethtool eth0 / ethtool -S查看错误计数；c) 若交换机层面问题，联系机房工程师核对端口、链路灯与光模块，必要时更换光纤SFP；d) 临时方案：切换备用链路（如果有双网卡或双机房），修改路由或BGP社区进行流量引导。

4.

电源故障处理（机架掉电/单路电源）

a) 检查PDU与机房电力告警，联系机房确认是否为整机房掉电或单机掉电；b) 若为单机且支持双电源，确认另一路是否正常并切换；c) 使用IPMI/ipmitool chassis power status查看电源状态，必要时通过ipmitool chassis power cycle执行冷重启；d) 如无法远程恢复，安排remote hands现场重启并更换电源模块。

5.

硬盘与RAID故障（单盘坏、RAID降级）

a) 查看RAID状态：mdadm --detail /dev/mdX 或 MegaCLI/StorCLI查询；b) 若是单盘故障，先确保有热备盘或可用替换盘，执行标记为failed并移出：mdadm --manage /dev/mdX --fail /dev/sdY && --remove /dev/sdY；c) 插入新盘并添加：mdadm --manage /dev/mdX --add /dev/sdZ，监控重建进度cat /proc/mdstat；d) 严重损坏前勿执行写入操作，先做镜像备份（dd if=/dev/sdX of=/path/image.dd bs=1M）。

6.

操作系统无法启动或内核崩溃

a) 通过远程KVM查看启动日志并进入单用户模式；b) 使用救援盘（ISO）挂载根分区，检查/var/log/messages、journalctl -xb、dmesg异常；c) 如果是文件系统损坏，先做只读挂载并使用fsck -y /dev/sdX（注意可能丢数据，优先做分区镜像）；d) 若为内核模块问题，尝试启动旧内核或临时删除有问题的模块并重启。

7.

数据库与应用层数据损坏恢复

a) 先停止写入服务（systemctl stop mysql/nginx）以防止伤口扩大；b) 对MySQL类：检查错误日志，尝试MySQL自带innodb recovery（设置innodb_force_recovery=1~6，逐级尝试）；c) 若恢复困难，从最近完整备份恢复（binlog配合回放）：mysqlbinlog binlog.|grep --after-context；d) 应用层回滚或重放操作需在测试环境验证后再对生产执行。

8.

DDoS攻击与流量异常应对

a) 立刻分析流量：netstat -anp、iftop、tcptrack查看连接数与流向；b) 临时封堵：在防火墙（iptables/nft）或上游设备限流/丢包，或通过BGP黑洞/流量清洗厂商（云清洗）切换流量；c) 针对应用层攻击可增加WAF规则、限流API、开启连接数限制；d) 恢复后做攻击流量复盘与永久防护规划（CDN、清洗、ACL、WAF规则库）。

9.

日志、证据保全与汇报流程

a) 保存所有相关日志（/var/log、KVM录屏、交换机日志、监控告警截图）到安全位置；b) 写明事件时间线：发现时间、处置步骤、恢复时间、影响范围；c) 根据公司SOP提交事件报告并与客户/管理层沟通；d) 做完事后复盘，更新Runbook并修订监控与报警阈值。

10.

问：益阳香港服务器机房主机完全无法联网，第一步该怎么做？

问：主机完全无法联网，第一步该怎么做？
答：先不要盲目重启。1) 在控制台（IPMI/KVM）查看是否能登录；2) 从监控确认是单机还是网络面问题；3) 本机执行ping 本机网关和ip addr show以确认配置；4) 如链路灯异常，联系机房检查交换机端口与光模块，并在必要时让remote hands重插网线或更换SFP。

11.

问：RAID重建看起来很慢，是否可以中断操作？

问：RAID重建很慢，是否可以中断？
答：尽量不要中断重建。1) 观察/proc/mdstat和重建速率；2) 可临时提高重建速度（echo 50000 > /proc/sys/dev/raid/speed_limit_min 等），但注意对生产IO影响；3) 若必须中断，先做好磁盘镜像备份并通知业务停写；4) 重建失败时考虑专业数据恢复服务。

12.

问：遇到DDoS流量时我在机房能做哪些紧急操作？

问：遇到DDoS流量时现场能做哪些？
答：1) 临时在边界路由或交换机做ACL/黑洞以切断恶意流量；2) 与上游运营商或清洗服务联系，开启流量清洗或BGP流量转发；3) 在主机侧限速、调整防火墙策略并启用WAF或CDN加速；4) 记录攻击流量样本并保留pcap用于后续分析与投诉。

来源：益阳香港服务器机房常见故障类型与应急恢复处理流程