文档类型：技术实施指南 / 运维备忘录

适用场景：企业 IDC 双活/主备接入阿里云 VPC

前言：背景与故障根因分析

在企业核心业务上云的架构设计中，单专线链路存在无法通过软件层面规避的物理单点故障（Single Point of Failure, SPOF）。基于过往企业级专线运维故障复盘数据，单链路中断的主要根因集中在以下三个物理层面：

1.1 物理链路中断

• 故障占比：约 65%

• 典型场景：

  • 市政道路施工导致主干光缆被挖断。
  • 园区物业装修或清理井道时切断入户皮线/尾纤。
  • 啮齿类动物咬噬弱电井内裸露光缆。

• 故障现象：接口光功率瞬间归零（Loss of Signal），物理层状态变更为 Down。

• 业务影响：

  • MTTR (平均修复时间)：依赖人工现场熔接，通常耗时 2 ~ 4 小时。
  • 后果：在此期间，若无冗余链路，业务完全不可用。

1.2 运营商局端设备故障

• 故障占比：约 20%

• 典型场景：

  • 接入层交换机板卡硬件宕机。
  • 汇聚机房市电中断且 UPS 电池耗尽。
  • 传输设备软件 Bug 导致整机重启或协议栈死锁。

• 故障现象：

  • 本地接口物理状态可能仍为 Up（若中间传输设备未透传告警）。
  • BGP 邻居因收不到 Keepalive 报文而超时，状态变更为 Idle 或 Active。
  • 路由表撤销所有经由该链路的学习路由。

• 业务影响：

  • 收敛时间：依赖 BGP Hold Timer，默认需 90 秒 才能检测并切换（若无 BFD）。
  • 后果：业务出现分钟级中断。

1.3 光模块与尾纤性能劣化

• 故障占比：约 15%

• 典型场景：

  • 光模块激光器老化导致发射功率下降。
  • 光纤接头氧化或灰尘污染导致插入损耗（Insertion Loss）过大。
  • 尾纤弯折半径过小导致宏弯损耗。

• 故障现象：

  • 光衰值（Rx Power）接近临界阈值（如 <-22dBm）。
  • 误码率（BER）飙升，引发 CRC 校验错误计数持续增加。
  • 链路频繁 Flapping（震荡），BGP 邻居反复在 Established 和 Idle 状态间切换。

• 业务影响：

  • 表现：业务未完全中断，但出现高延迟、高丢包、TCP 重传率激增。
  • 后果：数据库同步超时、应用连接断开，系统处于“半瘫痪”状态，排查难度极大。

1.4 架构结论

对于要求 RTO (恢复时间目标) < 5 分钟 甚至 秒级 的核心生产系统，单专线架构无法满足可用性 SLA。

双专线接入的核心价值不在于带宽叠加，而在于：

1. 物理冗余：规避单点物理切断风险。
2. 协议快速倒换：结合 BFD 技术，将上述故障的检测与切换时间压缩至 秒级 (<1s)，确保业务感知最小化。

1. 核心结论与前置检查

图 1-1：标准双专线物理冗余拓扑示意图

在启动双专线项目前，必须确认以下物理与逻辑前提，否则后续配置无效：

1. 物理路由隔离：两条专线必须来自不同运营商或同一运营商的不同接入局点（POP 点）。若两条光缆进入同一管道井，视为单点故障，双专线无意义。

2. ASN 规划：

   • 阿里云侧：使用阿里云分配的公网 ASN 或私有 ASN（需在 CEN 中配置转换）。
   • 本地侧：若使用私有 ASN（64512-65534），需确保不与阿里云侧及其他分支冲突。

3. IP 地址规划：

   • 互联 IP（Link IP）：每条专线需至少一个 /30 网段。
   • 业务网段：本地 IDC 网段与阿里云 VPC 网段严禁重叠。

关于阿⾥云接⼊点的选择，可以参考犀思云 FusionWAN ⼩工具

2. 两种主流架构模式及配置要点

2.1 主备模式 (Active/Standby)

场景：节省带宽成本，允许秒级中断。

场景：对稳定性优先，不追求极致带宽利用率
流量走向：正常时流量走主线；主线断开，流量切至备线。

**核心控制逻辑：**利用云企业网 (CEN) 路由策略优先级 控制去程，利用 AS-Path Prepend 控制回程。

图 2-1：主备模式 BGP 路由选路策略图解

步骤一：阿里云侧控制（决定去程：IDC -> 阿里云）

原理：CEN 路由策略按优先级（1-100）顺序匹配，数字越小优先级越高。通过配置高优先级策略“优选”主线路由，实现去程流量锁定主线。

• 操作路径：云企业网控制台 -> 路由策略 -> 创建路由策略

• 配置策略 A（主线路由 - 高优先级）：

  • 优先级：10 (数字小，优先匹配)

  • 地域：选择 VBR 所在地域

  • 生效方向：入地域网关方向 (路由从 VBR 传入 CEN)

  • 关联路由表：选择对应的转发路由器路由表

  • 匹配条件：

    • 源实例 ID：选择 主 VBR 实例 ID
    • 目的路由前缀：输入 IDC 业务网段 (如 192.168.1.0/24)

  • 策略行为：允许

  • 高级设置（可选但推荐）：

    • 路由优先级：设置为 20 (默认 50，数字越小越优，进一步确保内部优选)
    • 注：此处无需设置 Local Preference，CEN 内部优先级机制已足够

• 配置策略 B（备线路由 - 低优先级）：

  • 优先级：20 (数字大，后匹配)

  • 地域：选择 VBR 所在地域

  • 生效方向：入地域网关方向

  • 关联路由表：同上

  • 匹配条件：

    • 源实例 ID：选择 备 VBR 实例 ID
    • 目的路由前缀：输入 IDC 业务网段

  • 策略行为：允许

  • 高级设置：

    • 路由优先级：保持默认 50 或设置为 60 (确保低于主线)
    • 关键动作：勾选 追加 AS Path，添加 2-3 次自身 ASN (如 65001)。
    • 目的：即使策略 A 失效，这条路由因为 AS-Path 变长，在 CEN 内部选路时也会被视为次优路径；同时这也会影响回程（见步骤二）。

• 效果：

  • CEN 优先匹配策略 A (优先级 10)，将主 VBR 传来的路由以高优先级放入路由表。
  • 策略 B (优先级 20) 虽然也允许通过，但由于优先级低且 AS-Path 被追加，仅在主线故障（策略 A 路由撤销）时生效。

步骤二：本地路由器控制（决定回程：阿里云 -> IDC）

• 控制点：本地核心路由器 (CPE) BGP 入方向策略 (Import Policy)。

• 问题：若不配置，本地 CPE 会从两条专线收到相同的 IDC 路由宣告，且 AS-Path 长度一致，导致 ECMP 负载分担，回程流量随机走备线。

• 操作：

  • 在本地 CPE 上，针对从备线 VBR 学来的路由，执行 AS-Path Prepend（追加自身 ASN）。
  • 配置示例 (Huawei):

1# 定义路由策略，匹配从备线学到的路由并追加 AS 路径
2route-policy PREFER_PRIMARY permit node 10
3  if-match ip-prefix IDC_ROUTES  # 匹配 IDC 业务网段
4  apply as-path 65001 65001 65001 additive  # 追加3次自身ASN，使路径显著变长
5
6# 应用到备线 BGP 邻居的入方向
7bgp 65001
8  peer <Backup_VBR_IP> route-policy PREFER_PRIMARY import

• 配置示例 (Cisco):

1route-map PREFER_PRIMARY permit 10
2  match ip address prefix-list IDC_ROUTES
3  set as-path prepend 65001 65001 65001
4
5router bgp 65001
6  neighbor <Backup_VBR_IP> route-map PREFER_PRIMARY in

• 效果：

  • 主线路由：AS-Path 长度为 N。
  • 备线路由：AS-Path 长度为 N+3。
  • 本地 CPE 根据 BGP 选路规则（最短 AS-Path 优先），强制优选主线路由作为回程出口。

步骤三：故障切换联动验证

• 正常状态：

  • 去程：CEN 路由表优选主 VBR 路由（策略优先级 10）。
  • 回程：CPE 优选主 VBR 路由（AS-Path 短）。
  • 结果：双向流量闭环在主专线。

• 主线故障：

1. BFD 检测到链路中断。
2. 阿里云侧：主 VBR 路由撤销 -> CEN 路由策略 A 失效 -> 自动匹配策略 B (备线)，去程流量切至备线。
3. 本地侧：主 VBR BGP 邻居 Down -> 主线路由撤销 -> CPE 仅剩备线路由（虽 AS-Path 长但唯一可用），回程流量切至备线。
4. 结果：双向流量切换至备线，业务恢复。

注意：

• 严禁在主线上做 AS-Path Prepend，否则会导致主备优先级反转。
• 若使用多厂商设备，需确认 additive 参数的行为，确保是“追加”而非“覆盖”原有 AS 路径。

2.2 负载模式 (Active/Active)

场景：带宽利用率最大化，要求链路故障无感知。
流量走向：流量基于流（Flow）哈希分担到两条链路。

图 2-2：负载模式 ECMP 哈希分流原理图

关键配置逻辑：

• BGP 属性对齐：

  • 两条专线的 Local Preference 必须一致（均为默认 100 或均为 200）。
  • 两条专线的 AS-Path 长度 必须一致（禁止在任一方向做 Prepend）。
  • 两条专线的 MED 值建议保持一致或不传递。

• ECMP 开启：

  • 确保本地 CPE 和阿里云 VBR 均开启了等价多路径路由（ECMP）。
  • 注意：阿里云 VBR 默认支持 ECMP，但需确认本地设备最大路径数配置（maximum-paths 2 或更高）。

• 会话保持风险：

  • 由于哈希算法，同一条 TCP 连接的数据包可能走不同链路（若中间发生路由震荡）。需确保网络设备支持逐流负载（Per-Flow）而非逐包负载。

---

3. 故障检测机制与切换时间实测

在阿里云专线架构中，故障检测能力受限于云侧 VBR 的可配置性。与自建路由器不同，阿里云 VBR 侧的 BFD 参数为系统默认固定值，不支持用户自定义调整。这直接影响了故障检测的理论下限。

3.1 阿里云侧检测能力约束

• BFD 机制（默认开启）：

  • 发送间隔 (Tx Interval)：固定 1000ms (1s)。
  • 接收间隔 (Rx Interval)：固定 1000ms (1s)。
  • 检测倍数 (Detect Multiplier)：固定 3。
  • 理论检测时间：1_s_×3=3_s_ 。
  • 配置权限：不可配置。用户无法在控制台或 API 中修改此参数以实现毫秒级检测。

• VBR 健康检查（可选配置）：

  • 机制：阿里云向用户指定 IP 发送 ICMP 探测报文。
  • 最小发包间隔：2s。
  • 最小探测次数：3 次。
  • 理论判定时间：2_s_×3=6_s_ 。
  • 适用场景：主要用于检测三层可达性，速度慢于 BFD，通常作为 BFD 失效时的兜底或辅助判断。

3.2 本地侧优化策略 (

虽然云侧检测固定为秒级，但本地 CPE 侧仍可部署高精度 BFD 以加速出方向流量的切换感知。

• 本地 CPE BFD 建议配置：

  • 最小发送间隔：100ms 。
  • 最小接收间隔：100ms。
  • 检测倍数：3。
  • 本地检测时间：0.1_s_×3=0.3_s_ 。

• 联动逻辑：

  • 当物理链路故障时，本地 CPE 能在 0.3s 内感知并撤销发往阿里云的路由（去程切换快）。
  • 回程切换瓶颈：阿里云侧需等待 3s (BFD 默认超时) 才能感知故障并撤销路由，将流量切至备线。
  • 整体切换时间：受限于木桶效应，双向业务完全恢复的时间取决于较慢的一方（即阿里云侧的 3s）。

3.3 实测切换数据与业务影响

基于上述架构约束，真实环境下的切换表现如下：

检测阶段	理论耗时	实际表现	备注
本地感知 (去程)	~0.3s	极快	本地 CPE 立即停止向故障链路发包。
云侧感知 (回程)	~3.0s	主要延迟源	阿里云需等待 3 个 BFD 周期 (3s) 判定邻居 Down。
路由收敛	~0.5s	正常	BGP 重新计算并下发新路径。
总业务中断时间	~3.5s - 4.5s	丢包约 3-5 个	对于 TCP 长连接（如数据库），通常会触发重传，但不会断开连接。

关键结论：

• 不要承诺“亚秒级切换”：在纯阿里云 VBR 原生 BFD 架构下，受限于云侧 1s 发包间隔，无法实现 <1s 的业务切换。
• 预期管理：对于核心数据库同步等极度敏感业务，3-4 秒 的中断是可接受的（TCP 重传机制可覆盖），但需提前告知客户此为平台能力上限。
• 进阶方案：若业务严格要求 <1s 切换，需采用 SD-WAN 叠加方案 或 本地 CPE 主动路由撤回 trick（如检测到 Link Down 立即 Withdraw 所有相关路由，迫使云侧更快更新，但依赖具体设备特性）。

3.4 配置检查清单

为确保达到上述最优效果，请核对以下配置：

1. 确认 BFD 状态：在阿里云控制台 VBR 详情页，确认 BFD 状态为 Enabled （默认开启）。
2. 本地 BFD 配置：确保本地 CPE 已启用 BFD，且参数设置为 Tx/Rx 100ms, Multiplier 3。
3. BGP 联动：确认本地 BGP 进程已绑定 BFD 会话 (peer x.x.x.x bfd enable)。
4. 健康检查（可选）：若 BFD 因特殊原因未生效，可配置 VBR 健康检查，但需接受 6s+ 的切换延迟（不推荐用于主备快速切换场景）。

关于韧性架构设计可参考《多云互联 BFD 协议失效故障复盘与韧性架构设计指南》

4. 现场实施常见故障与排查

以下为实际交付中高频出现的问题，非理论推演：

问题一：路由无法学习，BGP 状态卡在 Active

• 现象：BGP 邻居无法建立，状态一直为 Active。
• 原因：

1. ACL 拦截：中间传输设备或防火墙拦截了 TCP 179 端口。
2. 源 IP 错误：BGP Update 报文的源 IP 不是配置的 Peer IP（常见于使用了 Loopback 口建邻但未指定源接口）。
3. ASN 不匹配：本地配置的 Peer ASN 与阿里云侧配置不一致。
4. 排查命令：display bgp peer verbose 查看具体 Error Code；在阿里云侧提交工单查询 VBR 日志。

问题二：主备切换失败，流量仍发往已断链路

• 现象：主线光纤已拔，但本地路由器仍优选主线路由。

• 原因：BFD 未生效 或 BGP Hold Timer 过长。

• 检查点：

  • 确认 display bfd session 状态是否为 Down。
  • 确认是否配置了 undo bgp ignore-first-as (某些厂商默认忽略首个 AS，导致选路逻辑异常)。
  • 检查是否有静态路由优先级高于 BGP 路由（静态路由默认优先级 60，BGP 为 255/170，需调整 Preference）。

问题三：双向流量路径不一致

• 现象：去程走专线 A，回程走专线 B。防火墙丢弃报文。
• 原因：两端选路策略未闭环。例如阿里云侧配了主备，但本地侧没做 AS-Path Prepend，导致回程流量随机选择。
• 解决：严格遵循“两端对称”原则。若阿里云侧强制主备，本地侧必须通过 Prepend 强制回程走主路。

问题四：MTU 问题导致大包不通

• 现象：Ping 小包通，Ping -l 1472 (大包) 不通或分片严重。

• 原因：专线封装开销（VLAN/QinQ/MPLS）占用了字节，导致有效载荷超过 1500。

• 解决：

  • 方案 A：全网接口 MTU 调整为 1500 + 封装开销 (如 1522)。
  • 方案 B (推荐)：在 TCP MSS Clamping 中配置 tcp mss-adjust 1360，防止分片。

---

5. 关于 SD-WAN 备份的补充说明

若预算允许，建议在双专线基础上叠加 Internet + SD-WAN 作为第三链路。

• 配置逻辑：

  • 专线优先级：High (Local Pref 200)
  • SD-WAN 优先级：Low (Local Pref 50 + AS-Path Prepend 5 次)
  • 阿里云通过 ipsec+bgp+vpn 网关组件，实现自动切换专线与 SD-WAN 流量

• 作用：仅在双专线同时中断（概率极低）时启用。由于 Internet 链路抖动大，不建议承载核心数据库同步流量，仅用于办公 OA 或应急管理通道。

---

6. 交付清单与验收标准

图 6-1：故障倒换测试验证拓扑与抓包点位

项目交付时，请核对以下项：

1. 物理层：两条专线光功率正常 (-8dBm ~ -20dBm)，无误码。

2. 链路层：VLAN Tag 配置正确，MTU 测试通过（1500 字节不分片）。

3. 路由层：BGP 邻居状态

4. 倒换测试：

   • 拔掉主专线光纤，Ping 测试丢包 < 5 个。
   • 恢复主专线，流量自动回切（需确认是否配置了抢占模式 preemptive，默认 BGP 通常不回切，需手动干预或配置 Timer）。

5. 文档移交：包含物理拓扑图、IP 规划表、BGP 配置脚本、运营商电路编号。

---

技术支持

本文档涵盖了标准实施流程。但在实际复杂网络环境（如多分支互联、混合云路由反射器架构、特定防火墙兼容性问题）中，往往需要针对性的调试。

我们提供以下深度技术咨询：

• 架构复核：在您采购设备前，审核网络拓扑与 IP 规划，规避设计缺陷。
• 现场割接：资深网络工程师驻场，执行 BGP 配置与倒换测试，确保业务零中断。
• 故障兜底：提供 7x24 小时专家热线，针对 BGP 震荡、路由黑洞等疑难问题进行远程诊断。

(注：我们只谈技术细节，不谈空洞概念。欢迎携带具体网络拓扑图与我们交流。)