IBM Cloud Docs
底层网络

底层网络

IBM Cloud®用于 VMware® 受监管工作负载需要在工作负载群集与管理和网关群集之间建立隔离网络。

管理集群

管理群集需要两个 VLAN 来支持管理功能。

一个 VLAN 包括 ESXi 管理 (vmk0) 和管理服务（如 vCenter 服务器）的子网。 网关设备会建立安全区域和策略，以控制子网之间 VLAN 内的流量。 防止来自 ESXi 或裸机主机的非请求流量到达管理系统。 外围网关控制从这两个子网到管理区域外任何其他区域的流量。

第二个 VLAN 包括专用于 vMotion 和 vSAN 的子网。 在单区部署中，这些子网之间不允许路由，VLAN 被外围网关与所有其他安全区和网络隔离。

网关集群

可选网关群集为解决方案增加了两个中转网络 VLAN。 这些 VLAN 将 vSRX 连接到用于私人流量的后端客户路由器 (BCR) 和用于公共（互联网）流量的前端客户路由器 (FCR)。 如果只想进行专用部署，则不订购公共中转 VLAN。 管理 VLAN 中继到网关群集。

采用这种方式进行网络设计，可使 vSRX 控制管理区内以及管理区与 IBM Cloud® 专用和公共网络之间的流量。 FortiGate设备转接和 VLAN 网络设计与网关群集使用的相同。

网关群集上运行的 vSRX 将管理网络与专用和公共中转网络连接起来。 vSRX 配置为只允许正常运行和监控环境所需的流量进出管理区域。 vSRX 还可以隔离 ESXi 主机和 vCenter Server 之间的所有流量。 群集中的 ESXi 主机可以相互通信，也可以与 vCenter Server 通信。 一个群集（例如工作负载或管理）中的 ESXi 主机无法与任何其他群集的主机通信。 跨群集流量限制由 vSRX 和 ESXi 主机的防火墙配置执行。

网关群集是内部 SaaS 提供商与 调整的工作负载 之间流量的对等点。 它也是 SaaS 消费者流量的分界线。 SaaS 提供商使用 vSRX 作为其 VPN 的安全隧道端点。

来自SaaS消费者的流量通过加密隧道经过vSRX，然后到达叠加网络虚拟边缘设备。

工作负载集群

工作负载集群网络设计与传统的 vCenter Server 部署密切相关。 配置 VLAN 和子网是为了支持 vMotion, vSAN, 用于软件定义网络 (SDN) 网络的 TEP 以及工作负载集群主机管理功能。

在工作负载集群内，NSX™ 提供高度安全和灵活的软件定义网络，以支持应用需求。 NSX 管理在工作负载集群之外，因此可确保除指定管理员外，任何人都无法更改网络和安全。 工作负载群集中的所有南北网络访问均通过使用 IPsec 或 IBM Direct Link 的专用安全连接完成。 工作负载群集由具有 vSRX 或保护管理平面的物理 FortiGate 的同一网关群集保护。

IBM Cloud 联网

IBM Cloud 的物理网络分为两种不同的网络：公用网络和专用网络。 专用网络还包含流至物理服务器的管理智能平台管理接口 (IPMI) 流量。

IBM Cloud high–level network
IBM Cloud high–level network

公用网络

IBM Cloud数据中心和网络存在点PoPs）与顶级转接和对等网络运营商有多个 1 Gbps 或 10 Gbps 连接。 来自世界任何地方的网络流量都会连接到最近的网络 PoP，并通过网络直接到达其数据中心。 这样，就能最大限度地减少网络跳转次数和提供商之间的切换。

在数据中心内部，IBM Cloud通过一对独立、对等聚合的前端客户交换机（FCS）为单个服务器提供 1 Gbps 或 10 Gbps 的网络带宽。 这些汇聚交换机连接到一对单独的路由器 (FCR) 上，以实现L3网络连接。

这种多层设计允许网络在IBM Cloud数据中心内跨机架、跨行列和跨 pod 进行扩展。

专用网络

所有IBM Cloud数据中心和PoPs都由专用主干网连接。 该专用网络独立于公共网络，可连接世界各地IBM Cloud数据中心的服务。 IBM Cloud数据中心之间的数据移动是通过多个 10 Gbps 或 40 Gbps 连接到专用网络完成的。

与公共网络类似，专用网络也是多层的，因为服务器和其他基础设施组件连接到聚合的后端客户交换机（BCS）。 这些聚集的交换机连接到一对单独的后端客户路由器 (BCR) 以用于 L3 联网。 专用网络还支持使用巨型帧 (MTU 9000) 进行物理主机连接的功能。

管理网络

除了公用和专用网络之外，每个 IBM Cloud 服务器还会连接到专用主网络子网以用于管理。 此连接允许智能平台管理接口 (IPMI) 对服务器（与其 CPU、固件和操作系统无关）进行访问，以进行维护和管理。

主 IP 块和可移植 IP 块

IBM Cloud 会分配要在 IBM Cloud 基础架构中使用的两种类型的 IP 地址：

  • 主 IP 地址，分配给由 IBM Cloud 供应的设备、裸机服务器和虚拟服务器。 不要在这些区块中手动分配任何 IP 地址。
  • 可移植 IP 地址，供您根据需要进行分配和管理。 IBM Cloud for VMware Regulated Workloads automation 提供了多个可移植 IP 范围供其使用。 仅使用分配给特定 NSX 组件并指定供SaaS提供商使用的可移植 IP 地址范围。

在帐户配置为虚拟路由和转发 (VRF) 帐户时，主 IP 地址或可移植 IP 地址可以设置为可路由到该帐户内的任何 VLAN。

虚拟路由和转发

IBM Cloud基础架构账户必须配置为虚拟路由和转发（VRF）账户，以便在子网 IP 块之间自动进行全局路由选择。 具有 Direct Link 连接的所有帐户都必须转换为或创建为 VRF 帐户。

由于各种连接选项和网络路由选项都要求IBM Cloud账户处于 VRF 模式，因此建议在配置调整的工作负载之前将账户置于 VRF 模式。

物理主机连接

此设计中的每个物理主机都有两对冗余的 10 Gbps 以太网连接，用于连接到每个 IBM Cloud 机顶接入 (ToR) 交换机（公用和专用）。 适配器设置为独立连接（未绑定），共有 4 个 10 Gbps 连接。 这种设置允许网络接口卡 (NIC) 连接相互独立工作。

无法除去与 vCenter Server 产品中使用的裸机服务器的公用或专用网络的物理网络连接。 裸机内部网卡上的物理端口可以禁用，但不支持拔掉电缆。 这种配置有时被称为 "air-gapped"，是确保禁用 ESXi 主机公共端网络端口、禁用用于这些连接的 ToR 端口以及配置 IBM Cloud IAM 以防止没有足够权限的人员启用连接的必要操作的简称。 此外，公共客户端 VLAN 被分配给外围网关设备并加以保护，以防止任何流量进出公共 VLAN。 网关和与公共中转 VLAN 的网关连接（如果存在）也会被管理性关闭（而不是断开），这样就可以监控任何试图通过公共中转 VLAN 进出 FCR 的流量。

虽然IBM Cloud确实提供了SSL VPN选项，但我们不鼓励使用该选项，并严格限制在必须对受监管工作负载进行带外访问的情况下使用。

物理主机连接
* 物理主机连接* 物理主机连接* 物理主机

VLAN 以及下层到覆盖的路由

VMware Solutions产品设计有三个 VLAN，一个公共 VLAN 和两个专用 VLAN，在部署时进行分配。 如上图所示，公用 VLAN 分配给 eth1 和 eth3，专用 VLAN 分配给 eth0 和 eth2。

缺省情况下，在 IBM Cloud 中未标记此设计中创建和分配的公用 VLAN 和第一个专用 VLAN。 然后，另一个专用 VLAN 在物理交换机端口上中继，并在使用这些子网的 VMware 端口组中进行标记。

caption-side=bottom"
VLAN 连接

在此设计中，专用网络由两个 VLAN 组成。 有三个子网分配给其中的第一个 VLAN（在此指定为“专用 VLAN A”）：

  • 第一个子网是 IBM Cloud 分配给物理主机的主专用 IP 子网范围。
  • 第二个子网用于管理虚拟机（VM），如vCenterServer Appliance 和 Platform Services Controller (PSC)。
  • 第三个子网用于通过 NSX 管理器分配给每台主机的封装覆盖网络隧道端点（TEP）。

In addition to Private VLAN A, a second private VLAN (here designated Private VLAN B) exists to support VMware features such as vSAN and vMotion. 因此，VLAN 被分为两个或多个可移植子网：

  • 第一个子网分配给用于 vMotion 流量的内核端口组。
  • 其余的一个或多个子网用于存储流量。 使用vSAN,时，子网将被分配给用于vSAN流量的内核端口组。

在此设计中，公共网络由一个 VLAN 组成。 以下子网被分配给 VLAN：

  • 第一个子网是IBM Cloud分配给物理主机的主公用 IP 子网范围。
  • 这些主机分配有公共 IP 地址，但在这些主机上未配置此 IP 地址，因此无法在公用网络上直接访问这些主机。
  • 第二个子网用于虚拟网关设备等组件的公共访问。
  • 公共 VLAN 用于提供公共互联网接入。

作为受监管工作负载自动部署的一部分而配置的所有子网都使用 IBM Cloud 管理的范围，以确保任何 IP 地址都可以路由到 IBM Cloud 内的任何数据中心。

查看下表以了解摘要。

VLAN 和子网摘要
VLAN Type 描述
公共 C 主要 分配给物理主机以用于公用网络访问。
专用 A 主要 分配给 IBM Cloud 所分配物理主机的单个子网。 通过管理接口用于 vSphere 管理流量。
专用 A 可移植 分配给作为管理组件的虚拟机的单一子网
专用 A 可移植 分配给 NSX TEP 的单个子网
专用 B 可移植 分配用于 vSAN（如果在使用）的单个子网
专用 B 可移植 分配用于 NAS（如果在使用）的单个子网
专用 B 可移植 分配用于 vMotion 的单个子网

在这种设计中，所有支持 VLAN 的主机和虚拟机都被配置为指向外围网关作为默认路由。 虽然 调整的工作负载 实例支持使用 SDN，但除非配置了动态路由协议或静态路由，否则在 VMware 实例中创建的包含内部子网路由的网络叠加不会被外围网关发现。

专用网络连接配置为使用大小为 9000 的巨型帧 MTU，这将提高存储和 vMotion 等大型数据传输的性能。 该值是VMware和IBM Cloud 允许的最大 MTU。 公共网络连接使用 1500 的标准以太网 MTU，必须保持不变，因为任何变化都可能导致互联网上的数据包分片。