IBM Cloud Docs
物理基础架构设计

物理基础架构设计

物理基础架构包含以下组件：

  • 物理计算- 物理计算提供虚拟化基础架构使用的物理处理和内存。 在本设计中，计算组件由IBM Cloud®裸机服务器提供，并列在 Broadcom 兼容性指南 中。
  • 物理存储- 物理存储提供虚拟化基础架构使用的原始存储容量。 存储组件由IBM Cloud裸机服务器或使用NFS v3 的共享网络附加存储（NAS）阵列提供。
  • 物理网络- 物理网络为网络虚拟化使用的环境提供网络连接。 网络由 IBM Cloud 服务网络提供，并且包含 DNS 和 NTP 等额外服务。

有关物理组件的更多信息，请参阅 VCF for Classic - Automated BOM。

有关存储器的更多信息，请参阅共享存储器体系结构。

有形基础设施
* 有形基础设施* 有形基础设施* 有形

物理计算设计

解决方案中提供的服务器配置满足或超过了安装、配置和管理 vSphere ESXi™ 的最低要求。各种配置可满足不同的要求。 有关 VMware® on IBM Cloud 解决方案所用规格的详细列表，请参阅 VCF for Classic - Automated BOM。

IBM Cloud 裸机服务器位于 IBM Cloud 中。

每个VMware Cloud Foundation for Classic - Automated实例都从 3 个或 4 个主机部署开始，具体取决于存储解决方案的选择。

IBM Cloud裸机服务器的规格如下：

  • CPU - 双或四 Intel® Xeon，不同的内核和速度配置
  • 内存 - 不同配置，64 GB 或更大
  • 专用网络 - 2 x 10 Gbps 或 2 x 25 Gbps
  • 公共网络（可选）- 2 x 10 Gbps 或 2 x 25 Gbps
  • 驱动器数量 - 两个或更多

物理网络设计

物理联网由 IBM Cloud 进行处理。 查看以下关于IBM Cloud提供的物理网络和与物理主机相关的物理主机连接（VLAN、MTU）的说明。

IBM Cloud 网络概览

IBM Cloud 的物理网络分为两种不同的网络：公用网络和专用网络。 专用网络还包含流至物理服务器的管理智能平台管理接口 (IPMI) 流量。

下图使用以下首字母缩略词：

  • BBR - 主干路由器
  • BCR - 后端客户路由器
  • CBS - 核心主干交换机
  • DAR - 分布聚集路由器
  • FCR - 前端客户路由器
  • LBR - 负载均衡器路由器
  • MSR - 主服务路由器
  • POP - 存在点
  • PPR - Pod 到 Pod 路由器
  • SLR - 服务层路由器

IBM Cloud high–level network
IBM Cloud high–level network

公用网络

IBM Cloud数据中心和网络存在点PoPs）与顶级转接和对等网络运营商有多个 1 Gbps 或 10 Gbps 连接。 来自世界任何地方的网络流量都会连接到离得最近的网络 PoP，并通过该网络直接传输到其数据中心，从而最大程度地减少提供者之间的网络中继段数和切换次数。

在数据中心内部，IBM Cloud通过一对独立的对等聚合前端客户交换机（FCS）为单个服务器提供 1 Gbps、10 Gbps 或 25 Gbps 的网络带宽。 这些聚集的交换机连接到一对单独的路由器 FCR，以用于 L3 联网。

这种多层设计允许网络在IBM Cloud数据中心内跨机架、跨行列和跨 pod 进行扩展。

专用网络

所有IBM Cloud数据中心和PoPs都由专用主干网连接。 该专用网络与公共网络分开，可连接世界各地IBM Cloud数据中心的服务。 IBM Cloud数据中心之间的数据移动是通过多个 10 Gbps 或 40 Gbps 连接到专用网络完成的。

与公共网络类似，专用网络也是多层的，因为服务器和其他基础设施组件连接到聚合的后端客户交换机（BCS）。 这些聚集的交换机连接到一对单独的后端客户路由器 (BCR) 以用于 L3 联网。 专用网络还支持使用巨型帧 (MTU 9000) 进行物理主机连接的功能。

主机管理

在专用网络上，每台 IBM Cloud 服务器都使用专用主网络子网连接，以便管理。 此连接允许智能平台管理接口 (IPMI) 对服务器（与其 CPU、固件和操作系统无关）进行访问，以进行维护和管理。

主 IP 块和可移植 IP 块

IBM Cloud 会分配要在 IBM Cloud 基础架构中使用的两种类型的 IP 地址：

  • 主 IP 地址，分配给由 IBM Cloud 供应的设备、裸机服务器和虚拟服务器。 不要分配这些块中的任何 IP 地址。
  • 提供了便携式 IP 地址，供您根据需要分配和管理。vCenter 服务器提供多个便携式 IP 范围供其使用。 只能使用分配给特定-T组件并指定供客户使用的便携式 IP 地址范围。 例如，客户 EDGE。

在帐户配置为虚拟路由和转发 (VRF) 帐户时，主 IP 地址或可移植 IP 地址可以设置为可路由到该帐户内的任何 VLAN。

虚拟路由和转发

必须将IBM Cloud infrastructure customer portal账户配置为虚拟路由和转发（VRF）账户，以启用子网 IP 块之间的自动全局路由。 具有 Direct Link 连接的所有帐户都必须转换为或创建为 VRF 帐户。

由于各种连接选项以及网络路由选项都需要 IBM Cloud 帐户处于 VRF 方式，因此建议在供应 vCenter Server 之前，该帐户就处于 VRF 方式。

物理主机连接

此设计中的每台物理主机都有两对冗余的 10 Gbps 或 25 Gbps 以太网连接，分别连接到每个IBM Cloud中。机架顶部ToR) 交换机（公用和专用）。 适配器设置为独立连接（非绑定），总共有 4 x 10 Gbps 或 4 x 25 Gbps 连接。 这种配置允许网络接口卡 (NIC) 连接相互独立工作。

无法为自动化产品中使用的IBM Cloud裸机服务器移除与公共或专用网络的物理网络连接。 裸机内部网卡上的物理端口可以禁用，但不支持拔掉电缆。

物理主机连接
* 物理主机连接* 物理主机连接* 物理主机

VLAN 以及下层到覆盖的路由

IBM Cloud for VMware Solutions 产品设计有 3 个 VLAN：一个公用 VLAN 和两个专用 VLAN；这些 VLAN 在部署时进行分配。 如上图所示，公用 VLAN 分配给 eth1 和 eth3，专用 VLAN 分配给 eth0 和 eth2。

缺省情况下，在 IBM Cloud 中未标记此设计中创建和分配的公用 VLAN 和第一个专用 VLAN。 然后，另一个专用 VLAN 在物理交换机端口上中继，并在使用这些子网的 VMware 端口组中进行标记。

在此设计中，专用网络由两个 VLAN 组成。 其中第一个 VLAN（此处指定为专用 VLAN A）分配了四个子网：

  • 第一个子网是 IBM Cloud 分配给物理主机的主专用 IP 子网范围。
  • 第二个子网用于管理虚拟机（VM），如vCenterServer Appliance 和 NSX Controller。
  • 第三个子网用于通过 NSX 管理器分配给每个主机和边缘的封装覆盖网络隧道端点（VTEP）。
  • 第四个子网用于封装重叠网络的出口。

除专用 VLAN A 外，还存在第二个专用 VLAN（此处指定为专用 VLAN B），以支持 "VMware功能，如 "vSAN™、"vMotion,"和 "NFS。 因此，VLAN 被分为两个或多个可移植子网：

  • 第一个子网分配给用于 vMotion 流量的内核端口组。
  • 其余子网用于存储流量：
    • 如果使用vSAN,为用于vSAN流量的内核端口组分配一个子网。
    • 如果使用连接NFS的 NAS，则会将一个子网分配给专用于NFS流量的端口组。

作为 VMware Cloud Foundation for Classic - Automated 部署的一部分而配置的所有子网都使用 IBM Cloud 管理的范围，可确保在需要连接时将任何 IP 地址路由到 IBM Cloud 帐户内的任何数据中心。

查看下表以了解摘要。

VLAN 和子网摘要
VLAN Type 描述
公用 主要 分配给物理主机以用于公用网络访问。 这些主机分配有公共 IP 地址，但在这些主机上未配置此 IP 地址，因此无法在公用网络上直接访问这些主机。 相反，公共 VLAN 的目的是为 NSX-T 边缘等其他组件提供公共互联网访问。
专用 A 主要 分配给 IBM Cloud 所分配物理主机的单个子网。 管理接口用于 vSphere 管理流量和 IPMI 接口。
专用 A 可移植 分配给作为管理组件的虚拟机的单一子网
专用 A 可移植 分配给 NSX-T™ VTEP 的单一子网
专用 A 可移植 为 NSX 边缘出口分配的单个子网
专用 B 可移植 分配用于 vSAN（如果在使用）的单个子网
专用 B 可移植 分配用于 NAS（如果在使用）的单个子网
专用 B 可移植 分配用于 vMotion 的单个子网

在此设计中，所有支持 VLAN 的主机和虚拟机都被配置为指向IBM Cloud后端“专用网络”客户路由器 (BCR) 作为默认路由。 虽然自动化实例支持使用软件定义网络（SDN），但IBM Cloud管理的路由器不知道在VMware实例内创建的网络叠加（包括到内部子网的路由）。

如果要在上层和下层之间进行路由，则必须在部署自动化实例时为特定默认专用 VLAN 部署IBM防火墙设备。 该设备允许插入静态路由，并与上层网络设备进行动态路由协议对等，以便在下层和上层之间进行路由选择。

专用网络连接配置为使用大小为 9000 的巨型帧 MTU，这将提高存储和 vMotion 等大型数据传输的性能。 该值是VMware和IBM Cloud 允许的最大 MTU。 公用网络连接使用标准以太网 MTU，即 1500。 该值必须保持不变，因为任何变化都可能导致互联网上的数据包碎片。

物理存储器设计

物理存储器设计由物理主机中安装的物理磁盘的配置以及共享网络连接存储器的配置组成。 这种存储包括操作系统vSphereESXi）和用于存储虚拟机的磁盘。 VM 的存储器可以由 VMware vSAN 虚拟化的本地磁盘、共享文件级别的存储器或共享块级别的存储器组成。

操作系统磁盘

vSphere ESXi 系统管理程序安装在持久位置。 因此，物理主机由 RAID 1 配置中的两个磁盘组成，以支持vSphereESXi 虚拟机管理程序的冗余。

vSAN 磁盘

这种设计允许选择使用VMware vSAN或共享网络连接存储作为虚拟机的主数据存储。 对于 VMware vSAN，这是使用全闪存配置进行配置的。 此设计支持多个配置选项，包括 2U 和 4U 机箱、不同磁盘数以及各种磁盘大小。 所有配置都使用两个 vSAN 磁盘组，其中一个固态磁盘 (SSD) 用于高速缓存，一个或多个 SSD 用于容量。 分配给vSAN使用的所有驱动器都配置为单磁盘 RAID 0。

有关支持配置的更多信息，请参阅 VCF for Classic - Automated BOM。

跨主机共享文件级别的存储器

如果使用共享文件级存储，则在组成初始VMware群集的主机上附加一个 2 TBNFS共享。 此共享称为管理共享，用于管理组件，如vCenterServer、Platform Services Controller 和VMwareNSX。

使用NFS v3协议从IBM Cloud 以 4 IOPS/GB 级别连接存储。

NFS shares that are attached to VMware deployment
NFS shares that are attached to VMware deployment

您可以在购买时或以后在控制台中，在所有主机上为工作负载分配和安装更多文件共享。 You can select from the available IBM Cloud Endurance file storage capacity options and performance tiers in the corresponding IBM Cloud data center. 所有共享均通过 NFS v3 协议连接。IBM Cloud耐久性文件存储包括由提供商管理的静态数据加密（AES-256加密），并由全闪存存储备份。

10 IOPS/GB 性能层限制为最大容量 4 TB。

有关此解决方案中使用的共享 NAS 的更多信息，请参阅共享存储器体系结构。