关于 NVMe-oF 主机映射

通过 IBM® Storage Ceph® as a Service,对Ceph存储集群的块级访问可以利用NVMe over Fabrics( NVMe-oF )标准来提供数据存储。 NVMe TCP协议允许客户端(称为启动器)通过 Internet Protocol 网络向存储设备(称为目标)发送 NVMe-oF 命令。 发起者可以是 Linux 客户或VMWare客户,也可以是两者。 对于VMWare客户,NVMe TCP卷显示为 VMFS data store,对于 Linux 客户,NVMe TCP卷显示为 block devices

启动器配置为允许NVMe TCP协议通过 Internet Protocol 网络向目标发送 NVMe-oF 命令。

NVMe-oF 网关启动器可在以下任一平台版本上配置:

  • Red Hat Enterprise Linux 9.2 或更晚

  • VMware vSphere Hypervisor (ESXi) 7.0U3 或更高版本

NVMe/TCP接口未加密,需要额外的网络控制。

如需指导,请参阅 从 NVME-oF 启动器连接

映射限制

  • 不支持将同一卷映射到多个 RHEL 主机。

  • 为了使多个 ESXi 主机能够访问同一个卷,它们必须属于同一个 VMWare 集群。

  • 如果主机未映射到任何卷,则无法发现任何卷。 但是,即使映射到单个卷,主机也能发现所有卷。

配置 NVMe-oF 启动器

在使用Ceph NVMe-oF 网关之前,您必须使用命令行界面安装并配置一个 NVMe-oF 网关。

为RHEL配置 NVMe-oF 启动器

使用此程序为 Red Hat Enterprise Linux (RHEL)配置NMVe面料。

  1. 安装nvme-cli。

    yum install nvme-cli
    
  2. 安装必要的NVMe软件包。

    modprobe nvme-fabrics
    

    通过在启动时加载带有此设置的模块,使启动设置保持不变:

    echo nvme_tcp > /etc/modules-load.d/nvme_tcp.conf
    
  3. 获取每个主机的主机NVMe合格名称(NQN)。

    cat /etc/nvme/hostnqn
    

    例如,

    # cat /etc/nvme/hostnqn
    
    nqn.2014-08.org.nvmexpress:uuid:950ddadf-f995-47b7-9416-b9bb233f66e3
    

为 VMware ESXi配置 NVMe-oF 启动器

使用此过程为 VMware ESXi配置NMVe面料。

  1. 请确保 VMware ESXi主机运行的是 VMware vSphere Hypervisor(ESXi) 7.0U3 版本或更高版本。

  2. 配置NVMe/TCP适配器。

  3. 在物理网络接口控制器(NIC)上启用NVMe/TCP。

    esxcli nvme fabrics enable --protocol TCP --device vmnicN
    

    用NIC的数量替换N。

  4. 标记VMkernel NIC以允许NVMe/TCP流量。

    esxcli network ip interface tag add --interface-name vmkN --tagname NVMeTCP
    

    用 VMkernel 的 ID 替换 N。

  5. 获取每个主机的主机NVMe合格名称(NQN)。

    esxcli nvme info get
    

    例如,

    # esxcli nvme info get
    
    Host NQN: nqn.2014-08.com.ibm.ceph:nvme:host01
    

后续步骤

配置启动器后,必须在 IBM Storage Ceph as a Service 中创建相应的“主机”。 参见 创建主机

在创建主机时,必须使用启动程序中的 NQN。