使用您自己的存储类对卷数据进行加密

您可以通过首先创建自己的存储类来部署使用加密卷的应用程序。

以下步骤说明如何创建可用来创建具有相同配置的多个加密块存储器实例的定制加密存储类。 如果要使用其中一个 IBM提供的存储类来创建加密 PVC，那么可以通过 在 PVC 中直接引用 Key Protect 凭证 来执行此操作。

1. 决定存储器配置。

2. 创建您自己的存储类，以使用其中一个 IBM提供的存储类作为基础来供应加密块存储器实例。 您可以通过运行 oc get sc <storageclass_name> -o yaml 来检索存储类的详细信息。 以下示例基于 ibmc-block-retain-bronze 存储类。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: <name> # Enter the name of the storage class. Example: my_custom_storageclass
   parameters:
     billingType: hourly
     classVersion: "2"
     fsType: ext4
     iopsPerGB: "2"
     sizeRange: '[20-12000]Gi'
     type: Endurance
     encrypted: "true" # Enter "true" to enable encryption.
     encryptionKeySecret: <secret_name> # # #nter the name of the secret that you created earlier.Example: my_secret
     encryptionKeyNamespace: <namespace> # # #nter the namespace where you created your secret. Example: default
   provisioner: ibm.io/ibmc-block
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   

3. 在集群中创建存储类。

   oc apply -f storageclass.yaml
   

4. 通过使用您自己的存储类来创建 PVC，将 Block Storage for Classic 添加到应用程序。

5. 验证 Block Storage for Classic 卷 的加密。

创建引用 Block Storage for Classic 私钥的 PVC

您可以通过创建用于指定保存 Key Protect 凭证的 Kubernetes 私钥的 PVC 来供应已加密的 Block Storage for Classic。

以下步骤显示了如何在 PVC 中引用 Key Protect 凭证以创建加密的 Block Storage for Classic 实例。 要在不指定每个 PVC 中的 Key Protect 凭证的情况下创建多个加密卷，可以 创建定制的加密存储类。

1. 查看提供的 Block Storage for Classic 存储类，以确定哪个存储类最符合应用程序需求。 如果提供的存储类不满足应用程序需求，那么您可以创建自己的 定制存储类。

2. 创建名为 pvc.yaml 的 PVC 配置文件，该文件引用存储了 Key Protect 服务凭证的 Kubernetes 私钥。 要创建此私钥，请参阅 设置 Block Storage for Classic的加密。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <pvc_name> # Enter a name for your PVC.
     annotations:
     volume.beta.kubernetes.io/storage-class: "<storage_class>" # Enter a storage class. To see a list of storageclasses run `kubectl get storageclasses`.
     labels:
       encrypted: "true"
       encryptionKeyNamespace: <namespace> # Enter the namespace where your secret was created.
       encryptionKeySecret: <secret_name> # Enter the name of the secret you created.
   spec:
     accessModes:
       - ReadWriteOnce
       resources:
       requests:
           storage: 20Gi
   

3. 在集群中创建 PVC。

   oc apply -f pvc.yaml
   

4. 检查 PVC 的状态。

   oc get pvc
   

5. 等待 PVC 绑定，然后 创建使用 PVC 的部署。

6. 验证 Block Storage for Classic 卷 的加密。

验证 Block Storage for Classic 卷的加密

您可以通过检查卷安装路径来验证卷的加密。

1. 登录应用程序 pod。 将 <pod_name> 替换为安装加密 Block Storage for Classic 卷的 pod 的名称。

   oc exec <pod_name> -it bash
   

2. 列出 pod 的文件系统。

   df -h
   

3. 查看已加密的 Block Storage for Classic 卷的文件系统路径。

   • 加密卷的路径结构为 /dev/mapper/<pvc-ID_encrypted>。 在此示例中，加密卷将安装到 pod 中的 /test 文件路径。

     Filesystem                                            Size  Used Avail Use% Mounted on
     overlay                                                98G  8.2G   85G   9% /
     tmpfs                                                  64M     0   64M   0% /dev
     tmpfs                                                 2.0G     0  2.0G   0% /sys/fs/cgroup
     /dev/mapper/pvc-a011a111-1111-1111-111a-aaa1a1111a11_encrypted   20G   45M   20G   1% /test
     

   • 未加密卷的路径结构为 dev/mapper/<random_string>。

     Filesystem                                     Size  Used Avail Use% Mounted on
     overlay                                         98G   16G   78G  17% /
     tmpfs                                           64M     0   64M   0% /dev
     tmpfs                                          7.9G     0  7.9G   0% /sys/fs/cgroup
     /dev/mapper/3600a09803830476e733f4e477370716e   24G   45M   24G   1% /test
     

除去 Kubernetes 私钥不会撤销对卷数据的访问权。 如果创建了仅限 pod 的部署，那么必须删除 pod。 如果创建了部署，那么必须删除该部署。

检索现有块存储的信息

1. 检索或生成 IBM Cloud 基础架构帐户的 API 密钥。

   1. 登录 IBM Cloud基础架构门户。
   2. 选择帐户，再选择用户，然后选择用户列表。
   3. 找到您的用户标识。
   4. 在 API 密钥列中，单击生成以生成 API 密钥，或者单击查看以查看现有 API 密钥。

2. 检索您的IBM Cloud基础架构帐户的 API 用户名。

   1. 从用户列表菜单中，选择您的用户标识。
   2. 在 API 访问信息部分中，找到您的 API 用户名。

3. 登录到 IBM Cloud Infrastructure CLI 插件。

   ibmcloud sl init
   

4. 选择使用IBM Cloud基础架构帐户的用户名和 API 密钥进行身份验证。

5. 输入您在前面步骤中获取的用户名和 API 密钥。

6. 列出可用的块存储设备。

   ibmcloud sl block volume-list
   

   示例输出

   id          username              datacenter   storage_type                capacity_gb   bytes_used   lunId   
   11111111    IBM01AAA1111111-1     wdc07        endurance_block_storage     45            -            2      
   

7. 检索卷详细信息。 将 <volume_ID> 替换为您在步骤 6 中检索到的块存储卷的标识。

   ibmcloud sl block volume-detail <volume_ID>
   

   示例输出

   ID                         11111111
   User name                  IBM01AAA1111111-1   
   Type                       endurance_block_storage   
   Capacity (GB)              45   
   LUN Id                     2   
   IOPs                       100   
   Datacenter                 wdc07   
   Target IP                  10.XXX.XX.XXX  
   # of Active Transactions   0   
   Replicant Count            0
   

8. 记下要安装到集群的卷的 ID，Capacity，LUN Id，Datacenter 和 Target IP。 **注：**要将现有存储器安装到集群，必须在存储器所在的专区中有工作程序节点。 要验证工作节点的区域，请运行 "ibmcloud oc worker ls --cluster <cluster_name_or_ID>。

创建持久卷 (PV) 和匹配的持久卷要求 (PVC)

1. 可选项：如果有使用 "retain 存储类别配置的存储，则在移除 PVC 时，PV 和物理存储设备不会被移除。 要在集群中复用存储器，必须首先除去 PV。 列出现有 PV 并查找属于持久存储器的 PV。 该 PV 处于 released 状态。

   oc get pv
   

2. 除去该 PV。

   oc delete pv <pv_name>
   

3. 确认 PV 已移除。

   oc get pv
   

4. 为 PV 创建配置文件。 包含先前检索的参数。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: "block-storage-pv" # Enter a name for your PV. For example, my-static-pv.
     labels:
        failure-domain.beta.kubernetes.io/region: "<region>" # Example us-east.
        failure-domain.beta.kubernetes.io/zone: "<zone>" # Example: wdc04. See /docs/openshift?topic=openshift-regions-and-zones#zones-sz
   spec:
     capacity:
       storage: "<storage>"
     accessModes:
       - ReadWriteOnce
     flexVolume:
       driver: "ibm/ibmc-block"
       fsType: "<fs_type>" # Enter ext or xfs
       options:
         "Lun": "<Lun_ID>"
         "TargetPortal": "<TargetPortal>"
         "VolumeID": "<VolumeID>"
         "volumeName": "block-storage-pv" # Enter the same value as your PV name from metadata.name
   

   name

   给光伏起个名字。 例如，block-storage-pv。 请注意，您还必须在 spec.FlexVolume.options 中输入此值作为 volumeName。

   labels

   输入先前检索到的区域和专区。 必须在持久性存储器所在的区域和专区中至少有一个工作程序节点，才能在集群中安装该存储器。 要检索卷详细信息，请运行 ibmcloud sl block volume-list 以获取卷标识，然后运行 ibmcloud sl block volume-detail <volume_ID> 以获取卷的详细信息。

   region

   输入块存储所在的区域。 请注意，集群和块存储器必须位于同一区域中。 要查找群集位置，请运行 "ibmcloud oc cluster ls。 有关可用区域和区域的更多信息，请参阅 区域和区域。 例如，us-east。

   zone

   输入存储卷所在的区域。 要检索卷详细信息，请运行 ibmcloud sl block volume-list 以获取卷标识，然后运行 ibmcloud sl block volume-detail <volume_ID> 以获取卷的详细信息。 请注意，要将块存储器连接到集群，您必须在要连接的卷所在的专区中具有可用的工作程序节点。 要查找工作程序节点的专区，请运行 ibmcloud oc worker ls -c <cluster>。 例如，wdc04。

   storage

   输入要连接到集群的现有块存储卷的存储器大小。 存储器大小必须以千兆字节为单位，例如 20Gi (20 GB) 或 1000Gi (1 TB)。 要检索卷详细信息，请运行 ibmcloud sl block volume-list 以获取卷标识，然后运行 ibmcloud sl block volume-detail <volume_ID> 以获取卷的详细信息。

   fsType

   输入为现有块存储器配置的文件系统类型。 选择“ext4 或”xfs。 如果不指定该选项，PV 默认为 "ext4。 如果定义了错误的 fsType，那么 PV 创建会成功，但将 PV 安装到 pod 会失败。 要检索卷详细信息，请运行 ibmcloud sl block volume-list 以获取卷标识，然后运行 ibmcloud sl block volume-detail <volume_ID> 以获取卷的详细信息。

   Lun

   输入块存储卷的 LUN 标识。 要检索卷详细信息，请运行 ibmcloud sl block volume-list 以获取卷标识，然后运行 ibmcloud sl block volume-detail <volume_ID> 以获取卷的详细信息。

   TargetPortal

   输入块存储的 IP 地址。 要检索 TargetPortal 参数，请运行 ibmcloud sl block volume-list 以获取卷标识，然后运行 ibmcloud sl block volume-detail <volume_ID> 并在输出中记录 Target IP。

   VolumeId

   输入块存储器的标识。 要检索卷详细信息，请运行 ibmcloud sl block volume-list。

   volumeName

   请输入与 PV 名称相同的值。 例如，block-storage-pv。

5. 在集群中创建 PV。

   oc apply -f pv.yaml
   

6. 验证 PV 是否已创建。

   oc get pv
   

7. 创建另一个配置文件以创建 PVC。 为了使 PVC 与先前创建的 PV 相匹配，必须为 storage 和 accessMode 选择相同的值。 storage-class 字段必须为空字符串。 如果其中任何字段与 PV 不匹配，则会自动创建一个新的 PV。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: block-storage-pvc
   spec:
     accessModes:
     - ReadWriteOnce
     resources:
       requests:
         storage: "20Gi"
     storageClassName: ""
   

8. 创建 PVC。

   oc apply -f static-pvc.yaml
   

9. 验证 PVC 是否已创建并与先前创建的 PV 绑定。 此过程可能需要几分钟时间。

   oc describe pvc static-pvc
   

   示例输出

   Name:          static-pvc
   Namespace:     default
   StorageClass:  
   Status:        Bound
   

10. 可选 将以下示例 pod 配置另存为名为 pod.yaml 的文件。

apiVersion: v1
kind: Pod
metadata:
  name: block-storage
  labels:
    app: block-storage
spec:
  containers:
    - name: block-storage
      image: nginx
      command: ["/bin/sh"]
      args: ["-c", "while true; do date \"+%Y-%m-%d %H:%M:%S\"; sleep 3600; done"]
      workingDir: /home
      imagePullPolicy: Always
      ports:
        - containerPort: 80
      volumeMounts:
        - name: block-storage-pv
          mountPath: /home
  volumes:
    - name: block-storage-pv
      persistentVolumeClaim:
        claimName: block-storage-pvc

11. 在群集中创建 pod。

oc create -f pod.yaml

12. 在 pod 处于 Running 状态后，获取日志。

oc logs

示例输出

2022-01-21 16:11:00

您已成功创建 PV，并将其绑定到 PVC。 然后，您已部署并应用了使用块存储器的应用程序。 群集用户现在可以 将 PVC 挂载 到他们的部署，并开始读取和写入持久卷。

创建有状态集时使用动态供应来创建 PVC

如果要在创建有状态集时自动创建 PVC，请使用此选项。

开始之前: 访问 Red Hat OpenShift 集群。

完成以下步骤以验证集群中的所有现有有状态集是否已完全部署。 如果有状态数据集仍在部署中，则无法开始创建有状态数据集。 您必须等待集群中的所有有状态集完全部署，以避免发生意外结果。

1. 列出集群中现有的有状态集。

   oc get statefulset --all-namespaces
   

   示例输出

   NAME              DESIRED   CURRENT   AGE
   mystatefulset     3         3         6s
   

2. 查看每个有状态集的 Pods Status，以确保有状态集部署完成。

   oc describe statefulset <statefulset_name>
   

   示例输出

   Name:               nginx
   Namespace:          default
   CreationTimestamp:  Fri, 05 Oct 2022 13:22:41 -0400
   Selector:           app=nginx,billingType=hourly,region=us-south,zone=dal10
   Labels:             app=nginx
   billingType=hourly
   region=us-south
   zone=dal10
   Annotations: oc.kubernetes.io/last-applied-configuration={"apiVersion":"apps/v1","kind":"StatefulSet","metadata":{"annotations":{},"name":"nginx","namespace":"default"},"spec":{"podManagementPolicy":"Par..."
   Replicas:           3 desired | 3 total
   Pods Status:        0 Running / 3 Waiting / 0 Succeeded / 0 Failed
   Pod Template:
   Labels:  app=nginx
   billingType=hourly
   region=us-south
   zone=dal10
   ...
   

   在 CLI 输出的 Replicas 部分中找到的副本数等于 Pods Status 部分中 Running pod 的数目时，说明有状态集已完全部署。 如果有状态集尚未完全部署，请等待部署完成，然后再继续。

3. 为有状态集和用于公开有状态集的服务创建配置文件。 以下示例显示了如何将 NGINX 部署为具有 3 个副本的有状态集。 对于每个副本，将根据 ibmc-block-retain-bronze 存储类中定义的规范供应一个 20 千兆字节的块存储设备。 所有存储设备都在 dal10 专区中供应。 由于无法从其他区域访问块存储，有状态数据集的所有副本也都部署到了位于 "dal10 的工作节点上。

   apiVersion: v1
   kind: Service
   metadata:
    name: nginx
    labels:
   app: nginx
   spec:
   ports:
   - port: 80
       name: web
   clusterIP: None
   selector:
       app: nginx
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nginx
   spec:
     serviceName: "nginx"
     replicas: 3
     podManagementPolicy: Parallel
     selector:
       matchLabels:
       app: nginx
       billingType: "hourly"
       region: "us-south" # Enter the region where your cluster is located.
       zone: "dal10"
   template:
     metadata:
     labels:
         app: nginx
         billingType: "hourly"
         region: "us-south"
         zone: "dal10"
     spec:
     containers:
     - name: nginx
       image: nginx
       ports:
       - containerPort: 80
         name: web
       volumeMounts:
       - name: myvol
       mountPath: /usr/share/nginx/html
   volumeClaimTemplates:
   - metadata:
       name: myvol
       spec:
       accessModes:
       - ReadWriteOnce
       resources:
           requests:
           storage: 20Gi
           iops: "300" #required only for performance storage
       storageClassName: ibmc-block-retain-bronze
   

   以下示例显示了如何将 NGINX 部署为具有 3 个副本的有状态集。 有状态集未指定在其中创建块存储器的区域和专区。 有状态集改为使用反亲缘关系规则来确保 pod 跨工作程序节点和专区分布。 通过定义“topologykey: failure-domain.beta.kubernetes.io/zone，Kubernetes调度器无法调度工人节点上的 pod，如果该工人节点与带有”app: nginx 标签的 pod 位于同一区域的话。 对于每个有状态集 pod，将创建两个 PVC，如 volumeClaimTemplates 部分中所定义，但会延迟创建块存储器实例，直到安排了使用该存储器的有状态集 pod。 这种设置被称为 拓扑感知卷调度。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: ibmc-block-bronze-delayed
   parameters:
     billingType: hourly
     classVersion: "2"
     fsType: ext4
     iopsPerGB: "2"
     sizeRange: '[20-12000]Gi'
     type: Endurance
   provisioner: ibm.io/ibmc-block
   reclaimPolicy: Delete
   volumeBindingMode: WaitForFirstConsumer
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: nginx
     labels:
       app: nginx
   spec:
     ports:
     - port: 80
       name: web
     clusterIP: None
     selector:
       app: nginx
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: web
   spec:
     serviceName: "nginx"
     replicas: 3
     podManagementPolicy: "Parallel"
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         affinity:
           podAntiAffinity:
             preferredDuringSchedulingIgnoredDuringExecution:
             - weight: 100
               podAffinityTerm:
                 labelSelector:
                   matchExpressions:
                   - key: app
                     operator: In
                     values:
                     - nginx
                 topologyKey: failure-domain.beta.kubernetes.io/zone
         containers:
         - name: nginx
           image: k8s.gcr.io/nginx-slim:0.8
           ports:
           - containerPort: 80
             name: web
           volumeMounts:
           - name: myvol1
             mountPath: /usr/share/nginx/html
           - name: myvol2
             mountPath: /tmp1
     volumeClaimTemplates:
     - metadata:
         name: myvol1
       spec:
         accessModes:
         - ReadWriteOnce # access mode
         resources:
           requests:
             storage: 20Gi
         storageClassName: ibmc-block-bronze-delayed
     - metadata:
         name: myvol2
       spec:
         accessModes:
         - ReadWriteOnce # access mode
         resources:
           requests:
             storage: 20Gi
         storageClassName: ibmc-block-bronze-delayed
   

   name

   输入有状态集的名称。 您输入的名称将用于创建 PVC 的名称，格式为 <volume_name>-<statefulset_name>-<replica_number>.

   serviceName

   输入要用于公开有状态集的服务的名称。

   replicas

   输入有状态集的副本数。

   podManagementPolicy

   输入要用于有状态集的 pod 管理策略。

   • OrderedReady：使用该选项时，有状态集合副本会一个接一个地部署。 例如，如果指定了 3 个副本，那么 Kubernetes 会为第一个副本创建 PVC，然后等待 PVC 绑定后，部署该有状态集副本，接着将 PVC 安装到该副本。 此部署完成后，将部署第二个副本。 有关该选项的更多信息，请参阅 "OrderedReady 舱位管理
   • 并行：使用此选项，所有有状态数据集副本的部署都会同时启动。 如果应用程序支持对副本进行并行部署，请使用此选项以节省 PVC 和有状态集副本的部署时间。

   matchLabels

   在“规格选择器”部分，输入要包含在有状态集和 PVC 中的所有标签。 Kubernetes 无法识别在有状态集的 "volumeClaimTemplates 中包含的标签。 您可能想要包含的样本标签包括：

   • 区域和区：如果希望在一个特定区域创建所有有状态数据集副本和 PVC，请同时添加这两个标签。 您还可以在使用的存储类中指定专区和区域。 如果未指定区域和地区，但拥有多区域群集，则会在轮循基础上选择调配存储的区域，以在所有区域间均衡卷请求。
   • billingType：输入您希望用于 PVC 的计费类型。 选择“hourly 或”monthly。 如果不指定此标签，所有 PVC 都将以小时计费类型创建。

   labels

   在规范模板元数据部分中，输入添加到 spec.selector.matchLabels 部分的相同标签。

   affinity

   在规范模板规范部分，指定反亲缘规则，以确保有状态集 pod 分布在不同的工作节点和区域。 此示例显示了反亲缘关系规则，其中有状态集 pod 不希望安排在运行具有 app: nginx 标签的 pod 的工作程序节点上。 topologykey: failure-domain.beta.kubernetes.io/zone 甚至进一步限制了此反亲缘关系规则：如果工作程序节点与具有 app: nginx 标签的 pod 位于同一专区中，那么此项会阻止 pod 安排在该工作程序节点上。 通过使用此反亲缘关系规则，可以跨工作程序节点和专区实现反亲缘关系。

   name

   在规范卷声明模板元数据部分中，输入卷的名称。 使用与 "spec.containers.volumeMount.name 部分中定义的相同名称。 您在此处输入的名称将用于创建 PVC 的名称，格式为 <volume_name>-<statefulset_name>-<replica_number>.

   storage

   在“规范卷声明模板规范资源请求”部分中，输入块存储器的大小 (以千兆字节 (Gi) 为单位)。

   iops

   在“规范卷声明模板规范资源请求”部分中，如果要供应 性能存储器，请输入 IOPS 数。 如果使用耐久性存储类并指定了一些 IOPS，那么将忽略 IOPS 数， 而改为使用在存储类中指定的 IOPS。

   storageClassName

   在“规范卷声明模板规范”部分中，输入要使用的存储类。 要列出现有存储类，请运行 "oc get sc | grep block。 如果未指定存储类别，PVC 将使用群集中设置的默认存储类别创建。 确保默认存储类使用 "ibm.io/ibmc-block 供应器，以便有状态集使用块存储供应。

4. 创建有状态集。

   oc apply -f statefulset.yaml
   

5. 等待有状态集进行部署。

   oc describe statefulset <statefulset_name>
   

   要查看 PVC 的当前状态，请运行 oc get pvc。 PVC 名称的格式为 "<volume_name>-<statefulset_name>-<replica_number>。

通过使用现有 PVC 与有状态设置进行静态配置

您可以在创建有状态集之前预先供应 PVC，也可以将现有 PVC 用于有状态集。

如果是在创建有状态集时动态供应 PVC，那么 PVC 的名称将根据在有状态集 YAML 文件中使用的值来指定。 为了使有状态集使用现有 PVC，PVC 的名称必须与使用动态供应时自动创建的名称相匹配。

开始之前: 访问 Red Hat OpenShift 集群。

1. 如果要在创建有状态集之前为该有状态集预供应 PVC，请执行向应用程序添加块存储器中的步骤 1-3，以便为每个有状态集副本创建 PVC。 确保创建的 PVC 名称符合以下格式：<volume_name>-<statefulset_name>-<replica_number>.

   volume_name

   使用要在有状态数据集的“spec.volumeClaimTemplates.metadata.name 部分指定的名称，如”nginxvol。

   statefulset_name

   使用要在有状态数据集的“metadata.name 部分指定的名称，如”nginx_statefulset。

   replica_number

   输入副本的编号，从 0 开始。

   例如，如果必须创建 3 个有状态集副本，请使用以下名称创建 3 个 PVC：nginxvol-nginx_statefulset-0、nginxvol-nginx_statefulset-1 和 nginxvol-nginx_statefulset-2。

   想要为现有存储设备创建 PVC 和 PV？ 请使用静态供应来创建 PVC 和 PV。

2. 执行动态供应：创建有状态集时创建 PVC 中的步骤来创建有状态集。 PVC 的名称格式为 "<volume_name>-<statefulset_name>-<replica_number>。 确保在有状态集规范中使用 PVC 名称的以下值： spec.volumeClaimTemplates.metadata.name : 输入 PVC 名称的 "<volume_name>。

   metadata.name

   输入 PVC 名称的 "<statefulset_name>。

   spec.replicas

   输入要为有状态数据集创建的副本数量。 副本数必须等于早先创建的 PVC 数。

   如果您的 PVC 位于不同的区域，请不要在有状态设置中包含区域或区域标签。

3. 通过列出集群中的 pod，验证是否在有状态集副本 pod 中使用了 PVC。 识别属于有状态集的 pod。

   oc get pods
   

4. 验证现有 PVC 是否已安装到有状态集副本。 请在 CLI 输出的 ClaimName 部分中查看 Volumes。

   oc describe pod <pod_name>
   

   示例输出

   Name:           nginx-0
   Namespace:      default
   Node:           10.xxx.xx.xxx/10.xxx.xx.xxx
   Start Time:     Fri, 05 Oct 2022 13:24:59 -0400
   ...
   Volumes:
   myvol:
     Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
     ClaimName:  myvol-nginx-0
   ...
   

设置定期快照

可以为块存储器设置定期快照，这是捕获某个时间点的实例状态的只读映像。

要存储快照，必须在块存储器上请求快照空间。 快照会存储在同一专区的现有存储器实例上。 如果用户意外从卷中除去重要数据，那么可以从快照复原数据。 \n \n ** 要为卷创建快照，请完成以下步骤。

1. 访问 Red Hat OpenShift 集群。

2. 登录到 ibmcloud sl CLI。

   ibmcloud sl init
   

3. 列出集群中的现有 PV。

   oc get pv
   

4. 获取要为其创建快照空间的 PV 的详细信息，并记下卷标识、大小和 IOPS。 大小和 IOPS 显示在 CLI 输出的“标签”部分。

   oc describe pv <pv_name>
   

5. 要查找卷 ID，请查看 CLI 输出中的 "ibm.io/network-storage-id 注释。

6. 使用您在先前步骤中检索到的参数为现有卷创建快照大小。

   ibmcloud sl block snapshot-order <volume_ID> --size <size> --tier <iops>
   

7. 等待快照大小创建。 当 CLI 输出中的快照大小 (GB) 从 0 变为您订购的大小时，快照大小就已成功配置。

   ibmcloud sl block volume-detail <volume_ID>
   

8. 为卷创建快照，并记下创建的快照的标识。

   ibmcloud sl block snapshot-create <volume_ID>
   

9. 验证快照是否已成功创建。

   ibmcloud sl block snapshot-list <volume_ID>
   

10. 设置快照调度。 有关可用于快照调度的选项的更多信息，请参阅 CLI 文档。

    ibmcloud sl block snapshot-enable VOLUME_ID <OPTIONS>
    

11. 要将数据从快照复原到现有卷，请运行以下命令。

    ibmcloud sl block snapshot-restore <volume_ID> <snapshot_ID>
    

将快照复制到另一区域

为了保护数据不受专区故障的影响，可以复制快照到其他专区中设置的块存储器实例。

数据只能从主存储器复制到备份存储器。 无法将复制的块存储实例挂载到群集。 主存储器发生故障时，可以手动将复制的备份存储器设置为主存储器。 然后，可以将其安装到集群。 复原主存储器后，可以从备份存储器复原数据。

正在复制存储器

可以在原始存储器实例所在的专区中复制块存储器实例。

复制项所含的数据是其创建的那个时间点上原始存储器实例的数据。 与副本不同，复制项用作独立于原始项的存储器实例。 要进行复制，请首先为卷设置快照。

将数据备份到 IBM Cloud® Object Storage

您可以使用 ibm-backup-restore Helm图表在集群中启动备份和还原 pod。

此 pod 包含一个脚本，用于对集群中的任何持久卷声明 (PVC) 运行一次性或定期备份。 数据存储在您在某个专区设置的 IBM Cloud® Object Storage 实例中。

块存储器使用 RWO 访问方式进行安装。 此访问权仅允许一次将一个 pod 安装到块存储器。 要备份数据，必须从存储器中卸载应用程序 pod，将其安装到备份 pod，备份数据，然后将存储器重新安装到应用程序 pod。

要使数据具有更高可用性，并保护应用程序不受专区故障的影响，请设置第二个 Object Storage 实例，并在各个专区之间复制数据。 如果需要还原Object Storage实例中的数据，请使用Helm图表提供的还原 pod。

在 pod 和容器之间复制数据

您可以使用 "oc cp 命令将文件和目录复制到集群中的 pod 或特定容器，也可以从 pod 或特定容器复制文件和目录。

访问 Red Hat OpenShift 集群。

运行 oc cp 命令时，如果未使用 -c 指定容器，那么该命令将使用 pod 中的第一个可用容器。

将数据从本地计算机复制到群集中的 pod。

oc cp <local_filepath>/<filename> <namespace>/<pod>:<pod_filepath>

将数据从群集中的 pod 复制到本地计算机。

oc cp <namespace>/<pod>:<pod_filepath>/<filename> <local_filepath>/<filename>

将数据从本地计算机复制到在集群的 pod 中运行的特定容器中。

oc cp <local_filepath>/<filename> <namespace>/<pod>:<pod_filepath> -c CONTAINER

铜级

名称

ibmc-block-bronze

ibmc-block-retain-bronze

Type

耐久性存储器

文件系统

ext4

IOPS/千兆字节

2

大小范围（千兆字节）

20-12000 Gi

硬盘

SSD

回收策略

ibmc-block-bronze: 删除

ibmc-block-retain-bronze: 保留

银牌级

名称

ibmc-block-silver

ibmc-block-retain-silver

Type

耐久性存储器

文件系统

ext4

IOPS/千兆字节

4

大小范围（千兆字节）

20-12000 Gi

硬盘

SSD

回收策略

ibmc-block-silver: 删除

ibmc-block-retain-silver: 保留

金级

名称

ibmc-block-gold

ibmc-block-retain-gold

Type

耐久性存储器

文件系统

ext4

IOPS/千兆字节

10

大小范围（千兆字节）

20-4000 Gi

硬盘

SSD

回收策略

ibmc-block-gold: 删除

ibmc-block-retain-gold: 保留

定制

名称

ibmc-block-custom

ibmc-block-retain-custom

Type

性能文件系统

ext4

IOPS 和大小

以千兆字节为单位的大小范围/以 100 的倍数为单位的 IOPS 范围

• 20-39 Gi / 100-1000 IOPS
• 40-79 Gi / 100-2000 IOPS
• 80-99 Gi / 100-4000 IOPS
• 100-499 Gi / 100-6000 IOPS
• 500-999 Gi / 100-10000 IOPS
• 1000-1999 Gi / 100-20000 IOPS
• 2000-2999 Gi / 200-40000 IOPS
• 3000-3999 Gi / 200-48000 IOPS
• 4000-7999 Gi / 300-48000 IOPS
• 8000-9999 Gi / 500-48000 IOPS
• 10000-12000 Gi / 1000-48000 IOPS

硬盘

IOPS 与千兆字节的比率确定供应的硬盘类型。 要确定 IOPS 与千兆字节的比率，请将 IOPS 除以存储器的大小。

举例说明：您选择了 IOPS 为 100 的500Gi存储设备。 因此，比率为 0.2 (100 IOPS/500 Gi)。

按比率划分的硬盘类型概览

• 小于或等于 0.3：SATA
• 大于 0.3：SSD

回收策略

ibmc-block-custom: 删除

ibmc-block-retain-custom: 保留

创建拓扑感知存储器

要在多专区集群中使用块存储器，必须将 pod 安排在块存储器实例所在的专区中，以便您可以读取和写入卷。 在 Kubernetes 引入拓扑感知卷安排之前，创建 PVC 时，存储器的动态供应会自动创建块存储器实例。 然后，在创建 pod 时，Kubernetes 调度程序会尝试将 pod 部署到块存储器实例所在的数据中心。

在不了解 pod 约束的情况下创建块存储器实例可能会导致意外结果。 例如，可能会由于存储器所在的工作程序节点的资源不足，或者该工作程序节点有污点而不允许安排 pod，导致您的 pod 无法安排到该工作程序节点。 使用拓扑感知卷安排时，会延迟块存储器实例创建，直到创建了使用该存储器的第一个 pod。

要使用拓扑感知卷调度，请确保安装了 "IBM Cloud"Block Storage插件的 "1.2.0或更高版本。

以下示例显示了如何创建存储类以用于延迟块存储器实例创建，直到使用此存储器的第一个 pod 准备就绪可安排为止。 要延迟创建，必须包含 volumeBindingMode: WaitForFirstConsumer 选项。 如果不包含该选项，“volumeBindingMode 将自动设置为”Immediate，并在创建 PVC 时创建块存储实例。

耐用块存储示例

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ibmc-block-bronze-delayed
  parameters:
    billingType: hourly
    classVersion: "2"
    fsType: ext4
    iopsPerGB: "2"
    sizeRange: '[20-12000]Gi'
    type: Endurance
  provisioner: ibm.io/ibmc-block
  reclaimPolicy: Delete
  volumeBindingMode: WaitForFirstConsumer

性能块存储示例

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ibmc-block-performance-storageclass
  labels:
  kubernetes.io/cluster-service: "true"
  provisioner: ibm.io/ibmc-block
  parameters:
    billingType: "hourly"
    classVersion: "2"
    sizeIOPSRange: |-
    "[20-39]Gi:[100-1000]"
    "[40-79]Gi:[100-2000]"
    "[80-99]Gi:[100-4000]"
    "[100-499]Gi:[100-6000]"
    "[500-999]Gi:[100-10000]"
    "[1000-1999]Gi:[100-20000]"
    "[2000-2999]Gi:[200-40000]"
    "[3000-3999]Gi:[200-48000]"
    "[4000-7999]Gi:[300-48000]"
    "[8000-9999]Gi:[500-48000]"
    "[10000-12000]Gi:[1000-48000]"
    type: "Performance"
  reclaimPolicy: Delete
  volumeBindingMode: WaitForFirstConsumer

指定专区和区域

如果要在特定专区中创建块存储器，可以在定制存储类中指定专区和区域。

如果使用的是 IBM Cloud Block Storage V1.0.0 插件，或者要在特定专区中静态供应块存储器，请使用定制存储类。 在其他所有情况下，请直接在 PVC 中指定专区。

以下 .yaml 文件定制基于 ibm-block-silver 非保留存储类的存储类：type 为 "Endurance"，iopsPerGB 为 4，sizeRange 为 "[20-12000]Gi"，reclaimPolicy 设置为 "Delete"。 专区指定为 dal12。 要将其他存储类用作您的基础，请参阅存储类参考。

在集群和工作程序节点所在的区域和专区中创建存储类。 To get the region of your cluster, run ibmcloud oc cluster get --cluster <cluster_name_or_ID> and look for the region prefix in the 主 URL, such as eu-de in https://c2.eu-de.containers.cloud.ibm.com:11111. 要获取工作节点的区域，请运行 "ibmcloud oc worker ls --cluster <cluster_name_or_ID>。

耐用块存储示例

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ibmc-block-silver-mycustom-storageclass
  labels:
    kubernetes.io/cluster-service: "true"
provisioner: ibm.io/ibmc-block
parameters:
  zone: "dal12"
  region: "us-south"
  type: "Endurance"
  iopsPerGB: "4"
  sizeRange: "[20-12000]Gi"
reclaimPolicy: "Delete"

性能块存储示例

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
    name: ibmc-block-performance-storageclass
labels:
  kubernetes.io/cluster-service: "true"
provisioner: ibm.io/ibmc-block
parameters:
  zone: "dal12"
  region: "us-south"
  type: "Performance"
  sizeIOPSRange: |-
  "[20-39]Gi:[100-1000]"
  "[40-79]Gi:[100-2000]"
  "[80-99]Gi:[100-4000]"
  "[100-499]Gi:[100-6000]"
  "[500-999]Gi:[100-10000]"
  "[1000-1999]Gi:[100-20000]"
  "[2000-2999]Gi:[200-40000]"
  "[3000-3999]Gi:[200-48000]"
  "[4000-7999]Gi:[300-48000]"
  "[8000-9999]Gi:[500-48000]"
  "[10000-12000]Gi:[1000-48000]"
reclaimPolicy: "Delete"

使用 XFS 文件系统安装块存储器

以下示例创建使用 XFS 文件系统来供应块存储器的存储类。

耐用块存储示例

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ibmc-block-custom-xfs
labels:
  addonmanager.kubernetes.io/mode: Reconcile
provisioner: ibm.io/ibmc-block
parameters:
  type: "Endurance"
  iopsPerGB: "4"
  sizeRange: "[20-12000]Gi"
  fsType: "xfs"
reclaimPolicy: "Delete"

性能块存储示例

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ibmc-block-custom-xfs
  labels:
    addonmanager.kubernetes.io/mode: Reconcile
provisioner: ibm.io/ibmc-block
parameters:
  classVersion: "2"
  type: "Performance"
  sizeIOPSRange: |-
    [20-39]Gi:[100-1000]
    [40-79]Gi:[100-2000]
    [80-99]Gi:[100-4000]
    [100-499]Gi:[100-6000]
    [500-999]Gi:[100-10000]
    [1000-1999]Gi:[100-20000]
    [2000-2999]Gi:[200-40000]
    [3000-3999]Gi:[200-48000]
    [4000-7999]Gi:[300-48000]
    [8000-9999]Gi:[500-48000]
    [10000-12000]Gi:[1000-48000]
  fsType: "xfs"
reclaimPolicy: "Delete"

了解存储器除去选项

根据供应存储器的方式以及已除去的组件，从 IBM Cloud 帐户中除去持久性存储器的操作会有所不同。

删除群集时，我的持久存储会被删除吗？

在集群删除期间，您可以选择除去持久性存储器。 但是，根据存储器的供应方式，除去存储器时，可能不会包含所有存储组件。 如果您使用设置了 "reclaimPolicy: Delete 的存储类动态配置了存储，则在删除群集时会自动删除您的 PVC、PV 和存储实例。 对于静态配置的存储或使用设置了 "reclaimPolicy: Retain 的存储类配置的存储，在删除群集时，PVC 和 PV 会被移除，但存储实例和数据会保留。 您仍将为存储器实例付费。 此外，如果删除的是状态为运行状况不佳的集群，那么即使选择除去存储器，存储器也可能会仍然存在。

当我想保留群集时，如何删除存储？

使用设置了 reclaimPolicy: Delete 的存储类动态供应存储器时，可以通过除去 PVC 来启动持久性存储器的删除过程。 这将自动除去 PVC、PV 和存储器实例。 对于静态配置的存储或使用设置了 "reclaimPolicy: Retain 的存储类配置的存储，必须手动删除 PVC、PV 和存储实例，以避免进一步收费。

删除存储后，如何停止计费？

根据您删除的存储组件和删除时间，计费周期可能不会立即停止。 如果删除了 PVC 和 PV，但未删除 IBM Cloud 帐户中的存储器实例，那么该实例仍然存在，因此仍需要为此付费。

如果删除了 PVC、PV 和存储器实例，那么计费周期会停止，具体取决于在供应存储器时选择的 billingType 以及选择的存储器删除方式。

• 从IBM Cloud控制台或 CLI 手动取消持久存储实例时，计费会按如下方式停止：

  • 按小时计费存储器：将立即停止计费。 取消存储器后，可能最长 72 小时内仍会在控制台中看到该存储器实例。
  • 按月计费存储器：可以选择立即取消或在周年日期取消。 在这两种情况下，将计费到当前计费周期结束，并停止对下一个计费周期的计费。 取消存储器后，可能最长 72 小时内仍会在控制台或 CLI 中看到该存储器实例。
  • 立即取消：选择此选项可立即除去存储器。 您或您的用户都无法再使用存储器，也无法恢复数据。
  • 周年日期：选择此选项可在下一个周年日期取消存储器。 存储器实例会一直保持活动状态，直到下一个周年日期为止，并且在此日期之前，您可以继续使用这些存储器实例，例如让团队有时间来备份数据。

• 使用设置了 reclaimPolicy: Delete 的存储类动态供应存储器时，如果您选择除去 PVC，将立即除去 PV 和存储器实例。 对于按小时计费的存储器，计费会立即停止。 对于按月计费的存储器，您仍需要为该月的剩余时间付费。 除去存储器并且计费停止后，可能最长 72 小时内仍会在控制台或 CLI 中看到该存储器实例。

删除持久存储前需要注意什么？

清除持久性存储器时，将删除其中存储的所有数据。 如果您需要数据的副本，请进行备份。

我删除了我的存储实例。 为什么我还能看到我的实例？

除去持久性存储器后，除去操作可能最长需要 72 小时才能完全处理好，在此之后存储器不会再显示在 IBM Cloud 控制台或 CLI 中。

清除持久性存储器

从 IBM Cloud 帐户中除去 PVC、PV 和存储器实例，可避免对持久性存储器进一步收费。

开始之前：

• 确保备份了要保留的所有数据。
• 访问 Red Hat OpenShift 集群。

要清除持久数据，请执行以下操作：

1. 列出集群中的 PVC，并记下 PVC 的 NAME、STORAGECLASS 以及绑定到该 PVC 并显示为 VOLUME 的 PV 的名称。

   oc get pvc
   

   示例输出

   NAME                  STATUS    VOLUME                                     CAPACITY   ACCESSMODES   STORAGECLASS            AGE
   claim1   Bound     pvc-06886b77-102b-11e8-968a-f6612bb731fb   20Gi       RWO           class       78d
   claim2     Bound     pvc-457a2b96-fafc-11e7-8ff9-b6c8f770356c   4Gi        RWX           class 105d
   claim3      Bound     pvc-1efef0ba-0c48-11e8-968a-f6612bb731fb   24Gi       RWX           class        83d
   

2. 查看存储类的 ReclaimPolicy 和 billingType。

   oc describe storageclass <storageclass_name>
   

   如果回收策略显示 Delete，那么在除去 PVC 时会除去 PV 和物理存储器。 如果回收策略显示 Retain，或者所供应的存储器不具有存储类，那么在除去 PVC 时不会除去 PV 和物理存储器。 PVC、PV 和物理存储器必须分别进行除去。

   如果存储器按月收费，那么即使在计费周期结束之前除去了存储器，也仍需要按整月付费。

3. 除去安装了 PVC 的所有 pod。 列出安装了 PVC 的所有 pod。 如果 CLI 输出中没有返回 pod，则说明没有 pod 使用 PVC。

   oc get pods --all-namespaces -o=jsonpath='{range .items[*]}{"\n"}{.metadata.name}{":\t"}{range .spec.volumes[*]}{.persistentVolumeClaim.claimName}{" "}{end}{end}' | grep "<pvc_name>"
   

   示例输出

   depl-12345-prz7b:    claim1
   

4. 除去使用 PVC 的 pod。 如果 pod 是部署的一部分，请除去该部署。

   oc delete pod <pod_name>
   

5. 验证 pod 是否已除去。

   oc get pods
   

6. 除去 PVC。

   oc delete pvc <pvc_name>
   

7. 查看 PV 的阶段状态。 使用先前检索到的显示为 VOLUME 的 PV 的名称。 除去 PVC 时，会释放绑定到该 PVC 的 PV。 如果 PV 是自动删除的，那么该 PV 会进入 Deleting 状态；如果必须手动删除 PV，那么该 PV 会进入 Released 状态，具体取决于存储器的供应方式。 注：对于自动删除的 PV，在删除之前，阶段状态可能会短暂地显示为 Released。 请在几分钟后重新运行该命令以查看该 PV 是否已除去。

   oc get pv <pv_name>
   

8. 如果 PV 未删除，请手动除去该 PV。

   oc delete pv <pv_name>
   

9. 验证 PV 是否已除去。

   oc get pv
   

10. 列出 PV 指向的物理存储器实例，并记下物理存储器实例的 id。

    ibmcloud sl block volume-list --columns id --columns notes | grep <pv_name>
    

    示例输出

    12345678   {"plugin":"ibmcloud-block-storage-plugin-689df949d6-4n9qg","region":"us-south","cluster":"aa1a11a1a11b2b2bb22b22222c3c3333","type":"Endurance","ns":"default","pvc":"block-storage-pvc","pv":"pvc-d979977d-d79d-77d9-9d7d-d7d97ddd99d7","storageclass":"ibmc-block-silver","reclaim":"Delete"}
    

    了解 Notes 字段信息：

    "plugin":"ibm-file-plugin-5b55b7b77b-55bb7"

    群集使用的存储插件。

    "region":"us-south"

    群集所在的区域。

    "cluster":"aa1a11a1a11b2b2bb22b22222c3c3333"

    与存储实例相关联的群集 ID。

    "type":"Endurance"

    文件或块存储的类型，可以是“Endurance 或”Performance。

    "ns":"default"

    存储实例部署到的命名空间。

    "pvc":"block-storage-pvc"

    与存储实例相关联的 PVC 的名称。

    "pv":"pvc-d979977d-d79d-77d9-9d7d-d7d97ddd99d7"

    与存储实例相关联的 PV。

    "storageclass":"ibmc-file-gold"

    存储类别：铜、银、金或定制。

11. 除去物理存储器实例。

    ibmcloud sl block volume-cancel <classic_block_id>
    

12. 验证物理存储器实例是否已除去。

删除过程最长可能需要 72 小时才能完成。

ibmcloud sl block volume-list