Transferencia de datos entre grupos

En algún momento será necesario transferir o hacer copia de seguridad de sus datos en otra región de IBM Cloud® Object Storage. Una forma de trasladar o replicar datos entre regiones de almacenamiento de objetos es utilizar una herramienta de «sincronización» o «clonación», como la utilidad comando de código abierto « rclone ». Este programa de utilidad sincroniza un árbol de archivos entre dos ubicaciones, incluido el almacenamiento de objetos en la nube. Cuando rclone escribe datos en COS, utiliza la API COS/S3 para segmentar los objetos grandes y carga las partes en paralelo de acuerdo con los tamaños y los umbrales establecidos como parámetros de configuración.

Esta guía ofrece instrucciones para copiar datos de un depósito de IBM Cloud Object Storage a otro de Object Storage dentro de la misma región, o a un segundo depósito de Object Storage en una región diferente de Object Storage. Estos pasos se deben repetir para todos los datos que desee copiar de cada grupo. Una vez migrados los datos, puede verificar la integridad de la transferencia mediante rclone check, que generará una lista de los objetos que no coincidan en tamaño de archivo o en suma de comprobación. Además, puede mantener los grupos sincronizados mediante la ejecución de forma regular de rclone sync desde los orígenes disponibles sobre los destinos elegidos.

Creación de un grupo de IBM Cloud Object Storage de destino

Tiene la opción de utilizar la instancia existente de IBM Cloud Object Storage o de crear una nueva instancia. Si desea reutilizar su instancia existente, vaya al paso 2.

  1. Cree una instancia de IBM Cloud Object Storage desde el catálogo.
  2. Cree los grupos que necesite para almacenar los datos transferidos. Consulte la guía de iniciación para familiarizarse con conceptos clave, como puntos finales y clases de almacenamiento.
  3. La utilidad « rclone » no copiará ninguna configuración de depósito ni metadatos de objetos. Por lo tanto, si utilizas alguna de las funciones de Object Storage, como la caducidad, el archivo, la protección con clave, etc., asegúrate de configurarlas correctamente antes de migrar tus datos. Para ver las características que reciben soporte en su destino de COS, consulte la matriz de características.

Encontrará la documentación sobre configuración de características y sobre políticas de acceso en las páginas del portal de IBM Cloud que se muestran a continuación:

Configuración de un recurso de cálculo para que ejecute la herramienta de migración

  1. Elige un equipo « Linux™ » /macOS™ /BSD™ o un servidor físico o virtual de la infraestructura IBM Cloud que se encuentre lo más cerca posible de tus datos. Por lo general, la mejor opción es seleccionar un centro de datos situado en la misma región que el bucket de destino (por ejemplo, si se van a trasladar datos de mel01 a au-syd, utilice un VM o un servidor «Bare Metal» en au-syd). La configuración de servidor recomendada es la siguiente: RAM de 32 GB, procesador de entre 2 y 4 núcleos y velocidad de red privada de 1000 Mbps.
  2. Si ejecuta la migración en un servidor nativo o virtual de la infraestructura de IBM Cloud, utilice puntos finales de COS privados para evitar cargos de salida de red.
  3. Si no es así, utilice puntos finales de COS públicos o directos.
  4. Instala « rclone » desde un gestor de paquetes o un binario precompilado.
curl https://rclone.org/install.sh | sudo bash

Configuración de rclone para datos de origen de COS

Cree 'perfiles' para el origen y el destino de la migración en rclone.

Si es necesario, obtenga credenciales de COS

  1. Seleccione la instancia de COS en la consola de IBM Cloud.
  2. Pulse Credenciales de servicio en el panel de navegación.
  3. Pulse Nueva credencial para general la información de credenciales.
  4. Seleccione opciones Avanzadas.
  5. Active las credenciales de HMAC.
  6. Pulse Añadir.
  7. Visualice la credencial que ha creado y copie el contenido JSON.

Obtención del punto final de COS

  1. Pulse Grupos en el panel de navegación.
  2. Pulse el grupo de destino de la migración.
  3. Pulse Configuración en el panel de navegación.
  4. Desplácese hacia abajo hasta la sección Puntos finales y seleccione el punto final en función de dónde se ejecute la herramienta de migración.
  5. Cree el destino de COS copiando lo siguiente y pegándolo en rclone.conf.
[COS_SOURCE]
type = s3
provider = IBMCOS
env_auth = false
access_key_id =
secret_access_key =
endpoint =

Utilice [COS_DESTINATION] como nombre del perfil que tiene que crear para configurar el destino. Repita los pasos anteriores.

Utilizando sus credenciales y el punto final que desee, rellene los campos siguientes:

access_key_id = <access_key_id>
secret_access_key = <secret_access_key>
endpoint = <bucket endpoint>

Configuración de rclone para datos de destino de COS

Repita los pasos anteriores para los grupos de destino.

Comprobación de que el origen y el destino se han configurado correctamente

  • Obtenga una lista de los grupos asociados con el origen para verificar que rclone se ha configurado correctamente.
rclone lsd COS_SOURCE:
  • Obtenga una lista de los grupos asociados con el destino para verificar que rclone se ha configurado correctamente.
rclone lsd COS_DESTINATION:

Si utilizas la misma instancia de COS tanto para el origen como para el destino, los listados de los buckets coincidirán.

Ejecute rclone

  1. Pruebe su configuración con una ejecución en seco (en la que no se copien datos) de rclone para probar la copia de los objetos de su bucket de origen (por ejemplo, source-test) al bucket de destino (por ejemplo, destination-test), donde source-test y destination-test son los nombres respectivos de los buckets de origen y destino.
   rclone --dry-run copy COS_SOURCE:source-test COS_DESTINATION:destination-test

  1. Compruebe que los archivos que desea migrar aparecen en la salida del mandato. Si parece que todo ha ido bien, elimine el distintivo --dry-run y, si lo desea, añada el distintivo -v y/o -P para copiar los datos y realizar un seguimiento del progreso. Si utiliza el distintivo opcional --checksum, evita que se actualicen los archivos que tienen el mismo hash MD5 y el mismo tamaño de objeto en ambas ubicaciones.
   rclone -v -P copy --checksum COS_SOURCE:source-test COS_DESTINATION:destination-test

Intente obtener el máximo de la CPU, la memoria y la red en la máquina ejecutando rclone para conseguir el tiempo de transferencia más rápido.

Hay otros parámetros que debe tener en cuenta cuando ajuste rclone. Las distintas combinaciones de estos valores afectan a la CPU, a la memoria y a los tiempos de transferencia para los objetos del grupo.

Distintivo Tipo Descripción
--checkers int Número de comprobadores que se ejecutarán en paralelo (el valor predeterminado es 8). Es el número de hebras de comparación de suma de comprobación que se ejecutan. Se recomienda aumentar este valor a 64 o más.
--transfers int Es el número de objetos que se van a transferir en paralelo (el valor predeterminado es 4). Recomendamos aumentar este valor a 64, 128 o más cuando se transfieran muchos archivos pequeños.
--multi-thread-streams int Descargue los archivos grandes (> 250M) en varias partes en paralelo. Esto mejorará el tiempo de descarga de archivos grandes (el valor predeterminado es 4).
--s3-upload-concurrency int El número de partes de archivos grandes (> 200M) que se cargarán en paralelo. Esto mejorará el tiempo de carga de archivos grandes (el valor predeterminado es 4).
{: caption="Opciones de rclone " caption-side="top"}

Si se migran los datos mediante rclone copy, los datos se copian pero no se suprimen los datos de origen.

El proceso de copia se debe repetir para todos los demás grupos de origen que se deban migrar/copiar/realizar copia de seguridad.