Transferencia de datos entre grupos

Transfiere datos entre los buckets de IBM Cloud® Object Storage en la misma región o en regiones diferentes utilizando rclone para sincronizar objetos con cargas multiparte en paralelo.

En algún momento, será necesario trasladar o realizar una copia de seguridad de sus datos a otra región de IBM Cloud® Object Storage. Una forma de trasladar o replicar datos entre regiones de almacenamiento de objetos es utilizar una herramienta de sincronización o clonación, como the open-source rclone command-line utility. Este programa de utilidad sincroniza un árbol de archivos entre dos ubicaciones, incluido el almacenamiento de objetos en la nube. Cuando rclone escribe datos en Object Storage, utiliza la API de COS/S3 para segmentar objetos de gran tamaño y sube las partes en paralelo según los tamaños y los umbrales establecidos como parámetros de configuración.

Esta guía ofrece instrucciones para copiar datos de un depósito de IBM Cloud Object Storage a otro depósito de Object Storage dentro de la misma región o a un segundo depósito de Object Storage en una región diferente de Object Storage. Estos pasos se deben repetir para todos los datos que desee copiar de cada grupo. Una vez migrados los datos, puedes verificar la integridad de la transferencia utilizando rclone check, que genera una lista de todos los objetos cuyo tamaño de archivo o suma de comprobación no coinciden. Además, puede mantener los grupos sincronizados mediante la ejecución de forma regular de rclone sync desde los orígenes disponibles sobre los destinos elegidos.

Creación de un grupo de IBM Cloud Object Storage de destino

Tiene la opción de utilizar la instancia existente de IBM Cloud Object Storage o de crear una nueva instancia. Si desea reutilizar su instancia existente, vaya al paso 2.

  1. Cree una instancia de IBM Cloud Object Storage desde el catálogo.
  2. Cree los grupos que necesite para almacenar los datos transferidos. Consulte la guía de iniciación para familiarizarse con conceptos clave, como puntos finales y clases de almacenamiento.
  3. La utilidad rclone no copia ninguna configuración de bucket ni metadatos de objetos. Por lo tanto, si utiliza alguna de las funciones de Object Storage, como la caducidad, el archivo, la protección de claves, etc., asegúrese de configurarlas adecuadamente antes de migrar sus datos. Para ver qué funciones son compatibles en su destino Object Storage, consulte la matriz de funciones.

Encontrará la documentación sobre configuración de características y sobre políticas de acceso en las páginas del portal de IBM Cloud que se muestran a continuación:

Configuración de un recurso de cálculo para que ejecute la herramienta de migración

  1. Elige un equipo con Linux™/macOS™ /BSD™ o un servidor físico o virtual de IBM Cloud Infrastructure que se encuentre lo más cerca posible de tus datos. Por lo general, la mejor opción es seleccionar un centro de datos situado en la misma región que el depósito de destino (por ejemplo, si se trasladan datos de mel01 a au-syd, utilice una VM o un servidor físico en au-syd). La configuración de servidor recomendada es la siguiente: RAM de 32 GB, procesador de entre 2 y 4 núcleos y velocidad de red privada de 1000 Mbps.
  2. Si está realizando la migración en un servidor físico o virtual de IBM Cloud Infrastructure, utilice los puntos de conexión privados de Object Storage para evitar cargos por tráfico de salida de la red.
  3. De lo contrario, utiliza los puntos de conexión públicos o directos Object Storage.
  4. Instálalo rclone desde un gestor de paquetes o desde un binario precompilado.
curl https://rclone.org/install.sh | sudo bash

Configurar rclone para datos de origen Object Storage

Cree 'perfiles' para el origen y el destino de la migración en rclone.

Si es necesario, obtenga las credenciales de Object Storage

  1. Selecciona tu instancia de Object Storage en la consola de IBM Cloud.
  2. Pulse Credenciales de servicio en el panel de navegación.
  3. Pulse Nueva credencial para general la información de credenciales.
  4. Seleccione opciones Avanzadas.
  5. Active las credenciales de HMAC.
  6. Pulse Añadir.
  7. Visualice la credencial que ha creado y copie el contenido JSON.

Obtener el punto final Object Storage

  1. Pulse Grupos en el panel de navegación.
  2. Pulse el grupo de destino de la migración.
  3. Pulse Configuración en el panel de navegación.
  4. Desplácese hacia abajo hasta la sección Puntos finales y seleccione el punto final en función de dónde se ejecute la herramienta de migración.
  5. Crea el destino Object Storage copiando lo siguiente y pegándolo en rclone.conf.
[COS_SOURCE]
type = s3
provider = IBMCOS
env_auth = false
access_key_id =
secret_access_key =
endpoint =

Utilice [COS_DESTINATION] como nombre del perfil que tiene que crear para configurar el destino. Repita los pasos anteriores.

Utilizando sus credenciales y el punto final que desee, rellene los campos siguientes:

access_key_id = <access_key_id>
secret_access_key = <secret_access_key>
endpoint = <bucket endpoint>

Configurar rclone para los datos de destino de Object Storage

Repita los pasos anteriores para los grupos de destino.

Comprobación de que el origen y el destino se han configurado correctamente

  • Obtenga una lista de los grupos asociados con el origen para verificar que rclone se ha configurado correctamente.
rclone lsd COS_SOURCE:
  • Obtenga una lista de los grupos asociados con el destino para verificar que rclone se ha configurado correctamente.
rclone lsd COS_DESTINATION:

Si utilizas la misma instancia de Object Storage para el origen y el destino, los listados de buckets coincidirán.

Ejecute rclone

  1. Pruebe su configuración con una ejecución en seco (en la que no se copien datos) de rclone para probar la copia de los objetos de su bucket de origen (por ejemplo, source-test) al bucket de destino (por ejemplo, destination-test), donde source-test y destination-test son los nombres respectivos de los buckets de origen y destino.
   rclone --dry-run copy COS_SOURCE:source-test COS_DESTINATION:destination-test

  1. Compruebe que los archivos que desea migrar aparecen en la salida del mandato. Si parece que todo ha ido bien, elimine el distintivo --dry-run y, si lo desea, añada el distintivo -v y/o -P para copiar los datos y realizar un seguimiento del progreso. Si utiliza el distintivo opcional --checksum, evita que se actualicen los archivos que tienen el mismo hash MD5 y el mismo tamaño de objeto en ambas ubicaciones.
   rclone -v -P copy --checksum COS_SOURCE:source-test COS_DESTINATION:destination-test

Intente obtener el máximo de la CPU, la memoria y la red en la máquina ejecutando rclone para conseguir el tiempo de transferencia más rápido.

Hay otros parámetros que debe tener en cuenta cuando ajuste rclone. Las diferentes combinaciones de estos valores afectan a la CPU, la memoria y los tiempos de transferencia de los objetos de su depósito.

Distintivo Tipo Descripción
--checkers int Número de comprobadores que se ejecutarán en paralelo (el valor predeterminado es 8). Es el número de hebras de comparación de suma de comprobación que se ejecutan. Se recomienda aumentar este valor a 64 o más.
--transfers int Es el número de objetos que se van a transferir en paralelo (el valor predeterminado es 4). Recomendamos aumentar este valor a 64, 128 o más cuando se transfieran muchos archivos pequeños.
--multi-thread-streams int Descargue los archivos grandes (> 250M) en varias partes en paralelo. Esto mejora el tiempo de descarga de archivos grandes (valor predeterminado: 4).
--s3-upload-concurrency int El número de partes de archivos grandes (> 200M) que se cargarán en paralelo. Esto mejora el tiempo de subida de archivos grandes (por defecto, 4).
{: caption="Opciones de rclone " caption-side="top"}

Si se migran los datos mediante rclone copy, los datos se copian pero no se suprimen los datos de origen.

El proceso de copia se debe repetir para todos los demás grupos de origen que se deban migrar/copiar/realizar copia de seguridad.