Déplacement de données entre des compartiments

A un moment donné, il devient nécessaire de déplacer ou de sauvegarder vos données dans une région IBM Cloud® Object Storage différente. Une méthode permettant de déplacer ou de répliquer des données entre différentes régions de stockage objet consiste à utiliser un outil de « synchronisation » ou de « clonage », tel que l'utilitaire en ligne de commande open source rclone. Cet utilitaire synchronise une arborescence de fichiers entre deux emplacements, notamment le stockage d'objets Cloud. Lorsque rclone écrit des données dans COS, il utilise l'API COS/S3 pour segmenter des objets volumineux et envoyer par téléchargement les parties en parallèle en fonction des tailles et des seuils définis comme paramètres de configuration.

Ce guide explique comment copier des données d'un compartiment IBM Cloud Object Storage vers un autre compartiment Object Storage au sein de la même région, ou vers un deuxième compartiment Object Storage situé dans une autre région Object Storage. Ces étapes devront être répétées pour toutes les données que vous souhaitez copier depuis chaque compartiment. Une fois les données migrées, vous pouvez vérifier l'intégrité du transfert en utilisant rclone check, qui générera la liste de tous les objets qui ne correspondent pas à la taille du fichier ou à la somme de contrôle. En outre, les compartiments peuvent rester synchronisés si vous exécutez régulièrement rclone sync depuis vos sources disponibles sur les destinations de votre choix.

Créer un compartiment IBM Cloud Object Storage de destination

Vous pouvez utiliser votre instance existante de IBM Cloud Object Storage ou en créer une nouvelle. Si vous souhaitez réutiliser votre instance existante, passez à l'étape n°2.

  1. Créez une instance d'IBM Cloud Object Storage à partir du catalogue.
  2. Créez des compartiments dans lesquels vous devez stocker vos données transférées. Lisez le guide d'initiation afin de vous familiariser avec les principaux concepts, tels que les noeuds finaux et les classes de stockage.
  3. L'utilitaire « rclone » ne copie ni les configurations des compartiments ni les métadonnées des objets. Par conséquent, si vous utilisez l'une des fonctionnalités d' Object Storage, telles que l'expiration, l'archivage, la protection par clé, etc., veillez à les configurer correctement avant de migrer vos données. Pour connaître les fonctions qui sont prises en charge dans votre destination COS, reportez-vous à la matrice des fonctions.

La documentation sur la configuration des fonctionnalités et les politiques d'accès peut être consultée sur les pages du portail IBM Cloud répertoriées ci-dessous :

Configuration d'une ressource de calcul pour l'exécution de l'outil de migration

  1. Choisissez une machine « Linux™ » /macOS™ /BSD™ ou un serveur physique ou virtuel de l'infrastructure IBM Cloud, situé au plus près de vos données. Il est généralement préférable de choisir un centre de données situé dans la même région que le compartiment de destination (par exemple, si vous transférez des données depuis mel01 vers au-syd, utilisez un centre de données VM ou une solution « Bare Metal » disponible sur au-syd). La configuration de serveur recommandée est la suivante : 32 Go de mémoire RAM, 2 à 4 processeurs coeurs et une vitesse de réseau privé de 1 000 Mbits/s.
  2. Si vous exécutez la migration sur un serveur IBM Cloud Infrastructure Bare Metal ou un serveur virtuel, utilisez les noeuds finaux COS privés pour éviter des frais de sortie réseau.
  3. Sinon, utilisez les noeuds finaux COS publics ou directs.
  4. Installez rclone à l'aide d' un gestionnaire de paquets ou d'un binaire précompilé.
curl https://rclone.org/install.sh | sudo bash

Configurer rclone pour les données sources COS

Créez des 'profils' pour votre source et votre destination de la migration dans rclone.

Si nécessaire, obtenir des données d'identification COS

  1. Sélectionnez votre instance COS dans la console IBM Cloud.
  2. Cliquez sur Données d'identification pour le service dans le panneau de navigation.
  3. Cliquez sur Nouvelles données d'identification pour générer des données d'identification.
  4. Sélectionnez des options avancées.
  5. Activez les données d'identification HMAC (On).
  6. Cliquez sur Ajouter.
  7. Affichez les données d'identification que vous avez créées et copiez le contenu JSON.

Obtention du noeud final COS

  1. Cliquez sur Compartiments dans le panneau de navigation.
  2. Cliquez sur le compartiment de destination de la migration.
  3. Cliquez sur Configuration dans le panneau de navigation.
  4. Faites défiler l'écran vers la section Noeuds finaux et choisissez le noeud final en fonction de l'emplacement où vous exécutez l'outil de migration.
  5. Créez la destination COS en copiant ce qui suit et en le collant dans rclone.conf.
[COS_SOURCE]
type = s3
provider = IBMCOS
env_auth = false
access_key_id =
secret_access_key =
endpoint =

Utilisez [COS_DESTINATION] comme nom de profil que vous devez créer pour configurer la destination. Répétez les étapes ci-dessus.

A l'aide de vos données d'identification et du noeud final souhaité, renseignez les zones suivantes :

access_key_id = <access_key_id>
secret_access_key = <secret_access_key>
endpoint = <bucket endpoint>

Configurer rclone pour les données de destination COS

Répétez les étapes précédentes pour les compartiments de destination.

Vérifier que la source et la destination sont correctement configurées

  • Répertoriez les compartiments associés à la source pour vérifier que rclone est correctement configuré.
rclone lsd COS_SOURCE:
  • Répertoriez les compartiments associés à la destination pour vérifier que rclone est correctement configuré.
rclone lsd COS_DESTINATION:

Si vous utilisez la même instance COS pour la source et la destination, les listes de compartiments seront identiques.

Exécuterrclone

  1. Testez votre configuration à l'aide d'une exécution à blanc (aucune donnée n'est copiée) de rclone pour tester la copie des objets de votre bac source (par exemple, source-test) vers le bac cible (par exemple, destination-test), où source-test et destination-test sont les noms respectifs du bac source et du bac de destination.
   rclone --dry-run copy COS_SOURCE:source-test COS_DESTINATION:destination-test

  1. Vérifiez que les fichiers que vous souhaitez faire migrer apparaissent dans le résultat de la commande. Si tout semble correct, retirez l'indicateur --dry-run et, ajoutez éventuellement l'indicateur -v and/or -P pour copier les données et suivre la progression. L'indicateur facultatif --checksum permet d'éviter la mise à jour des fichiers ayant le même hachage MD5 et la même taille d'objet aux deux emplacements.
   rclone -v -P copy --checksum COS_SOURCE:source-test COS_DESTINATION:destination-test

Essayez de rentabiliser au maximum l'unité centrale, la mémoire et le réseau sur la machine exécutant l'utilitaire rclone pour obtenir le temps de transfert le plus rapide.

D'autres paramètres sont à prendre en compte lors du réglage de rclone. Différentes combinaisons de ces valeurs auront un impact sur le processeur, la mémoire et les temps de transfert des objets de votre compartiment.

Indicateur Type Description
--checkers int Nombre de vérificateurs (checkers) à exécuter en parallèle (valeur par défaut : 8). Il s'agit du nombre d'unités d'exécution de comparaison des totaux de contrôle (checksums) en cours d'exécution. Il est recommandé d'augmenter cette valeur et de la faire passer à 64 ou plus.
--transfers int Nombre d'objets à transférer en parallèle (4 par défaut). Nous vous recommandons de porter cette valeur à 64, 128 ou plus lorsque vous transférez un grand nombre de petits fichiers.
--multi-thread-streams int Téléchargement de fichiers volumineux (> 250 M) dans plusieurs parties en parallèle. Améliore le délai de téléchargement des fichiers volumineux (4 par défaut).
--s3-upload-concurrency int Nombre de parties de fichiers volumineux (> 200 M) à télécharger en parallèle. Améliore le délai de téléchargement des fichiers volumineux (4 par défaut).
{ : caption="rclone options" caption-side="top"}

La migration de données à l'aide de rclone copy copie mais ne supprime pas les données sources.

Le processus de copie doit être répété pour tous les autres compartiments sources nécessitant une migration, une copie ou une sauvegarde.