Déplacement de données entre des compartiments

Transférez des données entre des compartiments IBM Cloud® Object Storage situés dans la même région ou dans des régions différentes à l'aide de rclone pour synchroniser des objets via des téléchargements multipart en parallèle.

À un moment donné, il devient nécessaire de déplacer ou de sauvegarder vos données vers une autre région IBM Cloud® Object Storage. Une approche pour déplacer ou répliquer des données entre différentes régions de stockage objet consiste à utiliser un outil de synchronisation ou de clonage, tel que l'utilitaire en ligne rclone de commande open source. Cet utilitaire synchronise une arborescence de fichiers entre deux emplacements, notamment le stockage d'objets Cloud. Lorsqu’il enregistre rclone des données dans Object Storage, il utilise l’API COS/S3 pour segmenter les objets volumineux et télécharge les parties en parallèle, en fonction des tailles et des seuils définis comme paramètres de configuration.

Ce guide fournit des instructions pour copier des données d'un compartiment IBM Cloud Object Storage vers un autre compartiment Object Storage au sein de la même région ou vers un deuxième compartiment Object Storage situé dans une autre région Object Storage. Ces étapes devront être répétées pour toutes les données que vous souhaitez copier depuis chaque compartiment. Une fois les données migrées, vous pouvez vérifier l'intégrité du transfert à l'aide de rclone check, qui génère une liste de tous les objets dont la taille de fichier ou la somme de contrôle ne correspond pas. En outre, les compartiments peuvent rester synchronisés si vous exécutez régulièrement rclone sync depuis vos sources disponibles sur les destinations de votre choix.

Créer un compartiment IBM Cloud Object Storage de destination

Vous pouvez utiliser votre instance existante de IBM Cloud Object Storage ou en créer une nouvelle. Si vous souhaitez réutiliser votre instance existante, passez à l'étape n°2.

  1. Créez une instance d'IBM Cloud Object Storage à partir du catalogue.
  2. Créez des compartiments dans lesquels vous devez stocker vos données transférées. Lisez le guide d'initiation afin de vous familiariser avec les principaux concepts, tels que les noeuds finaux et les classes de stockage.
  3. L'utilitaire rclone ne copie aucune configuration de compartiment ni aucune métadonnée d'objet. Par conséquent, si vous utilisez l'une des fonctionnalités d' Object Storage, telles que l'expiration, l'archivage, la protection des clés, etc., veillez à les configurer correctement avant de migrer vos données. Pour connaître les fonctionnalités prises en charge sur votre destination Object Storage, veuillez consulter le tableau des fonctionnalités.

La documentation sur la configuration des fonctionnalités et les politiques d'accès peut être consultée sur les pages du portail IBM Cloud répertoriées ci-dessous :

Configuration d'une ressource de calcul pour l'exécution de l'outil de migration

  1. Choisissez une machine Linux™/macOS™ /BSD™ ou un serveur physique ou virtuel IBM Cloud Infrastructure situé au plus près de vos données. Choisir un centre de données situé dans la même région que le compartiment de destination est généralement la meilleure option (par exemple, si vous transférez des données de vers mel01 au-syd, utilisez une VM ou un serveur bare metal dans au-syd). La configuration de serveur recommandée est la suivante : 32 Go de mémoire RAM, 2 à 4 processeurs coeurs et une vitesse de réseau privé de 1 000 Mbits/s.
  2. Si vous effectuez la migration sur un serveur bare metal ou virtuel de l'infrastructure IBM Cloud, utilisez les points de terminaison privés Object Storage afin d'éviter les frais de trafic sortant.
  3. Sinon, utilisez les points de terminaison publics ou directs Object Storage.
  4. Installez-le rclone à l'aide d' un gestionnaire de paquets ou d'un binaire précompilé.
curl https://rclone.org/install.sh | sudo bash

Configurer rclone pour les données source Object Storage

Créez des 'profils' pour votre source et votre destination de la migration dans rclone.

Si nécessaire, obtenez les identifiants d' Object Storage

  1. Sélectionnez votre instance Object Storage dans la console IBM Cloud.
  2. Cliquez sur Données d'identification pour le service dans le panneau de navigation.
  3. Cliquez sur Nouvelles données d'identification pour générer des données d'identification.
  4. Sélectionnez des options avancées.
  5. Activez les données d'identification HMAC (On).
  6. Cliquez sur Ajouter.
  7. Affichez les données d'identification que vous avez créées et copiez le contenu JSON.

Obtenir le point de terminaison Object Storage

  1. Cliquez sur Compartiments dans le panneau de navigation.
  2. Cliquez sur le compartiment de destination de la migration.
  3. Cliquez sur Configuration dans le panneau de navigation.
  4. Faites défiler l'écran vers la section Noeuds finaux et choisissez le noeud final en fonction de l'emplacement où vous exécutez l'outil de migration.
  5. Créez la destination Object Storage en copiant ce qui suit et en le collant dans rclone.conf.
[COS_SOURCE]
type = s3
provider = IBMCOS
env_auth = false
access_key_id =
secret_access_key =
endpoint =

Utilisez [COS_DESTINATION] comme nom de profil que vous devez créer pour configurer la destination. Répétez les étapes ci-dessus.

A l'aide de vos données d'identification et du noeud final souhaité, renseignez les zones suivantes :

access_key_id = <access_key_id>
secret_access_key = <secret_access_key>
endpoint = <bucket endpoint>

Configurer rclone pour les données de destination Object Storage

Répétez les étapes précédentes pour les compartiments de destination.

Vérifier que la source et la destination sont correctement configurées

  • Répertoriez les compartiments associés à la source pour vérifier que rclone est correctement configuré.
rclone lsd COS_SOURCE:
  • Répertoriez les compartiments associés à la destination pour vérifier que rclone est correctement configuré.
rclone lsd COS_DESTINATION:

Si vous utilisez la même instance Object Storage pour la source et la destination, les listes de compartiments correspondent.

Exécuterrclone

  1. Testez votre configuration à l'aide d'une exécution à blanc (aucune donnée n'est copiée) de rclone pour tester la copie des objets de votre bac source (par exemple, source-test) vers le bac cible (par exemple, destination-test), où source-test et destination-test sont les noms respectifs du bac source et du bac de destination.
   rclone --dry-run copy COS_SOURCE:source-test COS_DESTINATION:destination-test

  1. Vérifiez que les fichiers que vous souhaitez faire migrer apparaissent dans le résultat de la commande. Si tout semble correct, retirez l'indicateur --dry-run et, ajoutez éventuellement l'indicateur -v and/or -P pour copier les données et suivre la progression. L'indicateur facultatif --checksum permet d'éviter la mise à jour des fichiers ayant le même hachage MD5 et la même taille d'objet aux deux emplacements.
   rclone -v -P copy --checksum COS_SOURCE:source-test COS_DESTINATION:destination-test

Essayez de rentabiliser au maximum l'unité centrale, la mémoire et le réseau sur la machine exécutant l'utilitaire rclone pour obtenir le temps de transfert le plus rapide.

D'autres paramètres sont à prendre en compte lors du réglage de rclone. Les différentes combinaisons de ces valeurs ont une incidence sur l'utilisation du processeur, la mémoire et les temps de transfert des objets de votre compartiment.

Indicateur Type Description
--checkers int Nombre de vérificateurs (checkers) à exécuter en parallèle (valeur par défaut : 8). Il s'agit du nombre d'unités d'exécution de comparaison des totaux de contrôle (checksums) en cours d'exécution. Il est recommandé d'augmenter cette valeur et de la faire passer à 64 ou plus.
--transfers int Nombre d'objets à transférer en parallèle (4 par défaut). Nous vous recommandons d'augmenter cette valeur à 64, 128 ou plus lorsque vous transférez un grand nombre de petits fichiers.
--multi-thread-streams int Téléchargement de fichiers volumineux (> 250 M) dans plusieurs parties en parallèle. Cela améliore le temps de téléchargement des fichiers volumineux (valeur par défaut : 4).
--s3-upload-concurrency int Nombre de parties de fichiers volumineux (> 200 M) à télécharger en parallèle. Cela améliore le temps de téléchargement des fichiers volumineux (valeur par défaut : 4).
{ : caption="rclone options" caption-side="top"}

La migration de données à l'aide de rclone copy copie mais ne supprime pas les données sources.

Le processus de copie doit être répété pour tous les autres compartiments sources nécessitant une migration, une copie ou une sauvegarde.