IBM Cloud Object Storage-Zielbucket erstellen

Sie können die vorhandene Instanz von IBM Cloud Object Storage verwenden oder eine neue Instanz erstellen. Wenn Sie die vorhandene Instanz verwenden möchten, fahren Sie mit Schritt 2 fort.

1. Erstellen Sie eine Instanz von IBM Cloud Object Storage aus dem Katalog.
2. Erstellen Sie alle Buckets, die Sie zum Speichern der übertragenen Daten benötigen. Lesen Sie die Anleitung zur Einführung durch, um sich mit den zentralen Konzepten wie Endpunkten und Speicherklassen vertraut zu machen.
3. Das Dienstprogramm rclone kopiert keine Bucket-Konfigurationen oder Objekt-Metadaten. Wenn Sie also eine der Object Storage-Funktionen wie Ablauf, Archivierung, Schlüsselschutz usw. nutzen, stellen Sie sicher, dass Sie diese vor der Migration Ihrer Daten entsprechend konfigurieren. Um zu erfahren, welche Funktionen an Ihrem Object Storage-Standort unterstützt werden, sehen Sie bitte in der Funktionsübersicht nach.

Dokumente zur Featurekonfiguration und zu Zugriffsrichtlinien können über die folgenden IBM Cloud-Portalseiten angezeigt werden:

• IBM Cloud Identity and Access Management (IAM)
• Activity Tracker-Ereignisse
• Metriküberwachung
• Ablaufdatum für Objekte
• Firewall für Cloud Object Storage
• Content Delivery Network (CDN)
• Archivieren
• Key Protect

Rechenressource zum Ausführen des Migrationstools konfigurieren

1. Wählen Sie einen Linux™- /macOS™- oder BSD™-Rechner oder einen Bare-Metal- oder virtuellen Server der IBM Cloud-Infrastruktur, der sich möglichst nahe an Ihren Daten befindet. Die Auswahl eines Rechenzentrums in derselben Region wie der Ziel-Bucket ist in der Regel die beste Wahl (wenn Sie beispielsweise Daten von mel01 nach verschieben au-syd, verwenden Sie eine VM oder Bare-Metal-Lösung in au-syd). Die folgende Serverkonfiguration wird empfohlen: 32 GB RAM, Prozessor mit 2 - 4 Cores und eine Geschwindigkeit von 1000 MB/s in einem privaten Netz.
2. Wenn Sie die Migration auf einem Bare-Metal- oder virtuellen Server der IBM Cloud-Infrastruktur durchführen, verwenden Sie die privaten Object Storage-Endpunkte, um Gebühren für den ausgehenden Datenverkehr zu vermeiden.
3. Andernfalls verwenden Sie die öffentlichen oder direkten Object Storage-Endpunkte.
4. Installieren Sie das Programm entweder rclone über einen Paketmanager oder als vorkompilierte Binärdatei.

curl https://rclone.org/install.sh | sudo bash

Konfigurieren Sie die Quelle rclone für Object Storage

Erstellen Sie Profile für die Quelle und das Ziel der Migration in rclone.

[COS_SOURCE]
type = s3
provider = IBMCOS
env_auth = false
access_key_id =
secret_access_key =
endpoint =

access_key_id = <access_key_id>
secret_access_key = <secret_access_key>
endpoint = <bucket endpoint>

Konfigurieren Sie die Daten rclone für das Ziel Object Storage

Wiederholen Sie die vorherigen Schritte für die Zielbuckets.

Korrekte Konfiguration von Quelle und Ziel verifizieren

• Listen Sie die der Quelle zugeordneten Buckets auf, um die korrekte Konfiguration von rclone zu verifizieren.

rclone lsd COS_SOURCE:

• Listen Sie die dem Ziel zugeordneten Buckets auf, um die korrekte Konfiguration von rclone zu verifizieren.

rclone lsd COS_DESTINATION:

Wenn Sie für Quelle und Ziel dieselbe Object Storage-Instanz verwenden, stimmen die Bucket-Listen überein.

rclone ausführen

1. Testen Sie Ihre Konfiguration mit einem Trockenlauf (bei dem keine Daten kopiert werden) von rclone, um die Kopie der Objekte in Ihrem Quellbereich (z. B. source-test) in den Zielbereich (z. B. destination-test) zu testen, wobei source-test und destination-test die jeweiligen Namen der Quell- und Zielbereiche sind.

   rclone --dry-run copy COS_SOURCE:source-test COS_DESTINATION:destination-test

1. Stellen Sie sicher, dass die Dateien, die Sie migrieren möchten, in der Befehlsausgabe angezeigt werden. Wenn das Ergebnis den Erwartungen entspricht, entfernen Sie das Flag --dry-run und fügen Sie optional das Flag -v und/oder das Flag -P hinzu, um die Daten zu kopieren und den Verarbeitungsfortschritt zu verfolgen. Wenn Sie das optionale Flag --checksum verwenden, wird verhindert, dass die Dateien aktualisiert werden, die an beiden Positionen über denselben MD5-Hashwert und dieselbe Objektgröße verfügen.

   rclone -v -P copy --checksum COS_SOURCE:source-test COS_DESTINATION:destination-test

Sie müssen versuchen, die Werte für CPU, Hauptspeicher und Netz auf der Maschine zu maximieren, auf der rclone ausgeführt wird, um die Übertragungszeit zu optimieren.

Bei der Optimierung von rclone sind weitere Parameter zu berücksichtigen. Unterschiedliche Kombinationen dieser Werte wirken sich auf die CPU-Auslastung, den Speicherbedarf und die Übertragungszeiten für die Objekte in Ihrem Bucket aus.

Im Verlauf einer Migration mit rclone copy werden die Quellendaten nur kopiert, nicht jedoch gelöscht.

Der Kopierprozess muss für alle anderen Quellenbuckets wiederholt werden, für die eine Migration, eine Kopie oder die Erstellung einer Sicherungskopie erforderlich ist.