バケット間のデータの移動

宛先 IBM Cloud Object Storage バケットの作成

IBM Cloud Object Storage の既存のインスタンスを使用するか、新規インスタンスを作成するかを選択できます。 既存のインスタンスを再使用する場合は、ステップ 2 にスキップします。

1. カタログ から IBM Cloud Object Storage のインスタンスを作成します。
2. 転送したデータの保管に必要となるバケットを作成します。 入門ガイドに目を通して、エンドポイントやストレージ・クラスなどの主要な概念についての理解を深めてください。
3. rclone ユーティリティーは、バケット構成もオブジェクト・メタデータもコピーしません。 そのため、 Object Storage のいずれかの機能 (有効期限、アーカイブ、鍵保護など) を使用している場合。 データをマイグレーションする前に、それらを適切に構成してください。 COS 宛先でサポートされているフィーチャーを表示するには、フィーチャー・マトリックスを参照してください。

フィーチャー構成とアクセス・ポリシーの資料は、以下にリストされている IBM Cloud ポータル・ページで確認できます。

• IBM Cloud Identity and Access Management - IAM
• Activity Tracker
• メトリックのモニター
• オブジェクトの有効期限
• Cloud Object Storage のファイアウォール
• コンテンツ配信ネットワーク - CDN
• アーカイブ
• Key Protect
• IBM Cloud Functions

マイグレーション・ツールを実行するためのコンピュート・リソースのセットアップ

1. Linux™/macOS™/BSD™ マシンを選択するか、データに最も近い IBM Cloud Infrastructure Bare Metal または Virtual Server を選択します。 通常は、宛先バケットと同じ地域にあるデータ・センターを選択することをお勧めします (例えば、 mel01 から au-syd にデータを移動する場合は、 au-syd で VM またはベア・メタルを使用します)。 推奨されるサーバー構成は、32 GB RAM、2 から 4 コア・プロセッサー、および 1000 Mbps のプライベート・ネットワーク速度です。
2. IBM Cloud インフラストラクチャーのベアメタル・サーバーまたは仮想サーバーでマイグレーションを実行する場合は、プライベートの COS エンドポイントを使用してネットワーク egress 料金を回避します。
3. それ以外の場合は、パブリックまたは直接の COS エンドポイントを使用します。
4. パッケージ・マネージャーまたはプリコンパイル・バイナリーのいずれかから rclone をインストールします。

curl https://rclone.org/install.sh | sudo bash

COS ソース・データ用の rclone の構成

rclone でマイグレーションのソースおよび宛先の「プロファイル」を作成します。

[COS_SOURCE]
type = s3
provider = IBMCOS
env_auth = false
access_key_id =
secret_access_key =
endpoint =

access_key_id = <access_key_id>
secret_access_key = <secret_access_key>
endpoint = <bucket endpoint>

COS 宛先データ用の rclone の構成

宛先バケットについて、前述のステップを繰り返します。

ソースと宛先が正しく構成されていることの確認

• ソースに関連付けられたバケットをリストして、rclone が正しく構成されていることを確認します。

rclone lsd COS_SOURCE:

• 宛先に関連付けられたバケットをリストして、rclone が正しく構成されていることを確認します。

rclone lsd COS_DESTINATION:

ソースと宛先に同じ COS インスタンスを使用している場合は、バケット・リストが一致します。

実行 rclone

1. rclone のリハーサル (データのコピーなし) を使用して構成をテストして、ターゲット・バケット (例えば、source-test) へのソース・バケット (例えば、destination-test) 内のオブジェクトのコピーをテストします。

   rclone --dry-run copy COS_SOURCE:source-test COS_DESTINATION:destination-test
   

2. マイグレーションするファイルが、コマンド出力に表示されていることを確認します。 すべて問題なければ、--dry-run フラグを削除し、オプションで -v フラグまたは -P フラグ、あるいは両方のフラグを追加してデータをコピーし、進行状況を追跡します。 オプションの --checksum フラグを使用すると、両方のロケーションで MD5 ハッシュとオブジェクト・サイズが同じファイルは更新されなくなります。

   rclone -v -P copy --checksum COS_SOURCE:source-test COS_DESTINATION:destination-test
   

転送時間を最短にするため、rclone を実行しているマシン上の CPU、メモリー、およびネットワークを最大限に活用するようにします。

rclone の調整時には、他に考慮すべきパラメーターがあります。 これらの値を異なる組み合わせで使用すると、バケット内のオブジェクトの CPU 、メモリー、および転送時間に影響を与えます。

rclone copy を使用したデータのマイグレーションでは、ソース・データをコピーしますが削除はしません。

マイグレーション/コピー/バックアップを必要とするその他すべてのソース・バケットについてコピー・プロセスを繰り返す必要があります。