install rclone

rclone ツールは、ディレクトリーの同期を維持し、ストレージ・プラットフォーム間でデータをマイグレーションするために役立ちます。 これは Go プログラムで、単一のバイナリー・ファイルとして提供されます。

curl https://rclone.org/install.sh | sudo bash

curl https://rclone.org/install.sh | sudo bash -s beta

IBM COS へのアクセスの構成

1. rclone config を実行し、新規リモートを示す n を選択します。

   No remotes found - make a new one
      n) New remote
      s) Set configuration password
      q) Quit config
      n/s/q> n
   

2. 以下のように、構成の名前を入力します。

   name> <YOUR NAME>
   

3. 「s3」ストレージを選択します。

   Choose a number from below, or type in your own value
      1 / Alias for a existing remote
        \ "alias"
      2 / Amazon Drive
        \ "amazon cloud drive"
      3 / Amazon S3 Complaint Storage Providers (Dreamhost, Ceph, Minio, IBM COS)
        \ "s3"
      4 / Backblaze B2
        \ "b2"
   [snip]
      23 / http Connection
        \ "http"
      Storage> 3
   

4. S3 ストレージ・プロバイダーとして IBM COS を選択します。

   Choose the S3 provider.
   Enter a string value. Press Enter for the default ("")
   Choose a number from below, or type in your own value
      1 / Amazon Web Services (AWS) S3
        \ "AWS"
      2 / Ceph Object Storage
        \ "Ceph"
      3 / Digital Ocean Spaces
        \ "Digital Ocean"
      4 / Dreamhost DreamObjects
        \ "Dreamhost"
      5 / IBM COS S3
        \ "IBMCOS"
   [snip]
        Provider>5
   

5. False を入力して資格情報を入力します。

   Get AWS credentials from the runtime (environment variables or EC2/ECS meta data if no env vars).
   Only applies if access_key_id and secret_access_key is blank.
   Enter a boolean value (true or false). Please Enter for the default ("false").
   Choose a number from below, or type in your own value
      1 / Enter AWS credentials in the next step
        \ "false"
      2 / Get AWS credentials from the environment (env vars or IAM)
        \ "true"
      env_auth>false
   

6. アクセス・キーおよびシークレットを入力します。

   AWS Access Key ID - leave blank for anonymous access or runtime credentials.
     access_key_id> <>
   AWS Secret Access Key (password) - leave blank for anonymous access or runtime credentials.
     secret_access_key> <>
   

7. IBM COS のエンドポイントを指定します。 パブリック IBM COS の場合、提供されているオプションから選択します。 エンドポイントについて詳しくは、エンドポイントおよびストレージ・ロケーションを参照してください。

   Endpoint for IBM COS S3 API.
   Choose a number from below, or type in your own value
      1 / US Cross Region Endpoint
        \ "s3.us.cloud-object-storage.appdomain.cloud"
      2 / US Cross Region Dallas Endpoint
        \ "s3-api.dal.us-geo.objectstorage.s3.us-south.cloud-object-storage.appdomain.cloud.net"
      3 / US Cross Region Washington DC Endpoint
        \ "s3-api.wdc-us-geo.objectstorage.s3.us-south.cloud-object-storage.appdomain.cloud.net"
      4 / US Cross Region San Jose Endpoint
        \ "s3-api.sjc-us-geo.objectstorage.s3.us-south.cloud-object-storage.appdomain.cloud.net"
      5 / US Cross Region Private Endpoint
        \ "s3-api.us-geo.objectstorage.service.networklayer.com"
   [snip]
      34 / Toronto Single Site Private Endpoint
        \ "s3.tor01.objectstorage.service.networklayer.com"
   endpoint>1
   

8. IBM COS ロケーション制約を指定します。 ロケーション制約は、エンドポイントと一致する必要があります。 エンドポイントについて詳しくは、エンドポイントおよびストレージ・ロケーションを参照してください。

      1 / US Cross Region Standard
        \ "us-standard"
      2 / US Cross Region Vault
        \ "us-vault"
      3 / US Cross Region Cold
        \ "us-cold"
      4 / US Cross Region Flex
        \ "us-flex"
      5 / US East Region Standard
        \ "us-east-standard"
   [snip]
     32 / Toronto Flex
     \ "tor01-flex"
     location_constraint>1
   

9. ACL を指定します。 public-read と private のみがサポートされます。

   Canned ACL used when creating buckets or storing objects in S3.
   Choose a number from below, or type in your own value
      1 "private"
      2 "public-read"
   acl>1
   

10. 表示されている構成を確認し、「remote」を受け入れて保存してから、終了します。 構成ファイルは次のようになります。

    [YOUR NAME]
    type = s3
    Provider = IBMCOS
    access_key_id = xxx
    secret_access_key = yyy
    endpoint = s3.us.cloud-object-storage.appdomain.cloud
    location_constraint = us-standard
    acl = private
    

コマンド・リファレンス

rclone mkdir RemoteName:newbucket

rclone lsd RemoteName:

rclone ls RemoteName:newbucket

rclone copy /Users/file.txt RemoteName:newbucket

rclone copy RemoteName:newbucket/file.txt /Users/Documents/

rclone delete RemoteName:newbucket/file.txt

rclone sync

sync 操作は、ソースと宛先を同一にし、宛先のみを変更します。 同期では、サイズと変更時刻、または MD5SUM によるテストを行って、変更されていないファイルは転送されません。 宛先は、必要に応じてファイルの削除を含め、ソースと一致するように更新されます。

この操作はデータ損失の原因となる可能性があるため、最初に --dry-run フラグを指定してテストし、コピーおよび削除される内容を正確に確認してください。

いずれかの時点でエラーが発生した場合、宛先のファイルは削除されません。

ディレクトリー自体ではなく、ディレクトリーの 内容 が同期されます。 source:path がディレクトリーの場合、コピーされるのは、ディレクトリー名と内容ではなく、source:path の内容です。 詳しくは、copy コマンドの詳細な説明を参照してください。

dest:path が存在しない場合は作成され、source:path の内容がそこに入れられます。

rclone sync source:path dest:path [flags]

Server A> rclone sync /tmp/whatever remote:ServerA
Server B> rclone sync /tmp/whatever remote:ServerB

Server A> rclone copy /tmp/whatever remote:Backup
Server B> rclone copy /tmp/whatever remote:Backup

rclone sync /path/to/local remote:current --backup-dir remote:old

rclone での日次同期

バックアップのスケジュールは、バックアップの自動化にとって重要です。 これを行う方法は、プラットフォームによって異なります。 Windows ではタスク・スケジューラーを使用できます。一方、MacOS および Linux では crontab を使用できます。

rclone sync /path/to/my/backup/directory RemoteName:newbucket