rclone verwenden

Installation rclone

Das Tool rclone wird zur Synchronisation von Verzeichnissen und zur Migration von Daten zwischen verschiedenen Speicherplattformen verwendet. Das Programm basiert auf Go und wird in Form einer einzelnen Binärdatei bereitgestellt.

curl https://rclone.org/install.sh | sudo bash

curl https://rclone.org/install.sh | sudo bash -s beta

Zugriff auf IBM COS konfigurieren

1. Führen Sie den Befehl rclone config aus und wählen Sie für eine neue ferne Instanz n aus.

   No remotes found - make a new one
      n) New remote
      s) Set configuration password
      q) Quit config
      n/s/q> n
   

2. Geben Sie den Namen für die Konfiguration ein:

   name> <YOUR NAME>
   

3. Wählen Sie den S3-Speicher ("s3") aus.

   Choose a number from below, or type in your own value
      1 / Alias for a existing remote
        \ "alias"
      2 / Amazon Drive
        \ "amazon cloud drive"
      3 / Amazon S3 Complaint Storage Providers (Dreamhost, Ceph, Minio, IBM COS)
        \ "s3"
      4 / Backblaze B2
        \ "b2"
   [snip]
      23 / http Connection
        \ "http"
      Storage> 3
   

4. Wählen Sie IBM COS als S3-Speicheranbieter aus.

   Choose the S3 provider.
   Enter a string value. Press Enter for the default ("")
   Choose a number from below, or type in your own value
      1 / Amazon Web Services (AWS) S3
        \ "AWS"
      2 / Ceph Object Storage
        \ "Ceph"
      3 / Digital Ocean Spaces
        \ "Digital Ocean"
      4 / Dreamhost DreamObjects
        \ "Dreamhost"
      5 / IBM COS S3
        \ "IBMCOS"
   [snip]
        Provider>5
   

5. Geben Sie False ein, um Ihre Berechtigungsnachweise einzugeben.

   Get AWS credentials from the runtime (environment variables or EC2/ECS meta data if no env vars).
   Only applies if access_key_id and secret_access_key is blank.
   Enter a boolean value (true or false). Please Enter for the default ("false").
   Choose a number from below, or type in your own value
      1 / Enter AWS credentials in the next step
        \ "false"
      2 / Get AWS credentials from the environment (env vars or IAM)
        \ "true"
      env_auth>false
   

6. Geben Sie den Zugriffsschlüssel und den geheimen Schlüssel ein.

   AWS Access Key ID - leave blank for anonymous access or runtime credentials.
     access_key_id> <>
   AWS Secret Access Key (password) - leave blank for anonymous access or runtime credentials.
     secret_access_key> <>
   

7. Geben Sie den Endpunkt für IBM COS an. Wählen Sie für Public IBM COS eine der verfügbaren Optionen aus. Weitere Informationen zu Endpunkten enthält Endpunkte und Speicherpositionen.

   Endpoint for IBM COS S3 API.
   Choose a number from below, or type in your own value
      1 / US Cross Region Endpoint
        \ "s3.us.cloud-object-storage.appdomain.cloud"
      2 / US Cross Region Dallas Endpoint
        \ "s3-api.dal.us-geo.objectstorage.s3.us-south.cloud-object-storage.appdomain.cloud.net"
      3 / US Cross Region Washington DC Endpoint
        \ "s3-api.wdc-us-geo.objectstorage.s3.us-south.cloud-object-storage.appdomain.cloud.net"
      4 / US Cross Region San Jose Endpoint
        \ "s3-api.sjc-us-geo.objectstorage.s3.us-south.cloud-object-storage.appdomain.cloud.net"
      5 / US Cross Region Private Endpoint
        \ "s3-api.us-geo.objectstorage.service.networklayer.com"
   [snip]
      34 / Toronto Single Site Private Endpoint
        \ "s3.tor01.objectstorage.service.networklayer.com"
   endpoint>1
   

8. Geben Sie eine IBM COS-Standortbedingung an. Die Standortbedingung muss mit dem Endpunkt übereinstimmen. Weitere Informationen zu Endpunkten enthält Endpunkte und Speicherpositionen.

      1 / US Cross Region Standard
        \ "us-standard"
      2 / US Cross Region Vault
        \ "us-vault"
      3 / US Cross Region Cold
        \ "us-cold"
      4 / US Cross Region Flex
        \ "us-flex"
      5 / US East Region Standard
        \ "us-east-standard"
   [snip]
     32 / Toronto Flex
     \ "tor01-flex"
     location_constraint>1
   

9. Geben Sie eine ACL an. Nur public-read und private werden unterstützt.

   Canned ACL used when creating buckets or storing objects in S3.
   Choose a number from below, or type in your own value
      1 "private"
      2 "public-read"
   acl>1
   

10. Überprüfen Sie die angezeigte Konfiguration und akzeptieren Sie die Speicherung von "remote". Beenden Sie anschließend die Operation. Die Konfigurationsdatei hat folgendes Format:

    [YOUR NAME]
    type = s3
    Provider = IBMCOS
    access_key_id = xxx
    secret_access_key = yyy
    endpoint = s3.us.cloud-object-storage.appdomain.cloud
    location_constraint = us-standard
    acl = private
    

Befehlsreferenz

rclone mkdir RemoteName:newbucket

rclone lsd RemoteName:

rclone ls RemoteName:newbucket

rclone copy /Users/file.txt RemoteName:newbucket

rclone copy RemoteName:newbucket/file.txt /Users/Documents/

rclone delete RemoteName:newbucket/file.txt

rclone sync

Die Operation sync bewirkt, dass Quelle und Ziel identisch sind. Dabei wird nur das Ziel geändert. Bei der Synchronisation werden unveränderte Dateien nicht übertragen. Zur Ermittlung von geänderten Dateien müssen Sie die Größe und die Änderungszeit oder den MD5SUM-Wert überprüfen. Das Ziel wird so aktualisiert, dass es mit der Quelle übereinstimmt. Dazu werden ggf. auch Dateien gelöscht.

Da es bei dieser Operation zu Datenverlusten kommen kann, sollten Sie zuerst mit dem Flag --dry-run einen Testlauf durchführen, um genau feststellen zu können, welche Daten kopiert und welche gelöscht werden.

Die Dateien an der Zielposition werden nicht gelöscht, wenn an irgendeinem Punkt Fehler aufgetreten sind.

Der Inhalt des Verzeichnisses wird synchronisiert, nicht das Verzeichnis selbst. Wenn source:path ein Verzeichnis ist, dann wird der Inhalt von source:path kopiert, nicht jedoch der Verzeichnisname und dessen Inhalt. Weitere Informationen zu diesem Thema finden Sie in der ausführlichen Erläuterung im Befehl copy.

Wenn dest:path nicht vorhanden ist, wird der entsprechende Pfad erstellt. Anschließend wird der Inhalt von source:path dorthin kopiert.

rclone sync source:path dest:path [flags]

Server A> rclone sync /tmp/whatever remote:ServerA
Server B> rclone sync /tmp/whatever remote:ServerB

Server A> rclone copy /tmp/whatever remote:Backup
Server B> rclone copy /tmp/whatever remote:Backup

rclone sync /path/to/local remote:current --backup-dir remote:old

Tägliche Synchronisation mit rclone durchführen

Zur Automatisierung von Sicherungen müssen Sie einen Sicherungszeitplan erstellen. Abhängig von Ihrer Plattform werden hierbei unterschiedliche Verfahren angewendet. Unter Windows kann hierzu der Taskplaner (Aufgabenplanung) benutzt werden, während unter Mac OS und Linux 'crontabs' verwendet wird.

rclone sync /path/to/my/backup/directory RemoteName:newbucket