Vorbereitende Schritte

• Eine mithilfe dieser Prozedur erstellte Sicherung enthält alle Assistenten und Skills aus allen Serviceinstanzen. Es kann Fähigkeiten und Assistenten umfassen, auf die Sie keinen Zugriff haben.
• Die Zugriffsberechtigungsdaten der ursprünglichen Serviceinstanzen werden nicht in der Sicherung gespeichert. Mit anderen Worten: Die ursprünglichen Zugriffsberechtigungen, die festlegen, welche Benutzer eine Serviceinstanz anzeigen bzw. nicht anzeigen dürfen, werden nicht beibehalten.
• Sie können dieses Verfahren nicht verwenden, um die von der Suchintegration zurückgegebenen Daten zu sichern. Daten, die durch die Suchintegration abgerufen werden, stammen aus einer Datensammlung in einer Discovery-Instanz. Informationen zum Sichern der Daten finden Sie in der Dokumentation zuDiscovery.
• Wenn Sie den Discovery-Dienst, mit dem Ihre Suchintegration verbunden ist, sichern und wiederherstellen oder anderweitig ändern, können Sie die Suchintegration nicht wiederherstellen, sondern müssen sie neu erstellen. Wenn Sie eine Suchintegration einrichten, ordnen Sie Abschnitte der Antwort des Assistenten Feldern in einer Datensammlung zu, die von einer Instanz von Discovery auf demselben Cluster gehostet wird. Durch Änderungen an der Discovery-Instanz wird diese Zuordnung unbrauchbar. Wenn sich Ihr Discovery-Dienst nicht ändert, kann die Suchintegration weiterhin eine Verbindung zur Datensammlung herstellen.
• Das Tool zum Wiederherstellen der Daten löscht die aktuelle Datenbank, bevor die Sicherung wiederhergestellt wird. Daher wird empfohlen, vorher eine Sicherung der aktuellen Datenbank zu erstellen.
• Der Ziel-Cluster IBM Cloud Pak for Data, in dem Sie die Daten wiederherstellen, muss über dieselbe Anzahl bereitgestellter Dienstinstanzen verfügen wie die Umgebung, aus der Sie die Datenbank sichern. Zur Überprüfung im IBM Cloud Pak for Data-Web-Client wählen Sie im Hauptnavigationsmenü Services aus, wählen Instanzen aus und öffnen dann die Registerkarte Bereitgestellte Instanzen. Wenn mehrere Benutzer Instanzen erstellt haben, bitten Sie die anderen Benutzer, die Instanzen erstellt haben, sich anzumelden und die Anzahl der erstellten Instanzen zu überprüfen. Anschließend können Sie die Gesamtsumme der Instanzen für Ihre Bereitstellung addieren. Nicht einmal ein Benutzer mit Verwaltungsaufgaben kann Instanzen anzeigen, die von anderen Benutzern über die Web-Client-Benutzerschnittstelle erstellt wurden.

Daten unter Verwendung des Cron-Jobs sichern

Es wird ein Cron-Job namens $INSTANCE-store-cronjob erstellt und automatisch für Sie aktiviert, wenn Sie den Service bereitstellen. Ein Cron-Job ist eine Art Kubernetes-Controller. Ein Cron-Job erstellt Jobs nach einem sich wiederholenden Zeitplan. Weitere Informationen finden Sie CronJob in der Kubernetes-Dokumentation.

Das Geschäft CronJob erstellt die $INSTANCE-backup-job-$TIMESTAMP-Jobs. Jeder $INSTANCE-backup-job-$TIMESTAMP-Job löscht alte Protokolle und führt eine Sicherung der Datenbank des Geschäfts PostgreSQL aus. PostgreSQL stellt ein pg_dump-Tool bereit, das eine Sicherung erstellt. Um eine Sicherung zu erstellen, sendet das Tool pg_dump den Datenbankinhalt an stdout, die Sie anschließend in eine Datei schreiben können. Das pg_dump erstellt die Backups mit dem Befehl pg_dump und speichert sie in einem persistenten Volume Claim (PVC) namens $INSTANCE-store-db-backup-pvc.

Sie sind dafür verantwortlich, die Sicherung nach ihrer ursprünglichen Erstellung an eine sicherere Position zu verschieben, vorzugsweise an eine Position außerhalb des Clusters, an der die Sicherungen nicht ohne Weiteres gelöscht werden können. Stellen Sie sicher, dass dies für alle Umgebungen geschieht, insbesondere für Produktionscluster.

In der folgenden Tabelle sind die Konfigurationswerte zum Steuern des Cron-Jobs für die Datensicherung aufgelistet. Sie können diese Einstellungen bearbeiten, indem Sie den Cron-Job nach der Bereitstellung des Dienstes mit dem Befehl oc edit cronjob $INSTANCE-store-cronjob bearbeiten.

Datensicherung mithilfe des Skripts

Sie können keine Daten mithilfe eines Scripts in watsonx Assistant für IBM Cloud Pak® for Data 4.6.3 oder höher sichern.{ .note}

Das Script backupPG.sh stellt den Podnamen und die Berechtigungsnachweise für einen Ihrer PostgreSQL-Pods zusammen. Anschließend verwendet das Script backupPG.sh den Pod PostgreSQL, um den Befehl pg_dump auszuführen.

Führen Sie die folgenden Schritte aus, um Daten mithilfe des bereitgestellten Scripts zu sichern:

1. Laden Sie das Skript backupPG.sh herunter.

   Gehe zu GitHub, und suchen Sie das Verzeichnis für Ihre Version, um die Datei zu finden.

   Wenn das backupPG.sh Skript nicht im Verzeichnis Ihrer Version vorhanden ist, sichern Sie Ihre Daten mit KubernetesCronJob oder Werkzeug „pg_dump“.

2. Melden Sie sich bei dem Red Hat OpenShift-Projektnamensbereich an, in dem Sie das Produkt installiert haben.

3. Führen Sie das Script aus:

   ./backupPG.sh --instance ${INSTANCE} > ${BACKUP_DIR}
   

   Ersetzen Sie die folgenden Werte im Befehl:

   • ${BACKUP_DIR}: Geben Sie eine Datei an, in die die heruntergeladenen Daten geschrieben werden sollen. Geben Sie unbedingt ein Sicherungsverzeichnis an, in dem die Datei gespeichert werden soll. Beispiel: /bu/backup-file-name.dump erstellt ein Sicherungsverzeichnis namens bu.
   • --instance ${INSTANCE}: Wählen Sie die zu sichernde Instanz aus.

Wenn Sie Ihre Daten lieber direkt über das Tool PostgreSQL sichern möchten, können Sie das Verfahren zur manuellen Sicherung von Daten abschließen.

Daten manuell sichern

Führen Sie die Schritte in diesem Verfahren aus, um Ihre Daten direkt mit dem Tool PostgreSQL zu sichern.

Führen Sie die folgenden Schritte aus, um Ihre Daten zu sichern:

1. Aktiven PostgreSQL-Pod abrufen:

   Nur für Version 4.8.8, 5.1.0 und alle zukünftigen Versionen:

      oc get pods -l app=${INSTANCE}-postgres-16 -o jsonpath="{.items[0].metadata.name}"
   

   Für andere Versionen verwenden Sie:

    oc get pods -l app=${INSTANCE}-postgres -o jsonpath="{.items[0].metadata.name}"
   

   Ersetzen Sie $ {INSTANCE} durch die Instanz der Bereitstellung, die Sie sichern möchten.

2. Führen Sie die folgenden zwei Schritte nur aus, wenn Sie Version 5.0.0 oder 4.8.5 und früher haben:

   a. Laden Sie den geheimen VCAP-Namen des Geschäfts herunter:

    oc get secrets -l component=store,app.kubernetes.io/instance=${INSTANCE} -o=custom-columns=NAME:.metadata.name | grep store-vcap
   

   b. Rufen Sie die Verbindungswerte von PostgreSQL ab. Diese Werte werden an den Befehl übergeben, den Sie im nächsten Schritt ausführen. Sie müssen jq installiert haben.

   • So rufen Sie die Datenbank ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.database'
     

   • So rufen Sie den Hostnamen ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.host'
     

   • So rufen Sie den Benutzernamen ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.username'
     

   • So rufen Sie das Kennwort ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.password'
     

3. Führen Sie die folgenden beiden Schritte nur aus, wenn Sie die Version 4.8.6 oder 5.0.1 und höher haben:

   a. Holen Sie sich den geheimen Namen für die Verbindung zum Geschäft:

   oc get secrets -l component=store-subsystem,app.kubernetes.io/instance=${INSTANCE} -o=custom-columns=NAME:.metadata.name | grep store-datastore-connection
   

   b. Rufen Sie die Verbindungswerte von PostgreSQL ab. Diese Werte werden an den Befehl übergeben, den Sie im nächsten Schritt ausführen. Sie müssen jq installiert haben.

   • So rufen Sie die Datenbank ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.database'
     

   • So rufen Sie den Hostnamen ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.host'
     

   • So rufen Sie den Benutzernamen ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.username'
     

   • So rufen Sie das Kennwort ab:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.password'
     

4. Führen Sie den folgenden Befehl aus:

   oc exec $KEEPER_POD -- bash -c "export PGPASSWORD='$PASSWORD' && pg_dump -Fc -h $HOSTNAME -d $DATABASE -U $USERNAME" > ${BACKUP_DIR}
   

   Die folgenden Listen beschreiben die Argumente. (die Werte für einige dieser Parameter wurden im vorherigen Schritt abgerufen):

   Nur für Version 4.8.8, 5.1.0 und alle zukünftigen Versionen:

   Verwenden Sie $KEEPER_POD : Jeder PostgreSQL 16-Pod in Ihrer Instanz.

   Für andere Versionen:

   Verwenden Sie $KEEPER_POD : Einen beliebigen PostgreSQL in Ihrer Instanz.

   Für alle Versionen:

   • ${BACKUP_DIR}: Geben Sie eine Datei an, in die die heruntergeladenen Daten geschrieben werden sollen. Geben Sie unbedingt ein Sicherungsverzeichnis an, in dem die Datei gespeichert werden soll. Beispiel: /bu/backup-file-name.dump erstellt ein Sicherungsverzeichnis namens bu.
   • $DATABASE: Der Name der Geschäftsdatenbank, der aus dem geheimen VCAP-Schlüssel des Geschäfts in Schritt 3 abgerufen wurde.
   • $HOSTNAME: Der Hostname, der aus dem geheimen VCAP-Schlüssel des Geschäfts in Schritt 3 abgerufen wurde.
   • $USERNAME: Der Benutzername, der in Schritt 3 aus dem geheimen VCAP-Schlüssel des Geschäfts abgerufen wurde
   • $PASSWORD: Das Kennwort, das in Schritt 3 aus dem geheimen VCAP-Schlüssel des Geschäfts abgerufen wurde

   Führen Sie den folgenden Befehl aus, um weitere Informationen zum Befehl pg_dump anzuzeigen:

   oc exec -it ${KEEPER_POD} -- pg_dump --help
   

5. Erstellen Sie eine Sicherungskopie des Geheimnisses, das den Verschlüsselungscode enthält. Ignorieren Sie diesen Schritt, wenn das unten erwähnte Geheimnis in dieser Version nicht verfügbar ist.

   oc get secret -l service=conversation,app=$INSTANCE-auth-encryption
   oc get secret $INSTANCE-auth-encryption -o yaml > auth-encryption-secret.yaml
   

Daten wiederherstellen

Von IBM wird ein Wiederherstellungstool mit dem Namen pgmig zur Verfügung gestellt. Das Tool stellt Ihre Datenbank-Sicherung wieder her, indem es sie zu einer von Ihnen ausgewählten Datenbank hinzufügt. Außerdem wird das Schema an das Schema der Produktversion angepasst, in der Sie die Daten wiederherstellen. Bevor das Tool die gesicherten Daten hinzufügt, entfernt es die Daten für alle Instanzen in der aktuellen Dienstbereitstellung, sodass auch alle Ersatzdaten entfernt werden.

Voraussetzungen:

Setup auth-encryption-secret, das Sie zuvor gesichert haben.

oc apply -f auth-encryption-secret.yaml
oc get secret -l service=conversation,app=$INSTANCE-auth-encryption

1. Installieren Sie den IBM Cloud Pak for Data-Zielcluster, in dem die Daten wiederhergestellt werden sollen.

   Erstellen Sie über den Webclient für den Zielcluster eine Serviceinstanz für jede Serviceinstanz, die auf dem alten Cluster gesichert wurde. Der IBM Cloud Pak for Data-Zielcluster muss die gleiche Anzahl von Instanzen enthalten wie die Umgebung, in der die Datenbank gesichert wurde.

2. Sichern Sie die aktuelle Datenbank, bevor sie durch die gesicherte Datenbank ersetzt wird.

   Das Tool löscht die aktuelle Datenbank, bevor die Sicherung wiederhergestellt wird. Falls es später erforderlich werden sollte, die aktuelle Datenbank wiederherzustellen, erstellen Sie zunächst unbedingt eine Sicherung der Datenbank.

3. Wechseln Sie zu dem Sicherungsverzeichnis, das Sie im vorherigen Verfahren im Parameter ${BACKUP_DIR} angegeben haben.

4. Führen Sie den folgenden Befehl aus, um das Tool pgmig aus dem Repository GitHub Watson Developer Cloud Community herunterzuladen.

   Aktualisieren Sie im ersten Befehl <WA_VERSION> auf die Version, die Sie wiederherstellen möchten. Aktualisieren Sie beispielsweise <WA_VERSION> auf 4.6.0, wenn Sie 4.6.0wiederherstellen möchten.

   wget https://github.com/watson-developer-cloud/community/raw/master/watson-assistant/data/<WA_VERSION>/pgmig
   chmod 755 pgmig
   

5. Erstellen Sie die folgenden zwei Konfigurationsdateien und speichern Sie sie im selben Sicherungsverzeichnis:

   • resourceController.yaml: Die Datei "Resource Controller" enthält eine Liste aller bereitgestellten Instanzen. Weitere Informationen finden Sie unter Datei 'resourceController.yaml' erstellen.

   • postgres.yaml: Die Datei PostgreSQL enthält Details zu den Ziel-Pods PostgreSQL. Weitere Informationen finden Sie unter Datei 'postgres.yaml' erstellen.

6. Rufen Sie den geheimen Schlüssel ab:

   Nur für Version 4.8.8, 5.1.0 und alle zukünftigen Versionen:

   oc get secret ${INSTANCE}-postgres-16-ca -o jsonpath='{.data.ca\.crt}' | base64 -d | tee ${BACKUP_DIR}/ca.crt | openssl x509 -noout -text
   

   Für andere Versionen:

   oc get secret ${INSTANCE}-postgres-ca -o jsonpath='{.data.ca\.crt}' | base64 -d | tee ${BACKUP_DIR}/ca.crt | openssl x509 -noout -text
   

   • Ersetzen Sie ${INSTANCE} durch den Namen der Instanz, die Sie sichern möchten.
   • Ersetzen Sie ${BACKUP_DIR} durch das Verzeichnis, in dem sich die Dateien postgres.yaml und resourceController.yaml befinden.

7. Kopieren Sie die Dateien, die Sie in den vorherigen Schritten heruntergeladen und erstellt haben, in ein beliebiges vorhandenes Verzeichnis auf einem Pod PostgreSQL.

   a. Nur für Version 4.8.8, 5.1.0 und alle zukünftigen Versionen:

   Führen Sie den folgenden Befehl aus, um PostgreSQL-Pods zu finden:

   oc get pods | grep ${INSTANCE}-postgres-16
   

   b. Für andere Versionen:

   Führen Sie den folgenden Befehl aus, um PostgreSQL-Pods zu finden:

   oc get pods | grep ${INSTANCE}-postgres
   

   c. Sie müssen die Dateien pgmig, postgres.yaml, resourceController.yaml, ca.crt (die in Schritt 6 generierte geheime Datei) und die Datei, die Sie für Ihre heruntergeladenen Daten erstellt haben, kopieren. Führen Sie die folgenden Befehle aus, um die Dateien zu kopieren.

   Wenn Sie Daten in einem eigenständigen IBM Cloud Pak for Data-Cluster wiederherstellen möchten, ersetzen Sie in den folgenden Beispielbefehlen alle Vorkommen von oc durch kubectl.

    oc exec -it ${POSTGRES_POD} -- mkdir /controller/tmp
    oc exec -it ${POSTGRES_POD} -- mkdir /controller/tmp/bu
    oc rsync ${BACKUP_DIR}/ ${POSTGRES_POD}:/controller/tmp/bu/
   

   • Ersetzen Sie ${POSTGRES_POD} durch den Namen eines der PostgreSQL-Pods aus dem vorherigen Schritt.

8. Stoppen Sie die Bereitstellung des Geschäfts, indem Sie die Anzahl der Replikate auf 0 reduzieren:

   oc scale deploy ibm-watson-assistant-operator -n ${OPERATOR_NS} --replicas=0
   oc get deployments -l component=store
   

   Notieren Sie sich, wie viele Replikate in der Geschäftsimplementierung vorhanden sind:

    oc scale deployment ${STORE_DEPLOYMENT} --replicas=0
   

9. Starten Sie die Ausführung eines Fernbefehls im PostgreSQL-Pod:

   oc exec -it ${POSTGRES_POD} /bin/bash
   

10. Führen Sie das Tool pgmig aus:

    Nur für Version 4.8.8, 5.1.0 und alle zukünftigen Versionen:

    cd /controller/tmp/bu
    export PG_CA_FILE=/controller/tmp/bu/ca.crt
    ./pgmig --resourceController resourceController.yaml --target postgres.yaml --source <backup-file-name.dump>
    export ENABLE_ICP=true
    

    Für andere Versionen:

    cd /controller/tmp/bu
    export PG_CA_FILE=/controller/tmp/bu/ca.crt
    ./pgmig --resourceController resourceController.yaml --target postgres.yaml --source <backup-file-name.dump>
    

    • Ersetzen Sie <backup-file-name.dump> durch den Namen der Datei, die Sie für Ihre heruntergeladenen Daten erstellt haben.

    Weitere Befehlsoptionen finden Sie unter PostgreSQL. Einzelheiten zum Migrationstool.

    Währen der Ausführung des Scripts werden Sie zur Eingabe von Informationen aufgefordert. Zu diesen Informationen gehört die Instanz in dem Zielcluster, in dem Sie die gesicherten Daten hinzufügen. Die Daten in der von Ihnen angegebenen Instanz werden entfernt und ersetzt. Wenn die Sicherung mehrere Instanzen enthält, werden Sie mehrmals aufgefordert, Angaben zur Zielinstanz anzugeben.

11. Skalieren Sie den Einsatz im Geschäft wieder hoch:

    oc scale deployment ${STORE_DEPLOYMENT} --replicas=${ORIGINAL_NUMBER_OF_REPLICAS}
    oc scale deploy ibm-watson-assistant-operator -n ${OPERATOR_NS} --replicas=1
    

    Es kann einige Minuten dauern, bis die wiederhergestellten Daten auf der Weboberfläche angezeigt werden.

12. Nach der Wiederherstellung der Daten muss das Back-End-Modell trainiert werden. Weitere Informationen zum erneuten Training Ihres Back-End-Modells finden Sie unter Back-End-Modell erneut trainieren.

accessTokens:
  - value
  - value2
host: localhost
port: 5000

host: localhost
port: 5432
database: store
username: user
su_username: admin
su_password: password

instance-mappings:
  00000000-0000-0000-0000-001570184978: 00000000-0000-0000-0000-001570194490

Back-End-Modell erneut trainieren

Je nach Anzahl der Modelle im Assistenten können Sie eine der folgenden Optionen verwenden, um Ihr Back-End-Modell erneut zu trainieren:

• Back-End-Modell manuell erneut trainieren
• Automatisches erneutes Training des Back-End-Modells

#!/bin/bash

calculate_duration() {
 local input_variable="$1"
 DURATION=$(("$NUM_OF_WORKSPACES_TO_TRAIN"*60 / (input_variable * 2) + "$NUM_OF_WORKSPACES_TO_TRAIN" * 2))
}

export PROJECT_CPD_INST_OPERANDS=<namespace where Assistant is installed>

ETCD_ENDPOINTS=$(oc get secret wa-cluruntime-datastore-connection-strings -n ${PROJECT_CPD_INST_OPERANDS} -o jsonpath="{.data.etcd}" | base64 --decode | jq -r '.endpoints')

NUM_OF_WORKSPACES_TO_TRAIN=$(oc exec wa-etcd-0 -n ${PROJECT_CPD_INST_OPERANDS} -- bash -c "
 password=\"\$( cat /var/run/credentials/pass.key)\"
 etcdctl_user=\"root:\$password\"
 export ETCDCTL_USER=\"\$etcdctl_user\"

 ETCDCTL_API=3 etcdctl --cert=/etc/etcdtls/operator/etcd-tls/etcd-client.crt --key=/etc/etcdtls/operator/etcd-tls/etcd-client.key --cacert=/etc/etcdtls/operator/etcd-tls/etcd-client-ca.crt --endpoints=${ETCD_ENDPOINTS} get  --prefix  /bluegoat/voyager-nlu/voyager-nlu-slot-wa/workspaces/ --keys-only | sed '/^$/d' | wc -l")

echo "Number of workspaces to train $NUM_OF_WORKSPACES_TO_TRAIN"

calculate_duration 5
DURATION_5=$DURATION

calculate_duration 10
DURATION_10=$DURATION

calculate_duration 15
DURATION_15=$DURATION

echo "Approximate duration of the auto retrain all job if you have 5 Training pods: $DURATION_5 seconds"
echo "Approximate duration of the auto retrain all job if you have 10 Training pods: $DURATION_10 seconds"
echo "Approximate duration of the auto retrain all job if you have 15 Training pods: $DURATION_15 seconds"

#!/bin/bash
calculate_duration() {
    local input_variable="$1"
    DURATION=$(("$NUM_OF_WORKSPACES_TO_TRAIN"*60 / (input_variable * 2) + "$NUM_OF_WORKSPACES_TO_TRAIN" * 2))
  }

export PROJECT_CPD_INST_OPERANDS=<namespace where Assistant is installed>

NUM_OF_WORKSPACES_TO_TRAIN=$(oc exec wa-etcd-0 -n ${PROJECT_CPD_INST_OPERANDS} -- bash -c '
  password="$( cat /var/run/credentials/pass.key )"
  etcdctl_user="root:$password"
  export ETCDCTL_USER="$etcdctl_user"

  ETCDCTL_API=3 etcdctl --cert=/etc/etcdtls/operator/etcd-tls/etcd-client.crt --key=/etc/etcdtls/operator/etcd-tls/etcd-client.key --cacert=/etc/etcdtls/operator/etcd-tls/etcd-client-ca.crt --endpoints=https://$(hostname).${CLUSTER_NAME}.cpd.svc.cluster.local:2379 get  --prefix  /bluegoat/voyager-nlu/voyager-nlu-slot-wa/workspaces/ --keys-only | sed '/^$/d' | wc -l')

echo "Number of workspaces to train $NUM_OF_WORKSPACES_TO_TRAIN"

calculate_duration 5
DURATION_5=$DURATION

calculate_duration 10
DURATION_10=$DURATION

calculate_duration 15
DURATION_15=$DURATION
echo "Approximate duration of the auto retrain all job if you have 5 Training pods: $DURATION_5 seconds"
echo "Approximate duration of the auto retrain all job if you have 10 Training pods: $DURATION_10 seconds"
echo "Approximate duration of the auto retrain all job if you have 15 Training pods: $DURATION_15 seconds"

oc logs $(oc get pod -l component=store-admin --no-headers -n ${PROJECT_CPD_INST_OPERANDS}  |awk '{print $1}') | grep "\[RETRAIN-ALL-SUMMARY\] Affected workspaces found"