Machine Learning-Vorhersagemodell erstellen, bereitstellen, testen und überwachen
Für dieses Lernprogramm können Kosten anfallen. Mit dem Kostenschätzer können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung generieren.
In diesem Lernprogramm erfahren Sie, wie Sie ein Machine Learning-Vorhersagemodell erstellen, das generierte Modell als API für die Verwendung in Ihren Anwendungen bereitstellen und das Modell testen können, und zwar alles in einer integrierten und einheitlichen Self-Service-Erfahrung unter IBM Cloud. Anschließend überwachen Sie das bereitgestellte Modell mit IBM Watson OpenScale.
In diesem Lernprogramm wird das Dataset 'Iris' verwendet, um ein Machine Learning-Modell zum Klassifizieren von Blumenarten zu erstellen.
In der Machine Learning-Terminologie wird die Klassifizierung als eine Instanz des kontrollierten Lernens betrachtet, d. h. zu lernen, wo ein Trainingsset mit korrekt identifizierten Beobachtungen zur Verfügung steht.
Watson Studio stellt Ihnen eine Umgebung und die Tools zur Verfügung, mit deren Hilfe Sie Geschäftsprobleme durch die gemeinsame Bearbeitung Ihrer Daten beheben können. Sie können die Tools auswählen, die Sie zur Analyse und Visualisierung von Daten, zur Bereinigung und Formatierung von Daten, zum Einpflegen von Streaming-Daten oder zum Erstellen und Trainieren von Machine Learning-Modellen benötigen.
Ziele
- Daten in ein Projekt importieren
- Machine Learning-Modell erstellen
- Modell implementieren und API testen
- Machine Learning-Modell testen
- Bereitgestelltes Modell überwachen
- Erneutes Training für das Modell
- Der Administrator lädt eine CSV-Datei aus einer lokalen Maschine hoch.
- Die hochgeladene CSV-Datei wird im IBM Cloud Object Storage-Service als ein Dataset gespeichert.
- Das Dataset wird anschließend zum Erstellen und Bereitstellen eines Machine Learning-Modells verwendet. Das bereitgestellte Modell wird als API (scoring-endpoint) zugänglich gemacht.
- Der Benutzer setzt einen API-Aufruf ab, um das Ergebnis mithilfe der Testdaten vorherzusagen.
- Das bereitgestellte Modell wird mit den Testdaten auf Qualität, Genauigkeit und auf weitere Schlüsselparameter überwacht.
Daten in ein Projekt importieren
Ein Projekt ist die Art und Weise, wie Sie Ihre Ressourcen organisieren, um ein bestimmtes Ziel zu erreichen. Ihre Projektressourcen können Daten, Collaboratoren und Analysewerkzeuge wie Jupyter-Notebooks und Machine Learning-Modelle enthalten.
Sie können ein Projekt erstellen, um Daten hinzuzufügen und ein Datenasset im Datenrefinery-Tool zu öffnen, um Ihre Daten zu bereinigen und zu gestalten.
Projekt erstellen
- Erstellen Sie im Katalogdie Datei Watson Studio.
- Wählen Sie eine Region aus
- Wählen Sie den Preisstrukturplan Lite aus.
- Ändern Sie den Servicenamen in watson-studio-tutorial
- Wählen Sie eine Ressourcengruppe aus und klicken Sie auf Erstellen.
- Klicken Sie auf Starten in und wählen Sie IBM watsonx aus.
- Erstellen Sie ein Projekt durch Klicken auf + Neues Projekt erstellen im Abschnitt Projekte.
- Geben Sie iris_project als Projektnamen an.
- Fügen Sie in Speicher definieren eine neue Instanz eines Object Storage-Service hinzu.
- Klicken Sie auf Erstellen. Ihr neues Projekt wird geöffnet und Sie können mit dem Hinzufügen von Ressourcen zu diesem Projekt beginnen.
Daten importieren
Wie bereits erwähnt, verwenden Sie das Dataset 'Iris'. Das Dataset 'Iris' wurde in der klassischen Abhandlung von R.A. Fisher's klassische Abhandlung von 1936 The Use of Multiple Measurements in Taxonomic Problems finden Sie auch im Repository UCI Machine Learning. Dieses kleine Dataset wird häufig zum Testen von Machine Learning-Algorithmen und -Visualisierungen verwendet. Ziel ist es, die Iris-Blumen anhand von Messungen zu Länge und Bereite von Kelchblättern und Blüten in drei Arten (Setosa, Versicolor oder Virginica) zu klassifizieren. Der Datensatz 'Iris' enthält drei Klassen mit jeweils 50 Instanzen, wobei sich jede Klasse auf eine Art von Iris-Betrieb bezieht.
Ein Sepal ist ein Teil der Blüte von Angiospermen (blühende Pflanzen). In der Regel grün, Sepalen funktionieren typischerweise als Schutz für die Blume in Knospe, und oft als Unterstützung für die Blütenblätter, wenn in der Blüte. Blütenblätter sind modifizierte Blätter, die die reproduktiven Teile von Blumen umgeben. Sie sind oft hell gefärbt oder ungewöhnlich geformt, um Bestäuber anzuziehen. https://en.wikipedia.org/wiki/Iris_flower_data_set
Herunterladen iris_initial.csv which consists of 40 instances of each species.
Stellen Sie sicher, dass die heruntergeladene Datei iris_initial.csvbenannt wurde.
- Wählen Sie die Registerkarte Assets aus, wenn sie noch nicht ausgewählt ist.
- Klicken Sie unter Daten in diesem Projekt auf Datendateien hier ablegen oder nach hochzuladenden Dateien suchen.
- Laden Sie die heruntergeladenen
iris_initial.csv. - Nach dem Hinzufügen sollten Sie
iris_initial.csvunter dem Abschnitt Alle Assets des Projekts sehen.
Machine Learning-Service zuordnen
- Klicken Sie im oberen Navigationsmenü von
iris-projectauf Verwalten und wählen Sie dann links den Abschnitt Services & Integrationen aus. - Klicken Sie auf Service zuordnen.
- Wenn Sie eine bestehende Watson Machine Learning Dienstinstanz haben, fahren Sie mit dem nächsten Schritt fort. Fahren Sie andernfalls mit den folgenden Schritten fort, um eine neue Instanz zu erstellen.
- Klicken Sie auf Neuer Service und anschließend auf die Kachel Watson Machine Learning.
- Wählen Sie eine mit dem Watson Studio-Service übereinstimmende Region und einen Lite-Plan aus.
- Geben Sie
machine-learning-tutorialals Servicenamen ein und wählen Sie eine Ressourcengruppe aus. - Klicken Sie auf Erstellen, um einen Machine Learning-Service bereitzustellen.
- Aktivieren Sie das Kontrollkästchen neben dem Dienst Machine Learning und klicken Sie auf Zuordnen.
Machine Learning-Modell erstellen
- Klicken Sie im oberen Navigationsmenü auf Assets.
- Klicken Sie auf Neues Asset + und suchen Sie nach auto.
- Klicken Sie auf die Kachel Maschinenmodelle automatisch erstellen.
- Setzen Sie den Namen auf iris_auto.
- Beachten Sie unter Watson Machine Learning-Serviceinstanz den zuvor zugeordneten Service.
- Klicken Sie auf Erstellen.
Nachdem das Modell erstellt worden ist, gehen Sie wie folgt vor:
-
Fügen Sie Trainingsdaten hinzu, indem Sie auf Daten aus Projekt auswählen klicken.
- Wählen Sie das Datenasset unter Kategorien aus und wählen Sie iris_initial.csv aus.
- Klicken Sie auf Asset auswählen.
-
Wenn Sie dazu aufgefordert werden, antworten Sie bei Zeitreihenanalyse erstellen? mit Nein.
-
Wählen Sie Art für die Frage Was soll vorhergesagt werden? aus.
-
Klicken Sie auf Experimenteinstellungen.
-
Wählen Sie Datenquelle aus.
-
Legen Sie unter Trainings-und Holdout-Methode Holdout data split auf 14% fest, indem Sie den Schieberegler verschieben.
-
Klicken Sie im linken Menü auf Vorhersage:
- Geben Sie für Vorhersagetyp die Option Klassifikation mit mehreren Klassen an.
- Geben Sie für Optimierte Metrik die Option Genauigkeit an.
- Klicken Sie auf Einstellungen speichern.
-
Klicken Sie auf Experiment ausführen.
-
Es kann bis zu 5 Minuten dauern, bis von AutoAI-Experiment der richtige Algorithmus für Ihr Modell ausgewählt wurde.
Jede Modellpipeline wird nach verschiedenen Metriken ausgewertet und entsprechend eingestuft. Die standardmäßige Einstufungsmetrik für binäre Klassifikationsmodelle ist der Bereich unter der ROC-Kurve. Für Klassifikationsmodelle mit mehreren Klassen wird die Genauigkeit als standardmäßige Einstufungsmetrik verwendet und für Regressionsmodelle der mittlere quadratische Gesamtfehler (Root Mean-Squared Error, RMSE). Die am höchsten eingestuften Pipelines werden in einer Rangliste angezeigt und Sie können weitere Informationen zu diesen Pipelines aufrufen. Außerdem können Sie über die Rangliste ausgewählte Modellpipelines speichern, nachdem Sie sie überprüft haben.
Nach Abschluss der Ausführung des Experiments
- Blättern Sie abwärts zur Pipeline-Bestenliste.
- Klicken Sie auf eine Pipeline, um weitere Details zu den Metriken und zur Leistung anzuzeigen. Wenn Sie fertig sind, schließen durch Klicken auf das X.
- Klicken Sie neben dem Modell mit Rang 1 auf Speichern unter.
- Modell auswählen.
- Behalten Sie den Standardnamen bei.
- Klicken Sie auf Erstellen.
- Klicken Sie in der empfangenen Benachrichtigung auf In Projekt anzeigen.
Modell bereitstellen und testen
In diesem Abschnitt wird das gespeicherte Modell bereitgestellt und getestet.
- Klicken Sie in der Hauptlinknavigation auf iris_project.
- Öffnen Sie auf der Registerkarte Assets auf der linken Seite Modelle.
- Suchen Sie in der Tabelle Modelle das Modell, klicken Sie auf das Hamburger-Menü und wählen Sie In Bereich hochstufen aus. Sie verwenden Bereitstellungsbereiche, um Modelle bereitzustellen und Ihre Bereitstellungen zu verwalten.
- Legen Sie Name auf iris_deployment_space fest.
- Wählen Sie den Object Storage-Speicherservice aus, der in vorherigen Schritten in der entsprechenden Dropdown-Liste verwendet wurde.
- Wählen Sie den
machine-learning-tutorial-Service in der entsprechenden Dropdown-Liste aus. - Klicken Sie auf Erstellen.
- Klicken Sie auf Hochstufen.
- Navigieren Sie über die empfangene Benachrichtigung zum Bereitstellungsbereich.
Gehen Sie in Implementierungen > iris_deployment_space wie folgt vor:
- Klicken Sie auf den Namen des soeben erstellten Modells.
- Klicken Sie auf die Schaltfläche Neue Bereitstellung.
- Wählen Sie als Bereitstellungstyp Online aus, geben Sie als Namen iris_deployment an und klicken Sie dann auf Erstellen.
- Wenn sich der Status auf der Registerkarte Implementierungen in Implementiert ändert, klicken Sie in der Tabelle auf Name. Die Eigenschaften des implementierten Web-Service für das Modell werden angezeigt.
Bereitgestelltes Modell testen
- Klicken Sie auf der Registerkarte " Test" Ihrer Bereitstellung auf das JSON-Eingabesymbol neben " Eingabedaten eingeben" und geben Sie die
JSONals Eingabe ein.{ "input_data": [{ "fields": ["sepal_length", "sepal_width", "petal_length", "petal_width"], "values": [ [5.1,3.5,1.4,0.2], [3.2,1.2,5.2,1.7] ] }] } - Klicken Sie auf Vorhersagen, um die Vorhersageergebnisse in der Tabelle und JSON-Ansicht anzuzeigen.
- Sie können die Eingabedaten ändern und das Modell weiter testen.
API testen
Neben der Benutzerschnittstelle können Sie auch den API-Bewertungsendpunkt (scoring-endpoint) zum Erstellen von Vorhersagen verwenden, indem Sie das bereitgestellte Modell als eine API zugänglich machen, die in Ihren Anwendungen aufgerufen werden kann.
-
Auf der Registerkarte API-Referenz der Bereitstellung sehen Sie den Endpunkt unter Direkter Link und Codeausschnitte in verschiedenen Programmiersprachen.
-
Kopieren Sie den öffentlichen Endpunkt in einen Notizblock, um ihn später zu verwenden.
-
Starten Sie IBM Cloud Shell in einem Browser und exportieren Sie den Codeausschnitt 'Scoring End-point' für die Verwendung in nachfolgenden Anforderungen. Lassen Sie das aktuelle Fenster bzw. die aktuelle Registerkarte geöffnet.
export SCORING_ENDPOINT='<SCORING_ENDPOINT_FROM_ABOVE_STEP>'IBM Cloud Shell ist ein cloudbasierter Shell-Arbeitsbereich, den Sie in Ihrem Browser aufrufen können. Es ist mit der vollständigen IBM Cloud-CLI sowie vielen Plug-ins und Tools vorkonfiguriert, die Sie zum Verwalten von Apps, Ressourcen und Infrastruktur verwenden können.
-
Zur Verwendung des Watson Machine Learning REST API zu verwenden, müssen Sie ein IBM Cloud Identity and Access Management (IAM) Token. Führen Sie den folgenden Befehl aus. Er kopiert das vollständige IAM-Token zusammen mit
Beareraus der obigen Antwort und exportiert es alsIAM_TOKEN, das in den nachfolgenden API-Anforderungen verwendet werden kannexport IAM_TOKEN=$(ibmcloud iam oauth-tokens --output JSON | jq -r .iam_token) echo $IAM_TOKEN -
Führen Sie den folgenden curl-Code in der Cloud-Shell aus, um die Vorhersageergebnisse anzuzeigen.
curl -X POST \ --header 'Content-Type: application/json' \ --header 'Accept: application/json' \ --header "Authorization: $IAM_TOKEN" \ -d '{"input_data": [{"fields": ["sepal_length", "sepal_width", "petal_length","petal_width"],"values": [[5.1,3.5,1.4,0.2], [3.2,1.2,5.2,1.7]]}]}' \ $SCORING_ENDPOINTDieser Code stammt aus der Registerkarte cURL der Bereitstellung, die Sie zuvor erstellt haben. Ersetzen Sie anschließend den Platzhalter
[$ARRAY_OF_INPUT_FIELDS]durch ["sepal_length", "sepal_width", "petal_length", "petal_width"], den Platzhalter[$ARRAY_OF_VALUES_TO_BE_SCORED]durch [5.1,3.5,1.4,0.2] bzw.[$ANOTHER_ARRAY_OF_VALUES_TO_BE_SCORED]durch [3.2,1.2,5.2,1.7].
Bereitgestelltes Modell mit IBM Watson OpenScale überwachen
IBM® Watson OpenScale verfolgt und misst die Ergebnisse Ihrer KI-Modelle und stellt sicher, dass sie fair, nachvollziehbar und konform bleiben, unabhängig davon, wo Ihre Modelle erstellt wurden oder ausgeführt werden. Watson OpenScale erkennt außerdem Abweichungen in der Genauigkeit und hilft bei der Korrektur, wenn sich ein KI-Modell in der Aufnahme befindet.
Zum besseren Verständnis geht das Lernprogramm nur auf die Verbesserung der Qualität (Genauigkeit) des AI-Modells mithilfe des Watson OpenScale-Service ein.
IBM Watson OpenScale-Service bereitstellen
In diesem Abschnitt erstellen Sie einen Watson OpenScale-Service zum Überwachen von Zustand, Leistung, Genauigkeit und Qualitätsmetriken Ihres bereitgestellten Machine Learning-Modells.
- IBM Watson OpenScale-Service erstellen (watsonx.governance)
- Wählen Sie eine Region vorzugsweise in derselben Region aus, in der Sie den Service Machine Learning erstellt haben.
- Wählen Sie den Plan Lite aus.
- Legen Sie den Servicenamen auf watson-openscale-tutorial fest.
- Wählen Sie eine Ressourcengruppe aus.
- Klicken Sie auf Erstellen.
- Sobald der Dienst bereitgestellt ist, klicken Sie im linken Bereich auf Verwalten und dann auf Watson OpenScale starten.
- Klicken Sie auf Manuelle Einrichtung, um die Überwachungen manuell zu konfigurieren.
Systemkonfiguration
In diesem Abschnitt bereiten Sie Ihr Modell auf die Überwachung vor, indem Sie Überwachungen für jede Bereitstellung erstellen und aktivieren, die Sie mit IBM Watson OpenScale verfolgen möchten.
- Klicken Sie auf Datenbank. Hier werden Ihre Modelltransaktionen und Modellauswertungsergebnisse gespeichert. (möglicherweise bereits ausgewählt)
- Klicken Sie auf das Symbol Bearbeiten auf der Kachel Datenbank
- Wählen Sie als Datenbanktyp Free lite plan database
- Klicken Sie auf Speichern.
- Klicken Sie auf Machine Learning-Provider
- Klicken Sie auf Machine Learning-Provider hinzufügen und anschließend auf das Bearbeitungssymbol auf der Kachel Verbindung.
- Wählen Sie Watson Machine Learning(V2) als Ihren Service-Provider-Typ aus.
- Wählen Sie in der Dropdown-Liste Bereitstellungsbereich den Bereitstellungsbereich
iris_deployment_spaceaus, den Sie oben erstellt haben. - Behalten Sie den Umgebungstyp Vorproduktion bei.
- Klicken Sie auf Speichern.
- Im Fenster ganz links:
- Klicken Sie auf das Symbol für Insights-Dashboard(erstes Symbol), um eine Bereitstellung hinzuzufügen.
- Klicken Sie auf Zu Dashboard hinzufügen, um den Assistenten auf der Seite Modellposition auswählen zu starten.
- Klicken Sie auf der Registerkarte Bereitstellungsbereiche auf das Optionsfeld
iris_deployment_space. - Klicken Sie auf Weiter
- Klicken Sie auf der Registerkarte Bereitstellungsbereiche auf das Optionsfeld
- Gehen Sie auf der Seite Bereitgestelltes Modell auswählen wie folgt vor:
- Klicken Sie auf iris_deployment.
- Klicken Sie auf Weiter
- Gehen Sie auf der Seite Modellinformationen angeben wie folgt vor:
- Datentyp: Numerisch/kategorial
- Algorithmustyp: Klassifikation mit mehreren Klassen
- Klicken Sie auf Zusammenfassung anzeigen
- Klicken Sie auf Fertig stellen.
Das Vorproduktionsdashboard iris_deployment wird jetzt angezeigt.
Klicken Sie auf Aktionen > Monitore konfigurieren
- Klicken Sie auf das Symbol Stift auf der Kachel Trainingsdaten, um den Assistenten zu starten.
- Auf der Seite für die Methode Konfiguration auswählen
- Klicken Sie auf Manuelle Einrichtung verwenden
- Klicken Sie auf Weiter
- Auf der Methodenseite Trainingsdaten angeben
- Wählen Sie für die Trainingsdatenoption Datenbank oder Cloudspeicher aus.
- Wählen Sie als Position Cloud Object Storage aus.
- Um die ID der Ressourceninstanz und den API-Schlüssel zu erhalten, führen Sie den folgenden Befehl in der Cloud Shell aus. Stellen Sie sicher, dass Sie den Wert nach
--instance-nameso ändern, dass er mit dem Namen der Object Storage-Instanz übereinstimmt, die Sie für dieses Lernprogramm verwenden.ibmcloud resource service-key $(ibmcloud resource service-keys --instance-name "cloud-object-storage-tutorial" | awk '/WDP-Project-Management/ {print $1}') - Kopieren Sie die Berechtigungsnachweise resource_instance_id und fügen Sie sie ein. Sie beginnt mit crn und endet mit zwei Doppelpunkten ::.
- Kopieren Sie den API-Schlüssel für Berechtigungsnachweise ohne nachgestellte Leerzeichen und fügen Sie ihn ein.
- Klicken Sie auf Verbinden.
- Wählen Sie den Bucket, der mit
irisproject-donotdelete-beginnt. - Wählen Sie
iris_initial.csvin der Dropdown-Liste "Dataset" aus. - Klicken Sie auf Weiter
- Auf der Methodenseite Merkmalspalten und Bezeichnungsspalte auswählen
- Die Standardwerte müssen korrekt sein. Spezies als Label/Target und der Rest als Features.
- Klicken Sie auf Weiter
- Auf der Methodenseite Modellausgabe auswählen
- Die Standardwerte sollten korrekt sein, Vorhersage für Vorhersage und Wahrscheinlichkeit für Wahrscheinlichkeit.
- Klicken Sie auf Zusammenfassung anzeigen
- Klicken Sie auf Fertig stellen.
- Auf der Seite für die Methode Konfiguration auswählen
- Klicken Sie auf das Symbol Stift auf der Kachel Modellausgabedetails, um den Assistenten zu starten.
- Auf der Seite ' Details der Modellausgabe angeben '
- Die Standardwerte müssen korrekt sein.
- Klicken Sie auf Speichern.
- Auf der Seite ' Details der Modellausgabe angeben '
- Klicken Sie auf der linken Seite auf Qualität unter Bewertungen und klicken Sie auf das Bearbeitungssymbol auf der Kachel Qualitätsschwellenwerte
- Legen Sie auf der Seite Qualitätsschwellenwerte die folgenden Werte fest:
- Genauigkeit 0.98
- Klicken Sie auf Weiter
- Auf der Seite Stichprobenumfang
- Mindeststichprobenumfang auf 10 setzen
- Klicken Sie auf Speichern.
- Legen Sie auf der Seite Qualitätsschwellenwerte die folgenden Werte fest:
Klicken Sie im linken Teilfenster auf Zur Modellzusammenfassung wechseln.
Die Qualitätsüberwachung (bisher als Genauigkeitsüberwachung bezeichnet) macht sichtbar, wie genau die Vorhersageergebnisse Ihres Modells sind.
Da im vorliegenden Lernprogramm ein kleines Dataset verwendet wird, bleibt das Konfigurieren der Gleichmäßigkeit und der Abweichung ohne Wirkung.
Bereitgestelltes Modell bewerten
In diesem Abschnitt bewerten Sie das Modell, indem Sie eine Datei iris_retrain.csv hochladen, die 10 Instanzen für jede Blumenart enthält. Laden Sie iris_retrain.csvherunter.
- Klicken Sie auf Aktionen und anschließend auf Jetzt bewerten.
- Wählen Sie aus CSV-Datei als Importoption aus und klicken Sie auf Durchsuchen. Laden Sie die Datei
iris_retrain.csvhoch. - Klicken Sie auf Hochladen und auswerten.
- Nachdem die Bewertung abgeschlossen ist, müsste ein Dashboard mit verschiedenen Metriken angezeigt werden.
Informationen zum Verständnis der Qualitätsmetriken finden Sie in der Übersicht der Qualitätsmetriken.
Ressourcen entfernen
- Navigieren Sie zur IBM Cloud®-Ressourcenliste.
- Geben Sie unter Name in das Suchfeld tutorial (Lernprogramm) ein.
- Löschen Sie die Services, die Sie für dieses Lernprogramm erstellt haben.
Je nach Ressource wird diese möglicherweise nicht sofort gelöscht, sondern (standardmäßig für 7 Tage) aufbewahrt. Sie können die Ressource zurückfordern, indem Sie sie permanent löschen oder innerhalb des Aufbewahrungszeitraums wiederherstellen. In diesem Dokument erfahren Sie mehr zur Verwendung der Ressourcenrückforderung.