Crea, distribuisci, verifica e monitora un modello di machine learning predittivo
Questa esercitazione può comportare degli addebiti. Utilizza lo stimatore costi per generare una stima dei costi basata sul tuo utilizzo previsto.
Questa esercitazione ti guida attraverso il processo di creazione di un modello di machine learning predittivo, distribuendo il modello generato come un'API da utilizzare nelle tue applicazioni e testando il modello tutto ciò che accade in una esperienza self-service integrata e unificata su IBM Cloud. Monitorerai quindi il modello distribuito con IBM Watson OpenScale.
In questa esercitazione, viene utilizzata la serie di dati di fiori Iris per creare un modello di machine learning per classificare le specie di fiori.
Nella terminologia del machine learning, la classificazione è considerata un'istanza di apprendimento con supervisione, vale a dire l'apprendimento in cui è disponibile un set di addestramento di osservazioni correttamente identificate.
Watson Studio ti fornisce l'ambiente e gli strumenti per risolvere i tuoi problemi di business lavorando in modo collaborativo con i dati. Puoi scegliere gli strumenti di cui hai bisogno per analizzare e visualizzare i dati, per ripulire e dare forma ai dati, per inserire dati di streaming e per creare e addestrare i modelli di machine learning.
Obiettivi
- Importare i dati in un progetto.
- Creare un modello di machine learning.
- Distribuire il modello e provare l'API.
- Verificare un modello di machine learning.
- Monitorare il modello distribuito
- Riaddestra il tuo modello.
- L'amministratore carica un file CSV da una macchina locale.
- Il file CSV caricato viene archiviato nel servizio IBM Cloud Object Storage come un dataset.
- Il dataset viene quindi utilizzato per creare e distribuire un modello di machine learning. Il modello distribuito viene esposto come un'API (scoring-endpoint).
- L'utente effettua una chiamata API per prevedere il risultato con i dati di test.
- Il modello di machine learning distribuito viene monitorato per qualità, accuratezza e altri parametri chiave con i dati di test.
Importa i dati in un progetto
Un progetto è il modo in cui organizzi le tue risorse per raggiungere un obiettivo particolare. Le risorse del tuo progetto possono includere dati, collaboratori e strumenti di analisi come i notebook Jupyter e i modelli di machine learning.
Puoi creare un progetto per aggiungere dati e aprire una risorsa dati nel programma di affinamento per pulire e modellare i dati.
Crea un progetto
- Dal catalogo
, crea Watson Studio
- Selezionare una regione
- Seleziona un piano dei prezzi Lite
- Modifica il Nome servizio in watson - studio - tutorial
- Seleziona un gruppo di risorse e fai clic su Create
- Fai clic su Launch in twisty e seleziona IBM watsonx.
- Creare un progetto facendo clic su + Crea un nuovo progetto nella sezione Progetti.
- Fornire iris_project come nome progetto.
- In Definisci archiviazione, Aggiungi una nuova istanza di un servizio Object Storage.
- Fai clic su Crea. Il tuo nuovo progetto viene aperto e puoi iniziare ad aggiungere risorse ad esso.
Importa i dati
Come accennato in precedenza, utilizzerai la serie di dati Iris. La serie di dati Iris è stata utilizzata in R.A. Il classico articolo di Fisher del 1936, L'uso di misurazioni multiple in problemi tassonomici, e può essere trovato anche su Repository UCI Machine Learning. Questa piccola serie di dati viene spesso utilizzata per testare algoritmi e visualizzazioni di machine learning. L'obiettivo è quello di classificare i fiori Iris tra tre specie (Setosa, Versicolor o Virginica) in base alle misurazioni di lunghezza e larghezza di sepali e petali. Il set di dati sull'iris contiene 3 classi di 50 istanze ciascuna, dove ogni classe si riferisce a un tipo di pianta di iris.
Un sepal è una parte del fiore delle angiosperme (piante da fiore). Solitamente verde, i sepali in genere fungono da protezione per il fiore in bocciolo e spesso da supporto per i petali in fiore. I petali sono foglie modificate che circondano le parti riproduttive dei fiori. Sono spesso colorati in modo vivace o insolitamente modellati per attirare impollinatori. https://en.wikipedia.org/wiki/Iris_flower_data_set
Scaricare iris_initial.csv che consiste in 40 istanze di ciascuna specie. Assicurarsi
che il file scaricato sia denominato iris_initial.csv.
- Selezionare la scheda Asset, se non è già selezionata.
- In Dati in questo progetto, fare clic su Rilascia i file di dati qui o cerca i file da caricare.
- Caricare il
iris_initial.csvscaricato. - Una volta aggiunto, si dovrebbe vedere
iris_initial.csvnella sezione Tutte le risorse del progetto.
Associa il servizio Machine Learning
- Nel menu di navigazione superiore, del
iris-projectfare clic su Gestisci, quindi selezionare la sezione Servizi & integrazioni sulla sinistra. - Fare clic su Associa servizio.
- Se hai un'istanza del servizio Watson Machine Learning esistente, vai al passo successivo. Altrimenti, continuare con la seguente procedura per creare una nuova istanza.
- Fai clic su Nuovo servizio e quindi sul tile Watson Machine Learning.
- Seleziona una regione uguale al servizio Watson Studio e scegli un piano Lite.
- Inserite
machine-learning-tutorialcome Nome del servizio e selezionate un gruppo di risorse. - Fai clic su Crea per eseguire il provisioning di un servizio Machine Learning.
- Seleziona la casella di controllo accanto al servizio Machine Learning e fai clic su Associa.
Crea un modello di machine learning
- Nel menu di navigazione superiore, fare clic su Asset.
- Fare clic su Nuovo asset + e cercare auto.
- Fai clic sul riquadro Build machine models automaticamente.
- Impostare il nome su iris_auto.
- In Watson Machine Learning istanza del servizio, nota il servizio precedentemente associato.
- Fai clic su Crea.
Una volta creato il modello:
-
Aggiungere i dati di addestramento facendo clic su Seleziona dati dal progetto.
- Scegliere l'asset di dati in Categorie e selezionare iris_initial.csv.
- Fai clic su Select asset.
-
Se richiesto, rispondere No a Creare un'analisi di serie temporali?.
-
Selezionare Specie come Cosa si desidera prevedere?.
-
Fare clic su Impostazioni esperimento.
-
Selezionare l'origine dei dati.
-
In Metodo di training e holdout, impostare Suddivisione dati holdout su 14% spostando il dispositivo di scorrimento.
-
Nel menu di sinistra, fai clic su Prediction:
- Imposta Prediction type su Multiclass classification.
- Imposta Optimized metric su Accuracy.
- Fai clic su Save settings.
-
Fai clic su Run experiment.
-
AutoAI experiment può richiedere fino a 5 minuti per selezionare l'algoritmo corretto per il tuo modello.
Ogni pipeline del modello viene calcolata per molte metriche e poi classificata. La metrica di classificazione predefinita per i modelli di classificazione binari è l'area nella curva ROC, per i modelli di classificazione multiclasse è l'accuratezza e per i modelli di regressione è l'RMSE (root mean-squared error). Le pipeline di classificazione più elevata vengono visualizzare in una classifica, pertanto puoi visualizzare ulteriori informazioni su di esse. La classifica fornisce anche l'opzione di salvare delle pipeline del modello selezionate dopo averle esaminate.
Una volta completato l'esperimento,
- Scorri verso il basso fino alla leaderboard della pipeline.
- Fai clic su una pipeline per visualizzare ulteriori dettagli sulle metriche e le prestazioni. Al termine, chiudere facendo clic sulla X.
- Accanto al modello con Classifica 1 fare clic su Salva con nome
- Selezionare il modello.
- Mantenere il nome predefinito.
- Fai clic su Crea.
- Dalla notifica ricevuta, fare clic su Visualizza nel progetto.
Distribuisci e verifica il tuo modello
In questa sezione, distribuirai il modello salvato e verificherai il modello distribuito.
- Utilizzando la navigazione breadcrumb, fare clic su iris_project.
- Nella scheda Asset aprire Modelli sulla sinistra.
- Nella tabella Modelli individuare il modello e fare clic sul menu hamburger e scegliere Promuovi nello spazio. Utilizzare gli spazi di distribuzione per distribuire i modelli e gestire le distribuzioni.
- Imposta Name su iris_deployment_space.
- Seleziona il servizio di archiviazione Object Storage utilizzato nei passi precedenti nell'elenco a discesa corrispondente.
- Seleziona il servizio
machine-learning-tutorialnell'elenco a discesa corrispondente. - Fai clic su Crea.
- Fare clic su Promuovi.
- Dalla notifica ricevuta, passare allo spazio di distribuzione.
In Deployments> iris_deployment_space:
- Fare click sul nome del modello appena creato.
- Fare clic sul pulsante Nuova installazione.
- Selezionate Online come tipo di installazione client, fornite iris_deployment come nome e fate clic su Crea.
- Nella scheda Distribuzioni, una volta che lo stato cambia in Distribuito, fare clic su Nome nella tabella. Verranno visualizzate le proprietà del servizio web distribuito per il modello.
Verifica il modello distribuito
- Nella scheda Test dell'installazione client, fare clic sull'icona di input JSON accanto a Inserisci dati di input e fornire i dati
JSONcome input.{ "input_data": [{ "fields": ["sepal_length", "sepal_width", "petal_length", "petal_width"], "values": [ [5.1,3.5,1.4,0.2], [3.2,1.2,5.2,1.7] ] }] } - Fai clic su Predict e dovresti visualizzare i Prediction results nella tabella e nella vista JSON.
- Puoi modificare i dati di input e continuare a verificare il tuo modello.
Prova l'API
Insieme all'IU, puoi anche effettuare delle previsioni utilizzando l'endpoint di punteggio API esponendo il modello distribuito come un'API a cui è possibile accedere dalle tue applicazioni.
-
Nella scheda Riferimento API della distribuzione, puoi visualizzare l' endpoint in Link diretto e frammenti di codice in vari linguaggi di programmazione.
-
Copiare l'endpoint Pubblico in un blocco note per riferimenti futuri.
-
In un browser, avvia la shell IBM Cloud ed esporta l'endpoint di punteggio da utilizzare nelle successive richieste. Assicurarsi di non chiudere questa finestra/tab....
export SCORING_ENDPOINT='<SCORING_ENDPOINT_FROM_ABOVE_STEP>'La shell IBM Cloud è uno spazio di lavoro shell basato sul cloud a cui puoi accedere tramite il tuo browser. È preconfigurato con l'intera IBM Cloud E molti plug-in e strumenti che si possono usare per gestire applicazioni, risorse e infrastrutture.
-
Per utilizzare il Watson Machine Learning REST API, è necessario ottenere un IBM Cloud Identity and Access Management (IAM). Eseguire il comando seguente, che copierà il token IAM completo insieme a
Bearerdalla risposta di cui sopra e lo esporterà come un fileIAM_TOKENda usare nelle richieste API successiveexport IAM_TOKEN=$(ibmcloud iam oauth-tokens --output JSON | jq -r .iam_token) echo $IAM_TOKEN -
Esegui il seguente codice cURL nella shell cloud per visualizzare i risultati della previsione.
curl -X POST \ --header 'Content-Type: application/json' \ --header 'Accept: application/json' \ --header "Authorization: $IAM_TOKEN" \ -d '{"input_data": [{"fields": ["sepal_length", "sepal_width", "petal_length","petal_width"],"values": [[5.1,3.5,1.4,0.2], [3.2,1.2,5.2,1.7]]}]}' \ $SCORING_ENDPOINTSe si osserva, il codice proviene dalla scheda cURL dell'installazione client creata in precedenza. Successivamente, sostituendo il segnaposto
[$ARRAY_OF_INPUT_FIELDS]con ["sepal_length "," sepal_width "," petal_length "," petal_width "],[$ARRAY_OF_VALUES_TO_BE_SCORED]segnaposto con [5.1,3.5,1.4,0.2] e[$ANOTHER_ARRAY_OF_VALUES_TO_BE_SCORED]segnaposto con [3.2,1.2,5.2,1.7] rispettivamente.
Monitora il tuo modello distribuito con IBM Watson OpenScale
IBM® Watson OpenScale tiene traccia e misura i risultati dei tuoi modelli AI e aiuta a garantire che rimangano corretti, spiegabili e conformi ovunque i tuoi modelli siano stati creati o siano in esecuzione. Watson OpenScale rileva e aiuta a correggere la deviazione nell'accuratezza quando un modello AI è in produzione.
Per facilitare la comprensione, l'esercitazione si concentra solo sul miglioramento della qualità (accuratezza) del modello AI attraverso il servizio Watson OpenScale.
Esegui il provisioning di un servizio IBM Watson OpenScale
In questa sezione, creerai un servizio Watson OpenScale per monitorare le metriche di integrità, prestazioni, precisione e qualità del tuo modello di machine learning distribuito.
- Crea un servizio IBM Watson OpenScale (watsonx.governance)
- Seleziona una regione preferibilmente nella stessa regione in cui hai creato il servizio Machine Learning.
- Scegliete il piano Lite.
- Imposta il nome del servizio su watson - openscale - tutorial.
- Seleziona un gruppo di risorse.
- Fai clic su Crea.
- Una volta effettuato il provisioning del servizio, fare clic su Gestione nel riquadro sinistro e su Avvia Watson OpenScale.
- Fai clic su Manual setup per configurare manualmente i monitoraggi.
Configurazione del sistema
In questa sezione, come parte del processo di preparazione del tuo modello al monitoraggio, configurerai ed abiliterai i monitoraggi di ciascuna distribuzione di cui stai tenendo traccia con IBM Watson OpenScale.
- Fare clic su Database. Si tratta di memorizzare le transazioni del modello e i risultati della valutazione del modello. (potrebbe essere già selezionato)
- Fare clic sull'icona Modifica nel riquadro Database
- Scegliere il database del piano Free lite come tipo di database
- Fare clic su Salva.
- Fare clic su Fornitori di apprendimento automatico
- Fai clic su Add machine learning provider e sull'icona edit sul tile connection.
- Selezionare Watson Machine Learning(V2) come tipo di fornitore di servizi.
- Nel menu a discesa Spazio di distribuzione, seleziona lo spazio di distribuzione
iris_deployment_spaceche hai creato sopra. - Lascia il tipo di ambiente Pre-production.
- Fare clic su Salva.
- Nel riquadro all'estrema sinistra:
- Fare clic sull'icona per il dashboard Insight(prima icona) per aggiungere una distribuzione
- Fare clic su Aggiungi al dashboard per avviare la procedura guidata nella pagina Seleziona ubicazione modello.
- Nella scheda Spazi di distribuzione, fare clic sul pulsante di opzione
iris_deployment_space - Fai clic su Next
- Nella scheda Spazi di distribuzione, fare clic sul pulsante di opzione
- Nella pagina Seleziona modello distribuito:
- Fare clic su iris_deployment
- Fai clic su Next
- Nella pagina Fornisci informazioni sul modello:
- Tipo di dati: Numerical/categorical
- Tipo di algoritmo: Multi-class classification
- Fare clic su Visualizza riepilogo
- Fare clic su Fine
Viene ora visualizzato il dashboard di preproduzione iris_deployment.
Fare clic su Azioni > Configura monitor
- Fare clic su matita nel riquadro Dati di addestramento per avviare la procedura guidata.
- Nella pagina Seleziona configurazione del metodo
- Fare clic su Utilizza impostazione manuale
- Fai clic su Next
- Nella pagina del metodo Specifica dati di addestramento
- Per l'opzione Training data scegliere Database o cloud storage
- Per l'ubicazione, scegliere Cloud Object Storage
- Per l'ID dell'istanza della risorsa e la chiave API, eseguire il comando seguente nella Cloud Shell. Assicurati di modificare il valore dopo
--instance-namein modo che corrisponda al nome dell'istanza Object Storage che hai utilizzato per questa esercitazione.ibmcloud resource service-key $(ibmcloud resource service-keys --instance-name "cloud-object-storage-tutorial" | awk '/WDP-Project-Management/ {print $1}') - Copia e incolla le credenziali resource_instance_id. Inizierà con crn e terminerà con due due due punti ::.
- Copiare e incollare la chiave API delle credenziali senza spazi finali.
- Fai clic su Connetti.
- Selezionare il secchio che inizia con
irisproject-donotdelete-. - Selezionare
iris_initial.csvdall'elenco a discesa Dataset. - Fai clic su Next
- Nella pagina del metodo Selezionare le colonne della funzione e la colonna dell'etichetta
- I valori predefiniti devono essere corretti. Specie come l'etichetta / obiettivo e il resto come caratteristiche.
- Fai clic su Next
- Nella pagina del metodo Seleziona output del modello
- I valori predefiniti devono essere corretti, previsione per previsione e probabilità per probabilità.
- Fare clic su Visualizza riepilogo
- Fare clic su Fine
- Nella pagina Seleziona configurazione del metodo
- Fare clic sull'icona matita nel riquadro Dettagli di output del modello per avviare la procedura guidata.
- Nella pagina del metodo Specifica dettagli output del modello
- I valori predefiniti devono essere corretti.
- Fai clic su Save
- Nella pagina del metodo Specifica dettagli output del modello
- Nel riquadro di sinistra, fare clic su Qualità sotto Valutazioni e fare clic sull'icona di modifica nel riquadro Soglie di qualità
- Nella pagina Soglie di qualità impostare i valori seguenti:
- Accuratezza 0.98
- Fai clic su Next
- Nella pagina Dimensione di esempio
- Impostare la dimensione minima del campione su 10
- Fai clic su Save
- Nella pagina Soglie di qualità impostare i valori seguenti:
Nel riquadro di sinistra, fai clic su Go to model summary
Il monitoraggio della qualità (precedentemente noto come monitoraggio dell'accuratezza) indica la qualità con cui il modello prevede i risultati.
Poiché l'esercitazione utilizza un piccolo set di dati, la configurazione di Fairness e Drift non avrà alcun impatto.
Valuta il modello distribuito
In questa sezione, valuterai il modello caricando un file iris_retrain.csv che contiene 10 istanze di ogni specie. Scarica iris_retrain.csv.
- Fai clic su Actions e poi su Evaluate now.
- Scegliere dal file CSV come opzione di importazione e fare clic su Sfoglia, caricare il file
iris_retrain.csv. - Fare clic e fare clic su Carica e valuta.
- Dopo il completamento della valutazione, dovresti vedere delle metriche diverse nel dashboard.
Per comprendere le metriche della qualità, fai riferimento a Quality metric overview
Rimuovi le risorse
- Vai a IBM Cloud®Resource List.
- In Nome, immettere esercitazione nella casella di ricerca.
- Elimina i servizi che hai creato per questa esercitazione.
A seconda della risorsa potrebbe non essere eliminata immediatamente, ma conservata (per impostazione predefinita per 7 giorni). È possibile recuperare la risorsa eliminandola in modo permanente o ripristinarla entro il periodo di conservazione. Consultare questo documento su come utilizzare il recupero delle risorse.