Utilizza modelli ML importati per trovare termini personalizzati
Utilizza i modelli Machine Learning personalizzati che utilizzano regole o contesto per riconoscere e contrassegnare le entità.
Aggiungi i modelli Machine Learning che hai creato con gli strumenti IBM che puoi utilizzare per definire il tuo sistema tipo.
Il tipo di modelli che è possibile aggiungere dipende dalla propria distribuzione:
-
IBM Cloud Pak for Data è possibile aggiungere modelli creati con xml-ph-0000@deepl.internal xml-ph-0001@deepl.internal Modelli di Studio o con un'istanza di xml-ph-00 IBM Software Hub È possibile aggiungere modelli creati con Watson Explorer Content Analytics Studio o con un'istanza di IBM Watson® Knowledge Studio ospitata su IBM Cloud Pak® for Data o IBM Cloud. A partire dalla versione 4.6.2, è anche possibile aggiungere modelli personalizzati di estrazione entità creati ed esportati da un'altra istanza di Discovery.
-
IBM Cloud Puoi aggiungere i modelli che sono stati creati con un'istanza IBM Watson® Knowledge Studio ospitata solo in IBM Cloud.
Per utilizzare un modello Knowledge Studio che è stato creato con Knowledge Studio su IBM Cloud Pak for Data, migra il ground truth in un'istanza IBM Cloud di Knowledge Studioe riaddestra il modello.
Sono supportati i seguenti tipi di modelli:
- Modelli basati sulle regole creati in Knowledge Studio che trovano entità nei documenti in base alle regole che definisci. (Formato file: .pear)
- Modelli di apprendimento automatico creati in Knowledge Studio che comprendono le sfumature linguistiche, il significato e le relazioni specifiche del tuo settore (formato file: .zip)
- Estrattori entità personalizzati creati ed esportati da Discovery. (Formato file: .ent)
- Classificatori di frasi creati ed esportati da Discovery. (Formato file: .sc)
- IBM Cloud Pak for Data modelli di analisi del testo UIMA personalizzati creati in xml-ph-0000@deepl.internal xml-ph-0001@deepl.internal Studio IBM Software Hub Modelli di analisi testuale UIMA personalizzati creati in Watson Explorer Content Analytics Studio. (Formato file: .pear)
Dalle distribuzioni installate, è stato aggiunto il supporto per l'importazione dei modelli dell'estrattore di entità con la release 4.6.2.
Il rilevamento non è in grado di identificare i sottotipi di entità definiti da un modello Knowledge Studio.
Per aggiungere un modello di Volvo Machine Learning, procedere come segue:
-
Creare il modello ed esportarlo dallo strumento utilizzato per crearlo.
Per ulteriori informazioni, consulta la seguente documentazione:
-
Knowledge Studio for IBM Cloud Pak® for Data
-
Knowledge Studio for IBM Cloud
-
Watson Explorer Content Analytics Studio
È necessario esportare il modello da Watson Explorer Content Analytics Studio come file UIMA PEAR. Per ulteriori informazioni, vedere Creazione di file PEAR personalizzati da utilizzare con Lexical Analysis Streams.
-
-
Dalla sezione Teach domain concepts del pannello Improvement tools e fai quindi clic su Import machine learning models.
-
Specificare un nome per il modello, quindi scegliere la lingua utilizzata per definire il modello.
-
Fare clic su Carica per ricercare il file esportato in precedenza.
-
Fai clic su Crea.
-
Scegli la raccolta e il campo in cui vuoi applicare gli arricchimenti dal modello e fai quindi clic su Applica.
Se il modello è troppo grande per essere caricato dall'interfaccia utente del prodotto, puoi usare il metodo Crea un arricchimento dell'API per importare il file.
Esempio di modello basato su regole
Ad esempio, quando un modello di apprendimento automatico viene applicato come arricchimento a un campo, estrae tutti i tipi di entità in quel campo che sono stati specificati in un modello basato su regole di apprendimento automatico ( Knowledge
Studio ). Se il modello riconosce tipi di entità come person, surname e job title, vengono riconosciuti nei tuoi documenti e con tag.
Nell'output, le informazioni estratte dall'arricchimento Machine Learning nell'array enriched_{field_name}, all'interno dell'array entities. In questo esempio, il campo selezionato per l'arricchimento è text.
{
"enriched_text": [
{
"entities": [
{
"path": ".wksrule.entities.PERSON",
"text": "George Washington",
"type": "PERSON"
},
{
"path": ".wksrule.entities.GIVENNAME",
"text": "George",
"type": "GIVENNAME"
},
{
"path": ".wksrule.entities.SURNAME",
"text": "Washington",
"type": "SURNAME"
},
{
"path": ".wksrule.entities.POSITION",
"text": "politician",
"type": "POSITION"
},
{
"path": ".wksrule.entities.POSITION",
"text": "soldier",
"type": "POSITION"
},
{
"path": ".wksrule.entities.JOBTITLE",
"text": "President of the United States",
"type": "JOBTITLE"
}
],
"text": [
"George Washington (February 22, 1732‚ December 14, 1799) was an American politician and soldier who served as the first President of the United States from 1789 to 1797 and was one of the Founding Fathers of the United States."
]
}
]
}
Di conseguenza, se qualcuno utilizza l'API per inoltrare una query del linguaggio di query Discovery per cercare le ricorrenze dell'arricchimento enriched_{field_name}.entities.type:jobtitle,
vengono restituiti tutti i passaggi che discutono il titolo di lavoro di una persona.
Esempio di modello di machine learning
In questo esempio, un modello di machine learning estrae tipi di entità come person, oranization e date e informazioni sulle relazioni tra le entità. Quando questo modello ML viene applicato come arricchimento
a un campo, utilizza l'apprendimento automatico per comprendere le sfumature linguistiche, il significato e le relazioni menzionate nel documento.
Nell'output, le informazioni estratte dall'arricchimento Machine Learning nell'array enriched_{field_name}, all'interno degli array entities e relations. In questo esempio, il campo selezionato per l'arricchimento
è text.
{
"enriched_text": [
{
"entities": [
{
"count": 1,
"text": "Democratic Party",
"type": "ORGANIZATION"
},
{
"count": 1,
"text": "March 15, 1767",
"type": "DATE"
},
{
"count": 1,
"text": "President",
"type": "POSITION"
},
{
"count": 1,
"text": "Andrew Jackson",
"type": "PERSON"
}
],
"relations": [
{
"sentence": "Andrew Jackson (March 15, 1767‚ June 8, 1845) was an American soldier and statesman who served as the seventh President of the United States from 1829 to 1837 and was the founder of the Democratic Party."
}
]
}
]
}
Limiti del modello di machine learning
Il numero di modelli Machine Learning (ML) che puoi creare per istanza del servizio dipende dal tuo tipo di piano Discovery.
| Pianifica | Modelli ML per istanza del servizio |
|---|---|
| Cloud Pak for Data | Illimitato |
| Premium | 10 |
| Enterprise | 10 |
| Plus (include la versione di prova) | 3 |
Per ogni modello di machine learning Knowledge Studio, il numero massimo di entità che è possibile rilevare è 50.
Modelli di regole avanzate
Aggiungi un modello di regole avanzate per applicare un modello di estrazione testo creato ed esportato dall'editor delle regole avanzate di IBM Watson® Knowledge Studio alla tua raccolta.
Il tuo modello deve essere creato con la distribuzione Knowledge Studio appropriata:
-
IBM Cloud Pak for Data è possibile aggiungere modelli creati ed esportati dai seguenti luoghi IBM Software Hub È possibile aggiungere modelli creati ed esportati dai seguenti luoghi:
- IBM Watson® Knowledge Studio che è stato creato con una distribuzione IBM Cloud Pak® for Data precedente alla release 4.5.
- IBM Watson® Knowledge Studio ospitato su IBM Cloud
- Editor NLP creato dai contributori al Centro per le tecnologie di dati & AI open source
-
IBM Cloud Puoi aggiungere modelli che sono stati creati con un'istanza IBM Watson® Knowledge Studio ospitata solo su IBM Cloud.
Rimozione da Knowledge Studio
Il supporto per la creazione di modelli con l'editor delle regole avanzate beta in Knowledge Studio è terminato. Qualsiasi modello di regole esportato da Knowledge Studio prima della data di fine del supporto può continuare ad essere utilizzato in Discovery.
Le date di fine del supporto differiscono in base al tipo di distribuzione:
- IBM Cloud 30 giugno 2022
- IBM Cloud Pak for Data IBM Cloud Pak for Data rilascia 4.5.1 il 3 agosto 2022.
IBM Cloud Come alternativa all'utilizzo di un modello generato dall'editor delle regole avanzate Knowledge Studio, puoi definire una regolaaggiungendo un arricchimento Patterns.
Aggiunta di un modello esistente
Per aggiungere un modello di regole avanzato, completare la seguente procedura:
-
Creare il modello ed esportare il file ZIP che contiene le risorse del modello.
Per ulteriori informazioni su come esportare il modello, consultare le istruzioni per l'origine del modello:
-
Dalla sezione Teach domain concepts del pannello Improvement tools, scegli Advanced rules model.
-
Fai clic su Carica.
-
Specificare un nome per il modello, quindi scegliere la lingua utilizzata per definire il modello.
-
Specificare un nome per il campo risultato, che è il campo nell'indice in cui verrà memorizzato l'output di questo arricchimento.
-
Fare clic su Carica per ricercare il file ZIP esportato in precedenza.
-
Fai clic su Crea.
-
Scegli la raccolta e il campo in cui vuoi applicare gli arricchimenti dal modello e fai quindi clic su Applica.
Formato di output per le regole avanzate
Knowledge Studio utilizza l'AQL (Annotation Query Language) per definire le regole in un modello di regole avanzate. Ogni modello è definito da una o più viste. Ogni vista è una struttura di dati relazionali che contiene più record di dati. Ogni record è composto da valori nelle colonne definite dallo schema della vista. Per facilitare la rappresentazione di questi modelli, che sono personalizzati e quindi hanno vari schemi, viene utilizzato uno schema di output JSON uniforme.
- Ogni oggetto JSON rappresenta una vista AQL (Annotation Query Language).
- Le coppie nome - valore negli oggetti JSON rappresentano i nomi e valori degli attributi nella vista.
- Le tuple in una vista AQL sono rappresentate come un array di oggetti JSON, con un oggetto per ogni tupla nella vista.
La seguente tabella descrive come i tipi di dati AQL sono rappresentati nella sintassi JSON.
| tipo di dati AQL | Sintassi JSON | Esempio JSON |
|---|---|---|
| Intero | numero | 5 |
| Float | numero | 4.13 |
| Booleano | boolean | true |
| Testo | stringa | "some string" |
| Estensione | con il modulo {"text": String, "location": {"begin": Integer, "end": Integer}} |
{ "text": "Jane", location": {"begin": 5, "end": 9} } |
| Caso speciale: valore null | null | null |
| Elenco di numeri interi | matrice di valori numerici | [ 1, 2, 3, 4, 5] |
| Elenco di elementi mobili | matrice di valori numerici | [ 4.13, 4.5 ] |
| Elenco di booleani | array di valori boolean | [ true, true, false] |
| Elenco di testo | array di valori stringa | [ "some string", "another string" ] |
| Elenco di span | array di oggetti con il formato {"text":String, "location": {"begin": Integer, "end": Integer}} |
[{ "text":"Jane", "location": {"begin": 5, "end": 9} }, { "text":"...", "location": {"begin": 15, "end": 40} }] |
| Caso speciale: vuoto Elenco | array con 0 elementi | [ ] |
Limiti del modello di regole avanzate
Il numero di modelli di regole avanzate che puoi definire per istanza del servizio dipende dal tipo di piano Discovery.
| Pianifica | Modelli di regole avanzati per istanza del servizio |
|---|---|
| Cloud Pak for Data | Illimitato |
| Premium | 3 |
| Enterprise | 3 |
| Plus (include la versione di prova) | 1 |