Red Hat® AI InstructLab on IBM Cloud® ist eine geschäftsfähige, private und sichere generative KI-Lösung, die von Red Hat Enterprise Linux AI unterstützt wird.

Einführung in Red Hat AI InstructLab on IBM Cloud

Machen Sie sich bereit, mit Red Hat® AI InstructLab on IBM Cloud® in die KIDie Fähigkeit, Wissen in Form eines Modells zu erwerben, zu verarbeiten, zu erstellen und anzuwenden, um Vorhersagen, Empfehlungen oder Entscheidungen zu treffen. einzutauchen!

InstructLab ist ein Open-Source-Projekt von IBM und Red Hat, das einen kostengünstigen Einstieg in die Welt des maschinellen LernensEin Teilgebiet der künstlichen Intelligenz (KI) und der Informatik, das sich auf die Nutzung von Daten und Algorithmen konzentriert, um die Art und Weise, wie Menschen lernen, zu imitieren und die Genauigkeit von KI-Modellen schrittweise zu verbessern. bietet. Mit InstructLab können Sie Beiträge zu einem großen Sprachmodell leisten, ohne dass Sie eine eigene Hardware-Infrastruktur besitzen und betreiben müssen.

Erfahren Sie mehr über InstructLab.

Was ist Red Hat AI InstructLab?

Für die Nutzung von InstructLab sind keine Vorkenntnisse erforderlich. Sie müssen noch nicht einmal eine Idee haben, was Sie kreieren wollen. Machen wir uns zunächst einmal mit den Begriffen vertraut.

InstructLab ist ein Projekt zur Verbesserung großer Sprachmodelle (LLMs ), d. h. KI-Modelle, die maschinelle Lerntechniken zur Generierung menschlicher Sprache einsetzen. Sie beginnen mit der Bereitstellung von Wissen und Fähigkeiten, die für Ihr Unternehmen am wichtigsten sind, in einer so genannten Taxonomie oder einem Verzeichnis von Daten. Die Taxonomie wird zur Generierung synthetischer Daten verwendet, die dann zum Trainieren des Modells in mehreren Phasen der Feinabstimmung eingesetzt werden. Dieser Prozess stimmt Ihren LLM auf Ihre Ziele ab, indem er nicht nur allgemeines Wissen vermittelt, sondern auch die spezifischen Fähigkeiten und Zusammenhänge, die für Ihre einzigartigen geschäftlichen Anforderungen am wichtigsten sind.

Weitere Informationen finden Sie unter Wie es funktioniert. Sie können auch gleich loslegen, indem Sie Ihre erste Taxonomie vorbereiten und hochladen.

Richten Sie Ihr IBM Cloud® Konto ein

Vergewissern Sie sich, dass Sie die folgenden Informationen haben, bevor Sie fortfahren.

Ein Pay-As-You-Go-Konto oder ein Abonnement IBM Cloud®. Testkonten werden nicht unterstützt. Für weitere Informationen oder um Ihr Konto zu aktualisieren, siehe Kontotypen.
Ein Projekt InstructLab.
Zugang zu InstructLab und Object Storage.
Optional: Wenn Sie ein privates Repo zum Speichern Ihrer Taxonomie-Wissensdokumente verwenden, erstellen Sie eine Secrets Manager-Instanz.
Installieren Sie die CLI.

Fakultativ: Vorbereiten einer Taxonomie

Nutzen Sie die Taxonomie IBM Cloud oder erstellen Sie Ihre eigene.
- Wenn Sie noch keine Taxonomie haben, können Sie das IBM Cloud taxonomy repo forken und es auf Ihren lokalen Rechner klonen. Diese Taxonomie hat die richtige Dateistruktur bereits für Sie erstellt. Sie können Kenntnisse und Fähigkeiten in den entsprechenden Verzeichnissen hinzufügen.
- Wenn Sie stattdessen eine eigene Taxonomie erstellen möchten, finden Sie weitere Informationen unter Vorbereiten von Taxonomien.
Sie können auch das Jupyter-Notebook der IBM Cloud Community verwenden, um Ihre Taxonomie zu erstellen. Für weitere Informationen siehe redhat-ai-instructlab-jupyter-notebooks GitHub repo
Nehmen Sie Aktualisierungen an Ihrer Taxonomie vor. Das folgende Beispiel fügt dem Linguistik-Verzeichnis gereimte Fragen hinzu.

a. Erstellen Sie in Ihrem Fork im Verzeichnis compositional_skills/linguistics eine Datei qna.yaml.

b. Fügen Sie in der Datei qna.yml eine Frage hinzu, die sich auf Reimwörter bezieht.
```
- answer: 'Here are two rhyming words for "cave":
    1\. Brave

    2\. Gave'
  question: 'Give me two words that rhyme with cave'
```
c. Wenn Ihre Ergänzungen Referenzdokumente enthalten, z. B. Webartikel oder Dateien in Github, können Sie wie in diesem Beispiel auf das öffentliche Repository GitHub und SHA einer Datei verweisen.
```
document:
repo: https://github.com/<organization>/<repository>
commit: <commit_sha>
patterns:
    - <filename>.md
```
d. Speichern Sie die Änderungen und übertragen Sie die Änderungen auf den Fork.

f. Optional: Validieren Sie die aktualisierte Taxonomie.
Öffnen Sie in einem Browser die Seite "Releases" für Ihr Github-Repository. Beispiel: https://github.com/<my-org>/taxonomy/releases.
Klicken Sie auf Freigabe erstellen.
Erstellen Sie ein Tag, wählen Sie einen Zielzweig aus und geben Sie einen Namen für die Veröffentlichung ein.
Klicken Sie auf Veröffentlichung einer Version.
Laden Sie die gepackte Datei tar.gz herunter, die automatisch aus der Veröffentlichung generiert wurde, indem Sie auf Quellcode ( tar.gz ) klicken.
Optional: Wenn Sie ein privates Repository für Ihre Taxonomie-Wissensdokumente verwenden, führen Sie die folgenden Schritte aus.
1. Befolgen Sie die GitHub Dokumentation, um ein klassisches persönliches Zugriffstoken(PAT)zu erstellen.
2. Im Abschnitt Repository access (Repository-Zugriff ) können Sie Ihr PAT auf Ihr Taxonomie-Repository anwenden.
3. Wählen Sie im Abschnitt Repository-Berechtigungen die Option Inhalte > read-only und Metadaten > read-only.

Laden Sie Ihre Taxonomie mit Hilfe der Konsole hoch

Führen Sie die folgenden Schritte aus, um Ihre Taxonomie in Object Storage zu speichern.

Wählen Sie auf der Seite Projekte Ihr Projekt aus.
Klicken Sie auf Taxonomien.
Klicken Sie auf Hochladen und geben Sie die folgenden Daten ein.

Taxonomiedatei

Wählen Sie Ihre .tar.gz Datei.

Taxonomiename

Geben Sie der Taxonomie einen alphanumerischen Namen.

Privater Repository-Zugriff

Aktivieren Sie diese Option, wenn sich Ihre Taxonomie-Wissensdokumente in einem privaten Repo befinden.

Secrets Manager dienstinstanz: Wählen Sie eine vorhandene Instanz aus oder erstellen Sie eine.

Secrets Manager geheimnis: Wählen Sie ein bestehendes Geheimnis aus oder erstellen Sie eines. Wenn Sie ein Geheimnis erstellen, wählen Sie den Geheimnistyp Schlüssel-Wert-Geheimnis und fügen Sie Ihr persönliches Zugangs-Token im folgenden Format hinzu. Beachten Sie, dass der Wert für github_url``https:// enthalten muss. Bei URL handelt es sich um dieselbe URL, die Sie im Abschnitt repo Ihres Taxonomiedokuments verwendet haben.
```
{
"github_url": "https://...",
"github_pat": "xxxxx"
}
```
Weitere Informationen finden Sie unter Erstellen von Schlüssel-Wert-Geheimnissen.

Cloudspeicher

Wählen Sie entweder eine Object Storage Instanz und einen Bucket aus, die Sie verwenden möchten, oder erstellen Sie eine Instanz und einen Bucket.

Serviceautorisierung

Aktivieren Sie das Kontrollkästchen, um InstructLab zu erlauben, Ihre Taxonomie in Object Storage

Optionale Speichereinstellungen

Geben Sie den Pfad an, unter dem Sie die Taxonomie tar.gz in Object Storage speichern möchten.
Hochladen anklicken

Fügen Sie die Taxonomie mit Hilfe der CLI zu Object Storage hinzu

Führen Sie die folgenden Schritte aus, um Ihre Taxonomie in Object Storage zu speichern.

Sie können den Befehl set verwenden, um Object Storage Bucket-Details und -Anmeldeinformationen und mehr zu speichern. Dies kann Ihre Befehle in Zukunft vereinfachen. Beachten Sie, dass Sie bei Verwendung des Befehls set jeden Wert einzeln einstellen müssen. Weitere Informationen finden Sie in der Referenz zum Befehl Config.

Melden Sie sich über die CLI bei Ihrem IBM Cloud Konto an.
```
ibmcloud login -a https://cloud.ibm.com --sso -r us-east
```
Wenn Sie InstructLab erlauben wollen, IBM Cloud® Object Storage Instanz-Ressourcen für Sie zu erstellen, richten Sie eine Ressourcengruppe ein.
```
ibmcloud target -g <resource_group>
```
Beispiel:
```
ibmcloud target -g Default
```

Erstellen Sie die Berechtigungsrichtlinie für InstructLab und Object Storage.

ibmcloud iam authorization-policy-create Writer --source-service-name instructlab --target-service-name cloud-object-storage

Optional: Wenn Sie ein privates Repo zum Speichern Ihrer Taxonomie-Wissensdokumente verwenden, führen Sie die folgenden Schritte aus.

Erstellen Sie eine Dienstberechtigung, um InstructLab den Zugriff auf Ihre Secrets Manager Instanz und Geheimnisse zu ermöglichen.
```
ibmcloud iam authorization-policy-create Reader --source-service-name instructlab --target-service-name secrets-manager
```

Fügen Sie Ihr persönliches Zugangs-Token (PAT) zu Secrets Manager hinzu, indem Sie ein Schlüssel-Wert-Geheimnis erstellen. Stellen Sie sicher, dass Ihre Schlüssel-Wert-Angaben im folgenden Format gespeichert sind.

{
"github_url": "https://...",
"github_pat": "xxxxx"
}

Beispielbefehl zur Erstellung eines Schlüssel-Wert-Geheimnisses.

ibmcloud secrets-manager secret-create --secret-prototype='{"name": "my-secret","description": "Description of my key-value secret.","secret_type": "kv","secret_group_id": "67d025e1-0248-418f-83ba-deb0ebfb9b4a","labels": ["dev","us-south"],"data": {"github_url": "https://...","github_pat": "xxxxx"},"custom_metadata": {"metadata_custom_key": "metadata_custom_value"},"version_custom_metadata": {"custom_version_key": "custom_version_value"}}'

Weitere Informationen finden Sie unter Erstellen von Schlüssel-Wert-Geheimnissen.

Listen Sie Ihre Secrets Manager Instanzen auf.

ibmcloud resource service-instances --service-name secrets-manager

Erhalten Sie Ihre Instanzdetails.

ibmcloud resource service-instance INSTANCE

Führen Sie den Befehl taxonomy add --help aus und prüfen Sie die Befehlsoptionen.
```
ibmcloud ilab taxonomy add --help
```
Optional Wenn Sie eine bestehende Object Storage-Instanz verwenden möchten, rufen Sie die Details Ihrer Dienstinstanz ab.
1. Listen Sie Ihre Object Storage Instanzen auf.
```
ibmcloud resource service-instances --service-name cloud-object-storage
```
2. Erhalten Sie Ihre Instanzdetails.
```
ibmcloud resource service-instances INSTANCE
```

Fügen Sie Ihre Taxonomie zu Ihrem Object Storage Bucket hinzu. Sehen Sie sich die folgenden Beispielbefehle an.

Schnellstart Beispielbefehl zum automatischen Erstellen einer Instanz und eines Buckets Object Storage in Ihrem Konto und zum Hochladen einer Taxonomie aus Ihrem Ordner ./taxonomy in diesen.

ibmcloud ilab taxonomy add \
--name example-taxonomy-1 \
--taxonomy-path "./taxonomy"

Beispielbefehl zum Hochladen einer Taxonomie aus einem taxonomy-Ordner auf Ihrem Rechner in eine vorhandene Object Storage-Instanz und einen Bucket.

ibmcloud ilab taxonomy add \
	--name example-taxonomy-name-1 \
	--taxonomy-path-cos "taxonomies/taxonomy.tar.gz" \
	--taxonomy-path "./taxonomy" \
	--cos-bucket example-cloud-object-storage-bucket-1 \
	--cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud

Beispielbefehl für die Verwendung einer vorhandenen Object Storage-Instanz und eines Buckets sowie der Secrets Manager-Anmeldeinformationen.

ibmcloud ilab taxonomy add \
--name example-taxonomy-1 \
--taxonomy-path-cos taxonomies/taxonomy.tar.gz \
--taxonomy-path "./taxonomy" \
--cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud \
--secrets-manager-git-id SEC-MGR-ID
--secrets-manager-git-url https://URL

Beispielbefehl zum Hochladen einer Taxonomie aus Ihrem Ordner /Users/USER/instructlab-taxonomy in einen neuen, automatisch erstellten Bucket.

ibmcloud ilab taxonomy add \
--name test \
--taxonomy-path "/Users/USER/instructlab-taxonomy" \
--cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud \
--cos-id 628e4348-2183-42fa-a03a-6f0f78453530

Weitere Schritte

Nachdem Sie nun eine Taxonomie hochgeladen haben, besteht der nächste Schritt darin, Daten aus Ihrer Taxonomie zu generieren.