KI-Modell für den Abrufdienst konfigurieren

Der Abrufdienst in watsonx.data ermöglicht es Administratoren zu konfigurieren, welches Basismodell abrufbasierte Aufgaben wie Text-zu-SQL, Beantwortung von Fragen und RAG unterstützt. Auf Instanzebene können Sie je nach Lizenz- und Workload-Anforderungen zwischen Granite- (Standard), Llama- und GPT-Modellen wählen.

Vorgehensweise

  1. Melden Sie sich an der watsonx.data-Konsole an.

  2. Wählen Sie im Navigationsmenü „Konfigurationen“ aus und klicken Sie auf die Kachel „ Abrufdienstmodell “.

  3. Wählen Sie im Abschnitt „ Retrival-Dienst “ eines der folgenden verfügbaren KI-Modelle aus:

    • granite-3-8b-instruct
    • llama-3-3-70b-instruct
    • gpt-oss-120b


    Um den Abrufdienst nutzen gpt-oss-120b zu können, müssen Sie das Modell zunächst in der Region Toronto bereitstellen. Ausführliche Anweisungen finden Sie unter Bereitstellen von Basismodellen nach Bedarf(Schnellpfad).

  4. Ein Bestätigungsdialogfeld wird angezeigt. Klicken Sie auf „ Auswählen “.

  5. Wählen Sie unter „ Text zu SQL “ eines der folgenden verfügbaren KI-Modelle aus:

    • granite-3-8b-instruct
    • llama-3-3-70b-instruct

  6. Ein Bestätigungsdialogfeld wird angezeigt. Klicken Sie auf „ Auswählen “.