Red Hat® AI InstructLab on IBM Cloud® é uma solução de IA geradora segura, privada e pronta para os negócios, com a tecnologia da Red Hat Enterprise Linux AI.
Introdução ao Red Hat AI InstructLab on IBM Cloud
Prepare-se para mergulhar na IAA capacidade de adquirir, processar, criar e aplicar conhecimento na forma de um modelo para fazer previsões, recomendações ou decisões. com Red Hat® AI InstructLab on IBM Cloud®!
InstructLab é um projeto de código aberto de IBM e Red Hat para ser um ponto de entrada econômico no mundo do aprendizado de máquinaUm ramo da inteligência artificial (IA) e da ciência da computação que se concentra no uso de dados e algoritmos para imitar a maneira como os humanos aprendem, melhorando gradualmente a precisão dos modelos de IA.. Você pode usar o InstructLab para fazer contribuições para um modelo de linguagem grande sem precisar possuir e operar uma infraestrutura de hardware.
O que é o Red Hat AI InstructLab?
Para usar o InstructLab, você não precisa ter nenhum conhecimento prévio. Você ainda não precisa ter uma ideia do que criar. Vamos começar nos familiarizando com os conceitos.
InstructLab é um projeto para aprimorar modelos de linguagem grandes (LLMs), que são modelos de IA que usam técnicas de aprendizado de máquina para gerar linguagem humana. Você começa fornecendo o conhecimento e as habilidades mais importantes para a sua empresa no que é conhecido como taxonomia, ou um diretório de dados. A taxonomia é usada para gerar dados sintéticos, que são então usados para treinar o modelo por meio de várias fases de ajuste fino. Esse processo alinha seu LLM com suas metas, fornecendo não apenas conhecimentos gerais, mas também as habilidades e os contextos específicos mais importantes para suas necessidades comerciais exclusivas.
Para obter mais informações, consulte Como funciona. Ou então, comece a preparar e carregar sua primeira taxonomia.
Configure sua conta IBM Cloud®
Verifique se você tem os seguintes itens antes de continuar.
-
Uma conta Pay-As-You-Go ou Subscription IBM Cloud®. Não há suporte para contas de teste. Para obter mais informações ou para fazer upgrade de sua conta, consulte Tipos de conta.
-
Opcional: se estiver usando um repositório privado para armazenar seus documentos de conhecimento de taxonomia, crie uma instância Secrets Manager.
Opcional: Preparar uma taxonomia
-
Use a taxonomia do site IBM Cloud ou crie a sua própria.
-
Se ainda não tiver uma taxonomia, você pode criar um fork do repositório de taxonomia IBM Cloud e cloná-lo em seu computador local. Essa taxonomia tem a estrutura de arquivo correta já criada para você. Você pode adicionar conhecimentos e habilidades nos diretórios correspondentes.
-
Para criar sua própria taxonomia, consulte Preparação de taxonomias para obter mais informações.
Você também pode usar o notebook Jupyter da comunidade IBM Cloud para criar sua taxonomia. Para obter mais informações, consulte redhat-ai-instructlab-jupyter-notebooks GitHub repo
-
-
Faça atualizações em sua taxonomia. O exemplo a seguir adiciona perguntas com rimas ao diretório linguístico.
a. Em sua bifurcação, no diretório
compositional_skills/linguistics, crie um arquivoqna.yaml.b. No arquivo
qna.yml, adicione uma pergunta relacionada a palavras que rimam.- answer: 'Here are two rhyming words for "cave": 1\. Brave 2\. Gave' question: 'Give me two words that rhyme with cave'c. Se os seus acréscimos incluírem documentos de referência, como artigos da Web ou arquivos no Github, você poderá fazer referência ao repositório público GitHub e ao SHA de um arquivo, como neste exemplo.
document: repo: https://github.com/<organization>/<repository> commit: <commit_sha> patterns: - <filename>.mdd. Salve as alterações e envie-as para a bifurcação.
f. Opcional: Validar a taxonomia atualizada.
-
Em um navegador, abra a página Releases do seu repositório do Github. Por exemplo:
https://github.com/<my-org>/taxonomy/releases. -
Clique em Criar uma liberação.
-
Crie uma tag, selecione uma ramificação de destino e insira um nome para a versão.
-
Clique em Publicar uma versão.
-
Faça o download do arquivo empacotado
tar.gzque foi gerado automaticamente a partir da versão clicando em Código-fonte ( tar.gz ). -
Opcional: se estiver usando um repositório privado para seus documentos de conhecimento de taxonomia, conclua as etapas a seguir.
-
Siga a documentação GitHub para criar um token de acesso pessoal(PAT)clássico.
-
Na seção Repository access (Acesso ao repositório ), faça o escopo do PAT para o repositório da taxonomia.
-
Na seção Permissões do repositório, selecione Conteúdo >
read-onlye Metadados >read-only.
-
Carregue sua taxonomia usando o console
Conclua as etapas a seguir para armazenar sua taxonomia em Object Storage.
-
Na página Projetos, selecione seu projeto.
-
Clique em Taxonomies (Taxonomias ).
-
Clique em Upload e insira os seguintes detalhes.
- Arquivo de taxonomia
- Selecione seu arquivo
.tar.gz. - Nome da taxonomia
- Dê à taxonomia um nome alfanumérico.
- Acesso ao repositório privado
-
- Ative essa opção se os documentos de conhecimento da taxonomia estiverem em um repositório privado.
- Secrets Manager instância de serviço: Selecione uma instância existente ou crie uma.
- Secrets Manager secret: Selecione um segredo existente ou crie um. Se estiver criando um segredo, selecione o tipo de segredo Key-value e adicione seu token de acesso pessoal no seguinte formato. Observe
que o valor de
github_urldeve conterhttps://. O URL é o mesmo URL que você usou na seçãorepoda referência do seu documento de taxonomia.
{ "github_url": "https://...", "github_pat": "xxxxx" }Para obter mais informações, consulte Criação de segredos de valores-chave.
- Armazenamento em nuvem
- Selecione uma instância e um bucket de Object Storage para usar ou crie uma instância e um bucket.
- Autorização de serviço
- Marque a caixa para permitir que o InstructLab escreva sua taxonomia em Object Storage
- Configurações de armazenamento opcionais
- Especifique o caminho onde você deseja armazenar a taxonomia
tar.gzem Object Storage.
-
Clique em Upload
Adicione a taxonomia a Object Storage usando a CLI
Conclua as etapas a seguir para armazenar sua taxonomia em Object Storage.
Você pode usar o comando set para salvar os detalhes e as credenciais do bucket Object Storage e muito mais. Isso pode simplificar seus comandos no futuro. Observe que, ao usar o comando set, você deve definir cada
valor individualmente. Para obter mais informações, consulte a referência do comando Config.
-
Faça login na sua conta IBM Cloud na CLI.
ibmcloud login -a https://cloud.ibm.com --sso -r us-east -
Se você planeja permitir que o InstructLab crie recursos de instância IBM Cloud® Object Storage para você, direcione um grupo de recursos.
ibmcloud target -g <resource_group>Exemplo:
ibmcloud target -g Default
-
Crie a política de autorização para InstructLab e Object Storage.
ibmcloud iam authorization-policy-create Writer --source-service-name instructlab --target-service-name cloud-object-storage -
Opcional: se você estiver usando um repositório privado para armazenar seus documentos de conhecimento de taxonomia, conclua as etapas a seguir.
-
Crie uma autorização de serviço para permitir que o InstructLab acesse a instância e os segredos do Secrets Manager.
ibmcloud iam authorization-policy-create Reader --source-service-name instructlab --target-service-name secrets-manager -
Adicione seu token de acesso pessoal (PAT) a Secrets Manager criando um segredo de valor-chave. Certifique-se de que seus detalhes de valor-chave estejam armazenados no seguinte formato.
{ "github_url": "https://...", "github_pat": "xxxxx" }Exemplo de comando para criar um segredo de valor-chave.
ibmcloud secrets-manager secret-create --secret-prototype='{"name": "my-secret","description": "Description of my key-value secret.","secret_type": "kv","secret_group_id": "67d025e1-0248-418f-83ba-deb0ebfb9b4a","labels": ["dev","us-south"],"data": {"github_url": "https://...","github_pat": "xxxxx"},"custom_metadata": {"metadata_custom_key": "metadata_custom_value"},"version_custom_metadata": {"custom_version_key": "custom_version_value"}}'Para obter mais informações, consulte Criação de segredos de valores-chave.
-
Liste suas instâncias de Secrets Manager.
ibmcloud resource service-instances --service-name secrets-manager -
Obtenha os detalhes de sua instância.
ibmcloud resource service-instance INSTANCE
-
-
Execute o comando
taxonomy add --helpe examine as opções de comando.ibmcloud ilab taxonomy add --help -
Opcional Se você tiver uma instância existente do Object Storage que deseja usar, obtenha os detalhes da instância do serviço.
- Liste suas instâncias de Object Storage.
ibmcloud resource service-instances --service-name cloud-object-storage - Obtenha os detalhes de sua instância.
ibmcloud resource service-instances INSTANCE
- Liste suas instâncias de Object Storage.
-
Adicione sua taxonomia ao seu bucket Object Storage. Analise os seguintes comandos de exemplo.
Início rápido Exemplo de comando para criar automaticamente uma instância e um bucket Object Storage em sua conta e fazer upload de uma taxonomia da pasta
./taxonomypara ela.ibmcloud ilab taxonomy add \ --name example-taxonomy-1 \ --taxonomy-path "./taxonomy"Exemplo de comando para fazer upload de uma taxonomia de uma pasta
taxonomyem seu computador para uma instância e um bucket existentes em Object Storage.ibmcloud ilab taxonomy add \ --name example-taxonomy-name-1 \ --taxonomy-path-cos "taxonomies/taxonomy.tar.gz" \ --taxonomy-path "./taxonomy" \ --cos-bucket example-cloud-object-storage-bucket-1 \ --cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloudExemplo de comando para usar uma instância e um bucket existentes do Object Storage, bem como as credenciais do Secrets Manager.
ibmcloud ilab taxonomy add \ --name example-taxonomy-1 \ --taxonomy-path-cos taxonomies/taxonomy.tar.gz \ --taxonomy-path "./taxonomy" \ --cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud \ --secrets-manager-git-id SEC-MGR-ID --secrets-manager-git-url https://URLExemplo de comando para fazer upload de uma taxonomia da pasta
/Users/USER/instructlab-taxonomypara um novo bucket criado automaticamente.ibmcloud ilab taxonomy add \ --name test \ --taxonomy-path "/Users/USER/instructlab-taxonomy" \ --cos-endpoint https://s3.us-east.cloud-object-storage.appdomain.cloud \ --cos-id 628e4348-2183-42fa-a03a-6f0f78453530
O que vem a seguir?
Agora que você carregou uma taxonomia, a próxima etapa é [Gerar dados da sua taxonomia.](/docs/laboratório de instrução?topic=laboratório de instrução-data-generate)