Trabalhar com o ambiente de desenvolvimento do VS Code

Aplica-se a: Motor de faísca Motor de faísca acelerado com glúten

O ambiente de desenvolvimento do VS Code é um ambiente de desenvolvimento baseado no Spark que permite programar, depurar, enviar e testar interativamente os aplicativos do Spark em um cluster do Spark em execução no mecanismo do Spark.

Ele está disponível como uma extensão Visual Studio Code e é possível instalá-lo em seu sistema local para acessar o Spark IDE usando o Visual Studio Code. Reduz o tempo de desenvolvimento e aumenta a usabilidade.

Antes de Iniciar

  1. Assinatura de watsonx.data na nuvem. Certifique-se de que você criou um mecanismo Spark e que ele está em status de execução.

  2. Instale uma versão de desktop do Visual Studio Code.

  3. Instale a extensão watsonx.data do VS Code Marketplace.

  4. Instale a extensão Visual Studio Code, Remote-SSH do Visual Studio Code marketplace.

    Como os laboratórios do Spark são efêmeros por natureza, é necessário fazer backup dos dados armazenados periodicamente para evitar a possível perda de dados durante atualizações ou uma falha do Spark Master.

  5. Para usuários que trabalham com aplicativos pesados e notebooks em Visual Studio Code, recomenda-se alocar pelo menos 8 GB de memória, em vez da memória padrão de 4 GB. Isso garante um desempenho mais suave e um melhor manuseio de tarefas com uso intensivo de recursos. Isso é importante quando se usa o site SparkLabs para alguns aplicativos com uso intensivo de memória, como, por exemplo, o uso de notebooks. Nesses cenários, se ocorrer uma desconexão da rede, as sessões precisarão ser recarregadas, o que exige mais sobrecarga de memória. Para evitar esses riscos, você deve alocar proativamente espaço extra na memória.

Procedimento

Configurando os laboratórios do Spark

  1. Instale a extensão watsonx.data..

    a. Abra Visual Studio Code. Clique em Extensões.

    b. Procure a extensão watsonx.data do VS Code Marketplace e instale a extensão.

    c. Também é possível ver o ícone watsonx.data na janela de navegação à esquerda Clique no ícone.. A janela Welcome to IBM watsonx.data extension é aberta.

  2. Na janela Welcome to IBM watsonx.data extension, clique em Manage Connection. A janela Gerenciar conexão watsonx.data é aberta.

  3. Configure um dos detalhes a seguir:

    • Entradas JSON

    • Entradas de formulário

  4. Para configurar as entradas JSON, clique em Entradas JSON e especifique os seguintes detalhes:

    • API Key: Forneça a chave da API da plataforma. Para gerar a chave da API, consulte Gerando a chave da API.
    • Conexão JSON: Forneça os detalhes da conexão da interface de usuário watsonx.data. Para fazer isso:

      1. Faça login na sua página watsonx.data.

      2. No menu de navegação, clique em Informações sobre a conexão.

      3. Clique em Código VS. Copie a configuração do campo de configuração de conexão do VS Code e use-a como o valor do campo Connection JSON. Para obter mais informações, consulte Obtendo informações sobre a conexão.

  5. Para configurar as entradas de formulário, clique em Entradas de formulário e especifique os seguintes detalhes:

    • Endereço do host do console watsonx.data: Forneça o endereço IP do host da instalação do watsonx.data. Para recuperar o endereço IP do host, consulte Obtenção de informações de conexão.
    • Tipo de ambiente: Selecione SaaS.
    • CRN: O CRN da instância do seu watsonx.data. Para recuperar o CRN, consulte Obtenção de informações de conexão.
    • Username: Seu ID de e-mail se estiver usando sua chave de API ou deve estar no formato <Service-id>-<GUID>. Para obter mais informações sobre a geração de ID de serviço e GUID, consulte Criação de IDs de serviço.
    • API Key: Forneça a chave da API da plataforma. Para gerar a chave da API, consulte Gerando a chave da API.

  6. Clique em Test & Save. A mensagem Retrieved Spark Clusters é exibida. Os mecanismos Spark disponíveis são exibidos na seção WATSONX.DATA:ENGINES seção.

  7. Crie um laboratório do Spark

    a. Para criar um novo laboratório do Spark, na seção WATSONX.DATA:ENGINES selecione o cluster do Spark necessário e clique no ícone + (Adicionar cluster) ao lado dele. A janela Criar laboratório Spark é aberta. Especifique um nome exclusivo para o laboratório do Spark e selecione a versão do Spark. A versão padrão do Spark é 3.5. Você pode modificar os outros campos opcionais, se necessário.

    O parâmetro " spark.hadoop.wxd.apikey é configurado no campo de configurações do Spark por padrão durante a criação do laboratório do Spark.

    b. Clique em Refresh (Atualizar ) para ver o laboratório Spark na janela à esquerda. Este é o cluster Spark dedicado para desenvolvimento de aplicativo.

    c. Clique para abrir a janela do laboratório Spark para acessar o sistema de arquivos, o terminal e trabalhar com ele.

    c. No menu Explorer, você pode visualizar o sistema de arquivos, onde pode carregar os arquivos e visualizar os registros.

    Para excluir um laboratório Spark já em execução, passe o mouse sobre o nome do laboratório Spark no painel de navegação esquerdo do watsonx.data e clique no ícone Excluir.

Desenvolvendo um aplicativo Spark

Desenvolva um aplicativo Spark no laboratório Spark. É possível trabalhar com um aplicativo Spark de uma das seguintes maneiras:

Crie seu próprio arquivo Python

  1. Em Visual Studio Code, clique no laboratório Spark. Uma nova janela é aberta.

  2. Na nova janela do laboratório do Spark, clique em New File (Novo arquivo ). Você recebe um prompt de Novo arquivo com os seguintes tipos de arquivo:

    • Arquivo de texto: Selecione para criar um arquivo de texto.
    • Python Arquivo: Selecione para criar um aplicativo Python.
    • Jupyter Notebook selecione para criar um arquivo Jupyter Notebook.

  3. Selecione Python File. Um novo arquivo .py é aberto. Você pode começar a trabalhar no arquivo Python e salvá-lo mais tarde.

    Você também pode arrastar o arquivo do aplicativo Python para a página do Explorer. O arquivo é aberto no painel direito do aplicativo Visual Studio Code.

  4. Execute o seguinte comando no terminal para executar o aplicativo Python. Isso inicia uma sessão Python e você pode ver a mensagem de confirmação no terminal.

    python <filename>

Criar blocos de notas do Jupyter

  1. Em Visual Studio Code, clique no laboratório Spark. Uma nova janela é aberta.

  2. Instale a extensão Jupyter na nova janela do laboratório do Spark para trabalhar com Jupyter Notebooks. No menu Extensões da nova janela do laboratório do Spark, procure o site Jupyter (você também pode encontrá-lo no VS Code Marketplace ) e instale a extensão.

    Certifique-se de instalar a extensão Jupyter na nova janela do laboratório do Spark.

  3. Na página Explorer, clique em New File (Novo arquivo ). Você recebe um prompt de Novo arquivo com os seguintes tipos de arquivo:

    • Arquivo de texto: Selecione para criar um arquivo de texto.
    • Python Arquivo: Selecione para criar um aplicativo Python.
    • Jupyter Notebook selecione para criar um arquivo Jupyter Notebook.

    Você também pode criar um novo arquivo Jupyter Notebook digitando o nome do arquivo com a extensão .ipynb ou arrastar e soltar o notebook existente na página do Explorer.

  4. Selecione Jupyter Notebook. Um novo arquivo .ipynb é aberto. Você pode começar a trabalhar no arquivo Jupyter Notebook e salvá-lo mais tarde.

  5. No arquivo Jupyter Notebook, clique no link Select Kernel (Selecionar kernel ).

  6. Você deve selecionar um ambiente Python para executar seu arquivo.

  7. Selecione o caminho do arquivo que contém conda/envs/python/bin/python.

  8. O site Jupyter Notebook agora está pronto para ser usado. Você pode escrever seu código e executá-lo célula por célula.

Quando você salva o arquivo, o caminho do arquivo é exibido automaticamente no prompt Salvar como. Você pode modificar o caminho ou clicar em OK para salvar.