Sobre redes de cluster

Uma rede em cluster é uma rede definida por software dentro de uma nuvem privada virtual (VPC) que conecta vários sistemas de computação, ou nós. Melhora a comunicação entre esses sistemas, proporcionando transferência rápida de dados e baixa latência. Este serviço é ideal para tarefas exigentes, como computação de alto desempenho (HPC), processamento de dados em grande escala e treinamento de modelos de inteligência artificial (IA). As redes em cluster são construídas para atender a padrões de alto desempenho, tornando-as ideais para ambientes que dependem de comunicação eficiente e de alta velocidade entre sistemas.

Cada rede de cluster possui um perfil de rede de cluster associado que define o tipo de componentes com os quais ela pode se conectar. Dentro da rede de cluster, há um conjunto de abstrações básicas de rede, como instâncias, interfaces e sub-redes, que oferecem a flexibilidade e o controle necessários para configurar cargas de trabalho de alto desempenho.

Os principais recursos incluem:

Computação de alto desempenho
Adequado para aplicações exigentes, como treinamento de IA ou simulações complexas, onde alta largura de banda e baixa latência são fundamentais.
Transferência de dados direta
Suporta tecnologias de rede avançadas, como Remote Direct Memory Access (RDMA), que permite a transferência direta de dados entre a memória de diferentes nós sem envolver a CPU, melhorando ainda mais o desempenho.
Isolamento e otimização
Fornece rede de alta largura de banda e baixa latência para grupos de recursos de computação. As redes de cluster são isoladas em um espaço de endereço IPv4 separado que não é roteado externamente.
Flexibilidade e controle
Atua como uma rede complementar à rede VPC existente. Os anexos de rede em cluster permanecem separados das redes VPC, suportando a integração de redes RDMA de alta velocidade juntamente com redes VPC.

IBM Cloud® suporta os seguintes perfis de rede de cluster

Ofertas de rede em cluster em IBM Cloud

NVIDIA Funil 1

O perfil de rede do cluster Hopper 1 é um cluster de alto desempenho IBM Cloud que é alimentado por NVIDIA H100 e H200 GPUs, conectado com NVLink e rede de 400 Gbps RoCE v2. O Hopper 1 é otimizado para implantação em nuvem e projetado para treinamento e inferência de IA em grande escala, com alta largura de banda de memória e comunicação GPU de baixa latência.

Introdução às redes de clusters

Uma rede de cluster aumenta a eficiência e a velocidade da transferência de dados em um grupo de sistemas em rede, tornando-a um componente essencial para tarefas de computação de alto desempenho.

Siga estas etapas gerais para criar uma rede de cluster simples para treinamento de IA:

  1. Analise as considerações de planejamento para redes em cluster e esteja ciente de quaisquer problemas conhecidos.

  2. Determine o total de recursos necessários para seu cluster multiplicando o número de instâncias que você pretende criar pelos recursos definidos no perfil de instância correspondente.

  3. Verifique o total de recursos calculados necessários para seu cluster em relação às cotas padrão para determinar se é necessário aumentar a cota.

  4. Crie uma rede de cluster.

  5. Crie uma sub-rede de rede de cluster, caso ainda não o tenha feito durante a criação da rede de cluster.

  6. Crie instâncias de servidor virtual usando um dos seguintes métodos:

    • Crie uma instância de servidor virtual.

    • Crie um modelo de instância e, em seguida, crie uma instância. Certifique-se de que:

      • Selecione o perfil de instância necessário. Para o Hopper 1, os perfis de instância disponíveis são gx3d-160x1792x8h100 e gx3d-160x1792x8h200;
      • Ativar o clustering.
      • Adicione anexos correspondentes às sub-redes do seu cluster.

    Ao criar o modelo de instância, você pode usá-lo para provisionar instâncias únicas de servidor virtual ou várias instâncias ao mesmo tempo como parte de um grupo de instâncias.

Casos de uso da rede de clusters

Analise o caso de uso que se alinha ao perfil de instância selecionado para orientá-lo sobre as medidas de configuração e segurança adequadas para a implantação da rede do seu cluster.

Caso de uso 1: conectar instâncias do H100/H200 para usar RDMA com a rede do cluster Hopper 1

O diagrama a seguir ilustra como conectar instâncias d H100/H200 a uma rede de cluster Hopper 1 para habilitar RDMA em um IBM Cloud.

Primeiro, certifique-se de que você tenha uma rede de cluster configurada com sub-redes de rede de cluster, conforme mostrado. Em seguida, conecte instâncias H100 ou H200 à rede do cluster e às redes VPC. As redes VPC conectam seus recursos na nuvem e podem fornecer roteamento externo. As redes de cluster adicionam interfaces dentro da sua instância para permitir a conectividade direta entre os nós.

Conectando instâncias do H100 e H200 para usar RDMA em IBM Cloud
Conectando instâncias habilitadas do Hopper 1 para usar RDMA em IBM Cloud

Caso de uso 2: Protegendo sua rede de cluster do restante do ecossistema IBM Cloud

A rede de cluster opera em um domínio de rede separado da rede VPC. Esse isolamento oferece segurança sem exigir controles de acesso, como grupos de segurança, ACLs de rede ou tabelas de roteamento. A comunicação dentro da rede do cluster ocorre apenas entre dispositivos que estão diretamente conectados à rede do cluster.

Os recursos conectados à rede do cluster também devem se conectar a pelo menos uma rede VPC. A rede VPC oferece suporte a todos os recursos VPC padrão, como endereços IP flutuantes, gateways públicos, gateways de trânsito e muito mais. Recomenda-se que você revise suas políticas de segurança para as interfaces de rede virtual (VNIs) conectadas aos recursos na rede do cluster.

Protegendo sua rede de cluster do restante do IBM Cloud
sua rede de cluster do restante do IBM Cloud

Para manter o acesso mínimo à rede do cluster:

  • Limite o acesso apenas às instâncias que estão conectadas à rede do cluster.

  • Configure um grupo de segurança rigoroso para os VNIs em cada instância com acesso à rede do cluster.

    Proteja cuidadosamente as solicitações TCP de entrada e considere proteger as solicitações TCP de saída. Para obter mais informações, consulte Configuração de um grupo de segurança para seu recurso.

  • Certifique-se de que as sub-redes anexadas às instâncias habilitadas para rede em cluster tenham ACLs de rede apropriadas.

  • Configure políticas de IAM para permissões de rede do cluster.