À propos des réseaux en grappes

Un réseau en grappe est un réseau défini par logiciel au sein d'un cloud privé virtuel (VPC) qui relie plusieurs systèmes informatiques, ou nœuds. Il améliore la communication entre ces systèmes, en assurant un transfert rapide des données et une faible latence. Ce service est idéal pour les tâches exigeantes, telles que le calcul haute performance (HPC), le traitement de données à grande échelle et l'entraînement de modèles d'intelligence artificielle (IA). Les réseaux en grappe sont conçus pour répondre à des normes de haute performance, ce qui les rend particulièrement adaptés aux environnements qui reposent sur une communication efficace et à haut débit entre les systèmes.

Chaque réseau de clusters dispose d'un profil de réseau de clusters associé qui définit le type de composants auxquels il peut se connecter. Le réseau de clusters comprend un ensemble d'abstractions réseau de base, telles que des instances, des interfaces et des sous-réseaux, qui vous offrent la flexibilité et le contrôle dont vous avez besoin pour configurer des charges de travail hautes performances.

Principales caractéristiques :

Calcul à haute performance
Convient aux applications exigeantes, telles que l'entraînement de l'IA ou les simulations complexes, où une bande passante élevée et une faible latence sont essentielles.

Transfert de données direct : Prend en charge les technologies réseau avancées, telles que l'accès direct à la mémoire à distance (RDMA), qui permet le transfert direct de données entre la mémoire de différents nœuds sans passer par le processeur, améliorant ainsi encore davantage les performances.

Isolation et optimisation
Fournit une large bande passante et une faible latence pour les groupes de ressources informatiques. Les réseaux de clusters sont isolés dans un espace d'adressage d' IPv4 s distinct qui n'est pas routé vers l'extérieur.
Flexibilité et contrôle
Fait office de réseau supplémentaire au réseau VPC existant. Les connexions réseau en cluster restent distinctes des réseaux VPC, ce qui permet l'intégration de réseaux RDMA haut débit parallèlement aux réseaux VPC.

IBM Cloud® prend en charge les profils de réseau de clusters suivants

Offres de réseaux de clusters dans l' IBM Cloud

NVIDIA Trémie 1

Le profil de réseau du cluster Hopper 1 est un cluster haute performance IBM Cloud alimenté par NVIDIA H100 et H200 GPU, connecté avec NVLink et un réseau RoCE v2 de 400 Gbps. Hopper 1 est optimisé pour le déploiement dans le cloud et conçu pour l'entraînement et l'inférence IA à grande échelle avec une bande passante mémoire élevée et une communication GPU à faible latence.

Introduction aux réseaux en cluster

Un réseau de grappes améliore l'efficacité et la vitesse de transfert des données au sein d'un groupe de systèmes en réseau, ce qui en fait un composant essentiel pour les tâches de calcul à haute performance.

Suivez les étapes générales suivantes pour créer un réseau en grappe simple pour la formation à l'IA :

  1. Passe en revue les points à prendre en compte pour la planification des réseaux en cluster et reste au courant des problèmes connus.

  2. Déterminez les ressources totales requises pour votre cluster en multipliant le nombre d'instances que vous avez l'intention de créer par les ressources définies dans le profil d'instance correspondant.

  3. Vérifiez les ressources totales calculées requises pour votre cluster par rapport aux quotas par défaut afin de déterminer si une augmentation des quotas est nécessaire.

  4. Créer un réseau de clusters.

  5. Créez un sous-réseau de réseau de cluster si vous ne l'avez pas déjà fait lors de la création du réseau de cluster.

  6. Créez des instances de serveur virtuel à l'aide de l'une des méthodes suivantes :

    • Créer une instance de serveur virtuel.

    • Créer un modèle d'instance, puis créer une instance. Veillez à :

      • Sélectionnez le profil d'instance requis. Pour Hopper 1, les profils d'instance disponibles sont gx3d-160x1792x8h100 et gx3d-160x1792x8h200;
      • Activer la mise en grappe.
      • Ajoutez les pièces jointes correspondant à vos sous-réseaux de cluster.

    Lorsque vous créez votre modèle d'instance, vous pouvez l'utiliser pour provisionner des instances de serveurs virtuels uniques ou plusieurs instances en même temps dans le cadre d'un groupe d'instances.

Cas d'utilisation du réseau en grappe

Consultez le cas d'utilisation qui correspond au profil d'instance que vous avez sélectionné afin de vous guider dans la configuration et les mesures de sécurité appropriées pour le déploiement de votre réseau de cluster.

Cas d'utilisation 1 : mise en réseau d'instances d' H100/H200 s pour utiliser RDMA avec le réseau de cluster Hopper 1

Le diagramme suivant illustre comment connecter des instances d' H100/H200 à un réseau de cluster Hopper 1 afin d'activer RDMA sur IBM Cloud.

Tout d'abord, assurez-vous que vous disposez d'un réseau en grappe configuré avec des sous-réseaux en grappe, comme illustré. Ensuite, connectez les instances H100 ou H200 au réseau du cluster et aux réseaux VPC. Les réseaux VPC connectent vos ressources cloud et peuvent fournir un routage externe. Les réseaux de clusters ajoutent des interfaces au sein de votre instance afin de permettre une connectivité directe entre les nœuds.

Mise en réseau des instances H100 et H200 pour utiliser RDMA sur IBM Cloud
Mise en réseau des instances Hopper 1 activées pour utiliser RDMA sur IBM Cloud

Cas d'utilisation 2 : Sécurisation du réseau de votre cluster par rapport au reste de l'écosystème IBM Cloud

Le réseau de clusters fonctionne dans un domaine réseau distinct du réseau VPC. Cet isolement assure la sécurité sans nécessiter de contrôles d'accès, tels que des groupes de sécurité, des listes de contrôle d'accès réseau ou des tables de routage. La communication au sein du réseau en grappe s'effectue uniquement entre les appareils directement connectés au réseau en grappe.

Les ressources connectées au réseau de cluster doivent également se connecter à au moins un réseau VPC. Le réseau VPC prend en charge toutes les ressources VPC standard, telles que les adresses IP flottantes, les passerelles publiques, les passerelles de transit, etc. Il est recommandé de revoir vos politiques de sécurité pour les interfaces réseau virtuelles (VNI) connectées aux ressources du réseau du cluster.

Sécuriser votre réseau de clusters par rapport au reste de l'écosystème IBM Cloud
Sécuriser votre réseau de clusters par rapport au reste de l'écosystème IBM Cloud

Pour maintenir un accès minimal au réseau du cluster :

  • Limitez l'accès aux seules instances connectées au réseau du cluster.

  • Configurez un groupe de sécurité strict pour les VNI sur chaque instance ayant accès au réseau du cluster.

    Protégez soigneusement les requêtes entrantes TCP et envisagez de protéger les requêtes sortantes TCP. Pour plus d'informations, voir Configuration d'un groupe de sécurité pour votre ressource.

  • Assurez-vous que les sous-réseaux associés aux instances compatibles avec le réseau de cluster disposent des listes de contrôle d'accès réseau (ACL) appropriées.

  • Configurez les politiques IAM pour les autorisations réseau du cluster.