為 VPC 管理 GPU 和加速器

這系列支援 GPU 的設定檔,可提供按需且具成本效益的 GPU 與加速器存取服務。 GPU 和加速器有助於縮短人工智慧、機器學習、推論等運算密集型工作負載所需的處理時間。 若要使用 GPU 和加速器,請務必針對工作負載安裝適當的驅動程式和相關工具套件。

使用 NVIDIA GPU 設定虛擬伺服器實例

  1. 在設定檔欄位中選擇 NVIDIA GPU 設定檔,以提供 虛擬伺服器實例。 支援庫存和自訂作業系統映像檔。
  2. 為虛擬伺服器實例的映像和 GPU 設定檔安裝 NVIDIA GPU 驅動程式。 下表說明 Linux 和 Windows 作業系統的最低驅動程式和 CUDA 軟體版本等級。 如需詳細資訊,請參閱 NVIDIA 的「下載驅動程式」頁面。 如需 NVIDIA 資料中心產品的驅動程式概覽,請參閱 NVIDIA 資料中心驅動程式
NVIDIA 驅動程式和 CUDA 版本 Linux
GPU 及最低 NVIDIA 驅動程式和 CUDA 版本
GPU NVIDIA 驅動程式 CUDA 版本
A100 550 12.4
L4 550 12.4
L40s 550 12.4
V100 535 12.2
H100 550 12.4
H200 570 12.8
B300 選擇可用性 590 13.1
NVIDIA 適用於 Windows 2019、2022、2025 的驅動程式和 CUDA 版本
GPU 及最低 NVIDIA 驅動程式和 CUDA 版本
GPU NVIDIA 驅動程式 CUDA 版本
A100 538 12.2
L4 538 12.2
L40s 538 12.2
V100 535 12.2
H100 不適用 不適用
H200 不適用 不適用
B300 不適用 不適用
NVIDIA 適用於 Windows 2016 的驅動程式和 CUDA 版本
GPU 及最低 NVIDIA 驅動程式和 CUDA 版本
GPU NVIDIA 驅動程式 CUDA 版本
A100 529 12.0
L4 529 12.0
L40s 不適用 不適用
V100 535 12.0
H100 不適用 不適用
H200 不適用 不適用
B300 不適用 不適用
  1. 針對您的工作量安裝相關聯的工具箱。 請參閱 NVIDIA 的 CUDA 工具包下載頁面。

有關完成步驟 2 和 3 的詳細說明、其他 GPU 工具和範例,請參閱 如何在IBM Cloud VPC上使用V100-BasedGPU

有關安裝 NVIDIA 驅動程式的 Linux 指南,請參閱 NVIDIA 驅動程式安裝指南

如果要自動安裝驅動程式,可以使用虛擬伺服器的 使用者資料 部分。 透過使用使用者資料欄位,您可以輸入腳本,以發出安裝 NVIDIA 驅動程式的指令。

使用 NVIDIA B300 GPU 設定虛擬伺服器實例

NVIDIA HGX B300 加速虛擬伺服器設定檔可供特定客戶使用。 如果您有興趣購買和使用此產品,請建立 支援個案

當您使用 B300 GPU 設定檔時,客座作業系統需要更新。 如果客座作業系統未修改,您可能會看到以下錯誤:"NVRM: This PCI I/O region assigned to your NVIDIA device is invalid:"

要為 B300 GPU 設定客座作業系統:

  1. 這些指令必須以 root 身分執行。 Sudo 到根。
    sudo -i
    
  2. 編輯 GRUB 設定檔。 以下範例使用 vi。
    vi /etc/default/grub.d/50-cloudimg-settings.cfg
    
  3. 將下列核心參數加入 GRUB_CMDLINE_LINUX_DEFAULT 行:
    pci=assign-busses pci=realloc pci=nocrs pci=big_root_window
    
    更新後的行應該是這樣的:
    # CLOUD_IMG: This file was created/modified by the Cloud Image build process
    GRUB_CMDLINE_LINUX_DEFAULT="nofb console=ttyS0 console=tty1 pci=assign-busses pci=realloc pci=nocrs pci=big_root_window"
    
  4. 更新 grub 以套用變更。
    update-grub2
    
  5. 重新啟動虛擬伺服器。
    reboot
    

使用 Intel Gaudi 3 AI 加速器設定虛擬伺服器實例

  1. 透過在設定檔欄位中選擇 Intel® Gaudi® 3 AI 加速器 實例設定檔 來設定 虛擬伺服器實例。 支援庫存和自訂作業系統映像檔。
  2. 為您的虛擬伺服器安裝 Intel Gaudi 3 AI Accelerator 軟體和驅動程式。 若要下載驅動程式,請參閱 Intel Gaudi 驅動程式與軟體安裝頁面。

從磁碟區將驅動程式整合至自訂映像

  1. 佈建具有 GPU 的虛擬伺服器實例並安裝驅動程式。
  2. 從虛擬伺服器實例庫存映像檔開機磁區建立映像檔。 如需相關資訊,請參閱 從磁區建立映像檔
  3. 重複磁區中的映像檔處理程序,以在多個實例之間部署。

設定配備 AMD Instinct MI300X 加速器的裸機伺服器

  1. 請在「設定檔」欄位中選擇「AMD Instinct™ MI300X 加速器」裸機伺服器設定檔以建立一台裸機伺服器。 支援庫存和自訂作業系統映像檔。
  2. 為您的裸機伺服器安裝必要的驅動程式。 如需下載驅動程式,請參閱「安裝 ROCm 及機器學習框架」頁面。

下一步

如需詳細資訊,請參閱 NVIDIA 驅動程式說明文件