為 VPC 管理 GPU 和加速器
這系列支援 GPU 的設定檔,可提供按需且具成本效益的 GPU 與加速器存取服務。 GPU 和加速器有助於縮短人工智慧、機器學習、推論等運算密集型工作負載所需的處理時間。 若要使用 GPU 和加速器,請務必針對工作負載安裝適當的驅動程式和相關工具套件。
使用 NVIDIA GPU 設定虛擬伺服器實例
- 在設定檔欄位中選擇 NVIDIA GPU 設定檔,以提供 虛擬伺服器實例。 支援庫存和自訂作業系統映像檔。
- 為虛擬伺服器實例的映像和 GPU 設定檔安裝 NVIDIA GPU 驅動程式。 下表說明 Linux 和 Windows 作業系統的最低驅動程式和 CUDA 軟體版本等級。 如需詳細資訊,請參閱 NVIDIA 的「下載驅動程式」頁面。 如需 NVIDIA 資料中心產品的驅動程式概覽,請參閱 NVIDIA 資料中心驅動程式。
| GPU | NVIDIA 驅動程式 | CUDA 版本 |
|---|---|---|
| A100 | 550 | 12.4 |
| L4 | 550 | 12.4 |
| L40s | 550 | 12.4 |
| V100 | 535 | 12.2 |
| H100 | 550 | 12.4 |
| H200 | 570 | 12.8 |
| B300 選擇可用性 | 590 | 13.1 |
| GPU | NVIDIA 驅動程式 | CUDA 版本 |
|---|---|---|
| A100 | 538 | 12.2 |
| L4 | 538 | 12.2 |
| L40s | 538 | 12.2 |
| V100 | 535 | 12.2 |
| H100 | 不適用 | 不適用 |
| H200 | 不適用 | 不適用 |
| B300 | 不適用 | 不適用 |
| GPU | NVIDIA 驅動程式 | CUDA 版本 |
|---|---|---|
| A100 | 529 | 12.0 |
| L4 | 529 | 12.0 |
| L40s | 不適用 | 不適用 |
| V100 | 535 | 12.0 |
| H100 | 不適用 | 不適用 |
| H200 | 不適用 | 不適用 |
| B300 | 不適用 | 不適用 |
- 針對您的工作量安裝相關聯的工具箱。 請參閱 NVIDIA 的 CUDA 工具包下載頁面。
有關完成步驟 2 和 3 的詳細說明、其他 GPU 工具和範例,請參閱 如何在IBM Cloud VPC上使用V100-BasedGPU。
有關安裝 NVIDIA 驅動程式的 Linux 指南,請參閱 NVIDIA 驅動程式安裝指南。
如果要自動安裝驅動程式,可以使用虛擬伺服器的 使用者資料 部分。 透過使用使用者資料欄位,您可以輸入腳本,以發出安裝 NVIDIA 驅動程式的指令。
使用 NVIDIA B300 GPU 設定虛擬伺服器實例
NVIDIA HGX B300 加速虛擬伺服器設定檔可供特定客戶使用。 如果您有興趣購買和使用此產品,請建立 支援個案。
當您使用 B300 GPU 設定檔時,客座作業系統需要更新。 如果客座作業系統未修改,您可能會看到以下錯誤:"NVRM: This PCI I/O region assigned to your NVIDIA device is invalid:"
要為 B300 GPU 設定客座作業系統:
- 這些指令必須以 root 身分執行。 Sudo 到根。
sudo -i - 編輯 GRUB 設定檔。 以下範例使用 vi。
vi /etc/default/grub.d/50-cloudimg-settings.cfg - 將下列核心參數加入
GRUB_CMDLINE_LINUX_DEFAULT行:
更新後的行應該是這樣的:pci=assign-busses pci=realloc pci=nocrs pci=big_root_window# CLOUD_IMG: This file was created/modified by the Cloud Image build process GRUB_CMDLINE_LINUX_DEFAULT="nofb console=ttyS0 console=tty1 pci=assign-busses pci=realloc pci=nocrs pci=big_root_window" - 更新 grub 以套用變更。
update-grub2 - 重新啟動虛擬伺服器。
reboot
使用 Intel Gaudi 3 AI 加速器設定虛擬伺服器實例
- 透過在設定檔欄位中選擇 Intel® Gaudi® 3 AI 加速器 實例設定檔 來設定 虛擬伺服器實例。 支援庫存和自訂作業系統映像檔。
- 為您的虛擬伺服器安裝 Intel Gaudi 3 AI Accelerator 軟體和驅動程式。 若要下載驅動程式,請參閱 Intel Gaudi 驅動程式與軟體安裝頁面。
從磁碟區將驅動程式整合至自訂映像
- 佈建具有 GPU 的虛擬伺服器實例並安裝驅動程式。
- 從虛擬伺服器實例庫存映像檔開機磁區建立映像檔。 如需相關資訊,請參閱 從磁區建立映像檔。
- 重複磁區中的映像檔處理程序,以在多個實例之間部署。
設定配備 AMD Instinct MI300X 加速器的裸機伺服器
- 請在「設定檔」欄位中選擇「AMD Instinct™ MI300X 加速器」裸機伺服器設定檔,以建立一台裸機伺服器。 支援庫存和自訂作業系統映像檔。
- 為您的裸機伺服器安裝必要的驅動程式。 如需下載驅動程式,請參閱「安裝 ROCm 及機器學習框架」頁面。
下一步
如需詳細資訊,請參閱 NVIDIA 驅動程式說明文件。