Compute Engine fornisce unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue VM, come machine learning ed elaborazione di dati.
Compute Engine fornisce GPU NVIDIA per le tue VM in modalità passthrough, in modo che le VM abbiano il controllo diretto sulle GPU e sulla memoria associata.
Per ulteriori informazioni sulle GPU su Compute Engine, consulta Informazioni sulle GPU.
Se disponi di carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, il rendering 3D o le applicazioni virtuali, puoi utilizzare le workstation virtuali NVIDIA RTX (precedentemente note come NVIDIA GRID).
Questo documento fornisce una panoramica dei diversi modelli di GPU disponibili su Compute Engine.
Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità delle zone e delle regioni delle GPU.
GPU NVIDIA per carichi di lavoro di calcolo
Per i carichi di lavoro di calcolo, i modelli GPU sono disponibili nelle seguenti fasi:
- NVIDIA H100
- NVIDIA H100 da 80 GB Mega:
nvidia-h100-mega-80gb
: disponibile a livello generale - NVIDIA H100 da 80 GB:
nvidia-h100-80gb
: disponibile a livello generale
- NVIDIA H100 da 80 GB Mega:
- NVIDIA L4:
nvidia-l4
: disponibile a livello generale - NVIDIA A100
- NVIDIA A100 da 40 GB:
nvidia-tesla-a100
: disponibile a livello generale - NVIDIA A100 da 80 GB:
nvidia-a100-80gb
: disponibile a livello generale
- NVIDIA A100 da 40 GB:
- NVIDIA T4:
nvidia-tesla-t4
: disponibile a livello generale - NVIDIA V100:
nvidia-tesla-v100
: disponibile a livello generale - NVIDIA P100:
nvidia-tesla-p100
: disponibile a livello generale - NVIDIA P4:
nvidia-tesla-p4
: disponibile a livello generale
GPU NVIDIA H100
Per eseguire GPU NVIDIA H100, devi utilizzare un tipo di macchina ottimizzata per l'acceleratore A3.
Modello GPU | Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Conteggio vCPU | Memoria VM (GB) | SSD locale collegato (GiB) | Larghezza di banda massima di rete (Gbps) | |
---|---|---|---|---|---|---|---|---|
VM | Cluster GPU | |||||||
NVIDIA H100 80GB Mega | a3-megagpu-8g |
8 | 640 | 208 | 1872 | 6000 | 200 | 1600 |
NVIDIA H100 da 80 GB | a3-highgpu-8g |
8 | 640 | 208 | 1872 | 6000 | 200 | 800 |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA L4
Per eseguire le GPU NVIDIA L4, devi utilizzare un tipo di macchina ottimizzato per l'acceleratore G2.
A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla tua VM per ogni tipo di macchina. Puoi specificare la tua memoria personalizzata durante la creazione della VM.
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPUs | Memoria VM predefinita | Intervallo di memoria VM personalizzato | SSD locale max supportato |
---|---|---|---|---|---|---|---|
NVIDIA L4 | g2-standard-4 |
1 GPU | GDDR6 da 24 GB | 4 vCPU | 16 GB | 16 - 32 GB | 375 GiB |
g2-standard-8 |
1 GPU | GDDR6 da 24 GB | 8 vCPU | 32 GB | 32 - 54 GB | 375 GiB | |
g2-standard-12 |
1 GPU | GDDR6 da 24 GB | 12 vCPU | 48 GB | 48 - 54 GB | 375 GiB | |
g2-standard-16 |
1 GPU | GDDR6 da 24 GB | 16 vCPU | 64 GB | 54 - 64 GB | 375 GiB | |
g2-standard-24 |
2 GPU | GDDR6 da 48 GB | 24 vCPU | 96 GB | 96 - 108 GB | 750 GiB | |
g2-standard-32 |
1 GPU | GDDR6 da 24 GB | 32 vCPU | 128 GB | 96 - 128 GB | 375 GiB | |
g2-standard-48 |
4 GPU | GDDR6 da 96 GB | 48 vCPU | 192 GB | 192 - 216 GB | 1500 GiB | |
g2-standard-96 |
8 GPU | GDDR6 da 192 GB | 96 vCPU | 384 GB | 384 - 432 GB | 3000 GiB |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA A100
Per eseguire GPU NVIDIA A100, devi utilizzare il tipo di macchina ottimizzato per l'acceleratore A2.
Ogni tipo di macchina A2 ha un numero di GPU, numero di vCPU e dimensioni della memoria fissi.
A100 40GB
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
NVIDIA A100 da 40 GB | a2-highgpu-1g |
1 GPU | HBM2 da 40 GB | 12 vCPU | 85 GB | Sì |
a2-highgpu-2g |
2 GPU | HBM2 da 80 GB | 24 vCPU | 170 GB | Sì | |
a2-highgpu-4g |
4 GPU | HBM2 da 160 GB | 48 vCPU | 340 GB | Sì | |
a2-highgpu-8g |
8 GPU | HBM2 da 320 GB | 96 vCPU | 680 GB | Sì | |
a2-megagpu-16g |
16 GPU | HBM2 da 640 GB | 96 vCPU | 1360 GB | Sì |
A100 80GB
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locale collegata |
---|---|---|---|---|---|---|
NVIDIA A100 da 80 GB | a2-ultragpu-1g |
1 GPU | HBM2e da 80 GB | 12 vCPU | 170 GB | 375 GiB |
a2-ultragpu-2g |
2 GPU | HBM2e da 160 GB | 24 vCPU | 340 GB | 750 GiB | |
a2-ultragpu-4g |
4 GPU | HBM2e da 320 GB | 48 vCPU | 680 GB | 1500 GiB | |
a2-ultragpu-8g |
8 GPU | HBM2e da 640 GB | 96 vCPU | 1360 GB | 3000 GiB |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA T4
Le VM con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero maggiore di GPU consente di creare istanze con un numero maggiore di vCPU e memoria.
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
NVIDIA T4 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | GDDR6 da 16 GB | 1-48 vCPU | 1 - 312 GB | Sì |
2 GPU | GDDR6 da 32 GB | 1-48 vCPU | 1 - 312 GB | Sì | ||
4 GPU | GDDR6 da 64 GB | 1-96 vCPU | 1 - 624 GB | Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA P4
Per le GPU P4, l'SSD locale è supportato solo in alcune regioni. Consulta la pagina relativa alla disponibilità degli SSD locali per zone e regioni GPU.
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
NVIDIA P4 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | GDDR5 da 8 GB | 1-24 vCPU | 1 - 156 GB | Sì |
2 GPU | GDDR5 da 16 GB | 1-48 vCPU | 1 - 312 GB | Sì | ||
4 GPU | GDDR5 da 32 GB | 1-96 vCPU | 1 - 624 GB | Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA V100
Per le GPU V100, l'SSD locale è supportato solo in alcune regioni, consulta Disponibilità di SSD locali per regioni e zona GPU.
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
NVIDIA V100 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | HBM2 da 16 GB | 1-12 vCPU | 1 - 78 GB | Sì |
2 GPU | HBM2 da 32 GB | 1-24 vCPU | 1 - 156 GB | Sì | ||
4 GPU | HBM2 da 64 GB | 1-48 vCPU | 1 - 312 GB | Sì | ||
8 GPU | HBM2 da 128 GB | 1-96 vCPU | 1 - 624 GB | Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA P100
Per alcune GPU P100, la quantità massima di CPU e memoria disponibile per alcune configurazioni dipende dalla zona in cui è in esecuzione la risorsa GPU.
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
NVIDIA P100 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | HBM2 da 16 GB | 1-16 vCPU | 1 - 104 GB | Sì |
2 GPU | HBM2 da 32 GB | 1-32 vCPU | 1 - 208 GB | Sì | ||
4 GPU | HBM2 da 64 GB | 1 - 64 vCPU 1 - 96 vCPU |
1 - 208 GB 1 - 624 GB |
Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
Workstation virtuali NVIDIA RTX (vWS) per carichi di lavoro di grafica
Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano NVIDIA RTX Virtual Workstations (vWS) (precedentemente note come NVIDIA GRID). Quando crei una workstation virtuale, viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS) alla VM.
Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.
Per i carichi di lavoro di grafica, i modelli di workstation virtuale NVIDIA RTX (vWS) sono disponibili nelle seguenti fasi:
- Workstation virtuali NVIDIA L4:
nvidia-l4-vws
: disponibili a livello generale - Workstation virtuali NVIDIA T4:
nvidia-tesla-t4-vws
: disponibili a livello generale - Workstation virtuali NVIDIA P100:
nvidia-tesla-p100-vws
: disponibili a livello generale - Workstation virtuali NVIDIA P4:
nvidia-tesla-p4-vws
: disponibili a livello generale
GPU NVIDIA L4 vWS
Modello GPU | Tipo di macchina | GPU | Memoria GPU | vCPUs | Memoria VM predefinita | Intervallo di memoria VM personalizzato | Numero massimo di SSD locali supportati |
---|---|---|---|---|---|---|---|
Workstation virtuale NVIDIA L4 | g2-standard-4 |
1 GPU | GDDR6 da 24 GB | 4 vCPU | 16 GB | 16 - 32 GB | 375 GiB |
g2-standard-8 |
1 GPU | GDDR6 da 24 GB | 8 vCPU | 32 GB | 32 - 54 GB | 375 GiB | |
g2-standard-12 |
1 GPU | GDDR6 da 24 GB | 12 vCPU | 48 GB | 48 - 54 GB | 375 GiB | |
g2-standard-16 |
1 GPU | GDDR6 da 24 GB | 16 vCPU | 64 GB | 54 - 64 GB | 375 GiB | |
g2-standard-24 |
2 GPU | GDDR6 da 48 GB | 24 vCPU | 96 GB | 96 - 108 GB | 750 GiB | |
g2-standard-32 |
1 GPU | GDDR6 da 24 GB | 32 vCPU | 128 GB | 96 - 128 GB | 375 GiB | |
g2-standard-48 |
4 GPU | GDDR6 da 96 GB | 48 vCPU | 192 GB | 192 - 216 GB | 1500 GiB | |
g2-standard-96 |
8 GPU | GDDR6 da 192 GB | 96 vCPU | 384 GB | 384 - 432 GB | 3000 GiB |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA T4 vWS
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
Workstation virtuale NVIDIA T4 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | GDDR6 da 16 GB | 1-48 vCPU | 1 - 312 GB | Sì |
2 GPU | GDDR6 da 32 GB | 1-48 vCPU | 1 - 312 GB | Sì | ||
4 GPU | GDDR6 da 64 GB | 1-96 vCPU | 1 - 624 GB | Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA P4 vWS
Per le GPU P4, l'SSD locale è supportato solo in alcune regioni. Consulta la pagina relativa alla disponibilità degli SSD locali per zone e regioni GPU.
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
Workstation virtuale NVIDIA P4 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | GDDR5 da 8 GB | 1-16 vCPU | 1 - 156 GB | Sì |
2 GPU | GDDR5 da 16 GB | 1-48 vCPU | 1 - 312 GB | Sì | ||
4 GPU | GDDR5 da 32 GB | 1-96 vCPU | 1 - 624 GB | Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
GPU NVIDIA P100 vWS
Modello GPU | Tipo di macchina | GPU | Memoria GPU* | vCPU disponibili | Memoria VM | SSD locali supportati |
---|---|---|---|---|---|---|
Workstation virtuale NVIDIA P100 | Serie di macchine N1 eccetto N1 con core condiviso | 1 GPU | HBM2 da 16 GB | 1-16 vCPU | 1 - 104 GB | Sì |
2 GPU | HBM2 da 32 GB | 1-32 vCPU | 1 - 208 GB | Sì | ||
4 GPU | HBM2 da 64 GB | 1 - 64 vCPU 1 - 96 vCPU |
1 - 208 GB 1 - 624 GB |
Sì |
*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.
Grafico di confronto generale
La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e i tipi di carichi di lavoro ideali dei diversi modelli GPU disponibili su Compute Engine.
Modello GPU | Memoria | Interconnessione | Supporto di NVIDIA RTX Virtual Workstation (vWS) | Ideale per |
---|---|---|---|---|
H100 da 80 GB | HBM3 da 80 GB a 3,35 TBps | Mesh completo NVLink a 900 GB/s | Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM | |
A100 80GB | HBM2e da 80 GB a 1,9 TBps | Mesh completo NVLink a 600 GB/s | Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM | |
A100 40GB | 40 GB HBM2 a 1,6 TBps | Mesh completo NVLink a 600 GB/s | Addestramento ML, inferenza, HPC | |
L4 | GDDR6 da 24 GB a 300 GBps | N/A | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video, HPC | |
T4 | GDDR6 da 16 GB a 320 GBps | N/A | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video | |
V100 | 16 GB HBM2 a 900 GBps | NVLink Ring a 300 GB/s | Addestramento ML, inferenza, HPC | |
P4 | GDDR5 da 8 GB a 192 GB/s | N/A | Workstation di visualizzazione remota, inferenza ML e transcodifica video | |
P100 | 16 GB HBM2 a 732 GBps | N/A | Workstation di addestramento ML, inferenza, HPC, visualizzazione remota |
Per confrontare i prezzi dei diversi modelli di GPU e le regioni disponibili per Compute Engine, vedi Prezzi delle GPU.
Grafico di confronto del rendimento
La seguente tabella descrive le specifiche delle prestazioni dei diversi modelli di GPU disponibili su Compute Engine.
Prestazioni di calcolo
Modello GPU | FP64 | FP32 | FP16 | INT8 |
---|---|---|---|---|
H100 da 80 GB | 34 TFLOPS | 67 TFLOPS | ||
A100 80GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
A100 40GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
L4 | 0,5 TFLOPS* | 30,3 TFLOPS | ||
T4 | 0,25 TFLOPS* | 8.1 TFLOPS | ||
V100 | 7,8 TFLOPS | 15,7 TFLOPS | ||
P4 | 0,2 TFLOPS* | 5,5 TFLOPS | 22 POMPE† | |
P100 | 4,7 TFLOPS | 9,3 TFLOPS | 18,7 TFLOPS |
* Per consentire il corretto funzionamento del codice FP64, nell'architettura GPU T4, L4 e P4 è incluso un numero ridotto di unità hardware FP64.
†Teraoperazioni al secondo.
Prestazioni Tensor Core
Modello GPU | FP64 | TF32 | FP16/FP32 a precisione mista | INT8 | INT4 | FP8 |
---|---|---|---|---|---|---|
H100 da 80 GB | 67 TFLOPS | 989 TFLOPS† | 1979 TFLOPS*, † | 3958 TOPS† | 3958 TFLOPS† | |
A100 80GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 MASSIMA | 1248 MASSIMA | |
A100 40GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 MASSIMA | 1248 MASSIMA | |
L4 | 120 TFLOPS† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
T4 | 65 TFLOPS | 130 MASSIMA | 260 MASSIMA | |||
V100 | 125 TFLOPS | |||||
P4 | ||||||
P100 |
* Per l'addestramento a precisione mista, le GPU NVIDIA H100, A100 ed L4 supportano anche il tipo di dati bfloat16
.
†Per le GPU H100 e L4, è supportata la sparsità strutturale, che puoi utilizzare per raddoppiare il valore delle prestazioni. I valori mostrati sono espressi con sparsità. Le specifiche sono dimezzate in meno senza sparsità.
Che cosa succede dopo?
- Per ulteriori informazioni sulle GPU su Compute Engine, consulta Informazioni sulle GPU.
- Esamina la disponibilità delle regioni e delle zone GPU.
- Scopri di più sui prezzi delle GPU.