Utilizza la console Google Cloud per verificare le prestazioni del modello. Analizza gli errori di test per migliorare in modo iterativo la qualità del modello correggendo i problemi relativi ai dati.
Questo tutorial è composto da diverse pagine:
Crea un set di dati di classificazione delle immagini e importa le immagini.
Addestra un modello di classificazione delle immagini AutoML.
Valuta e analizza le prestazioni del modello.
Esegui il deployment di un modello su un endpoint e invia una previsione.
Ogni pagina presuppone che tu abbia già eseguito le istruzioni dalle pagine precedenti del tutorial.
1. Informazioni sui risultati della valutazione dei modelli AutoML
Al termine dell'addestramento, il modello viene valutato automaticamente in base alla suddivisione dei dati di test. I risultati della valutazione corrispondente vengono presentati facendo clic sul nome del modello dalla pagina Model Registry o Set di dati.
Qui puoi trovare le metriche per misurare le prestazioni del modello.
Puoi trovare un'introduzione più dettagliata alle diverse metriche di valutazione nella sezione Valutare, testare ed eseguire il deployment del modello.
2. Analizzare i risultati dei test
Per continuare a migliorare le prestazioni del modello, la prima cosa da fare è spesso esaminare i casi di errore e indagare sulle cause potenziali. La pagina di valutazione di ogni classe presenta immagini di test dettagliate della classe specifica classificate come falsi negativi, falsi positivi e veri positivi. La definizione di ogni categoria è disponibile nella sezione Valuta, testa ed esegui il deployment del modello.
Per ogni immagine in ogni categoria, puoi controllare ulteriormente i dettagli della previsione facendo clic sull'immagine per accedere ai risultati dettagliati dell'analisi. Sul lato destro della pagina vedrai il riquadro Esamina immagini simili, dove i campioni più vicini del set di addestramento sono presentati con le distanze misurate nello spazio delle caratteristiche.
Esistono due tipi di problemi relativi ai dati che dovresti prestare attenzione:
Incoerenza dell'etichetta. Se un campione visivamente simile del set di addestramento ha etichette diverse dal campione di test, è possibile che una non sia corretta o che la sottile differenza richieda più dati per l'apprendimento del modello oppure che le etichette delle classi correnti non siano semplicemente sufficientemente accurate per descrivere il campione specifico. L'esame di immagini simili può aiutarti a ottenere informazioni accurate sulle etichette correggendo i casi di errore o escludendo il campione problematico dal set di test. Puoi modificare comodamente l'etichetta dell'immagine di test o delle immagini di addestramento nel riquadro Esamina immagini simili sulla stessa pagina.
Valori anomali. Se un campione di test è contrassegnato come outlier, è possibile che nel set di addestramento non siano presenti campioni visivamente simili per aiutare l'addestramento del modello. L'esame delle immagini simili del set di addestramento può aiutarti a identificare questi esempi e ad aggiungere immagini simili al set di addestramento per migliorare ulteriormente le prestazioni del modello in questi casi.
Passaggi successivi
Se le prestazioni del modello ti soddisfano, segui la pagina successiva di questo tutorial per eseguire il deployment del tuo modello AutoML addestrato su un endpoint e inviare un'immagine al modello per la previsione. In caso contrario, se apporti correzioni ai dati, addestra un nuovo modello utilizzando il tutorial Addestramento di un modello di classificazione delle immagini AutoML.