La funzionalità di report sull'inventario Storage Insights consente di gestire l'archiviazione di oggetti su larga scala. È un'alternativa più rapida e pianificata all'operazione dell'API Objects: list
.
I report sull'inventario contengono informazioni sui metadati degli oggetti, come la classe di archiviazione, l'ETag e il tipo di contenuto dell'oggetto. Queste informazioni consentono di analizzare i costi di archiviazione, controllare e convalidare gli oggetti e garantire la sicurezza e la conformità dei dati. Puoi esportare i report sull'inventario come file con valori separati da virgole (CSV) o Apache Parquet per analizzarli ulteriormente utilizzando strumenti come BigQuery.
Questa pagina fornisce una panoramica della funzionalità del report sull'inventario di Storage Insights. Per istruzioni su come utilizzare questa funzionalità, consulta Creare e gestire i report sull'inventario.
Panoramica dei report sull'inventario
I report sull'inventario contengono un elenco di oggetti e i relativi metadati associati a un determinato bucket, noto anche come bucket di origine. Per generare report sull'inventario, devi prima creare una configurazione dei report sull'inventario che definisca la frequenza di generazione dei report, i campi di metadati che devono essere inclusi nei report e un bucket per generare e archiviare i report. Questo bucket è chiamato anche bucket di destinazione.
Quando crei una configurazione di report sull'inventario, le viene assegnato automaticamente un identificatore univoco universale (UUID). Questo campo non è modificabile. Tuttavia, puoi modificare i seguenti campi di una configurazione dei report di inventario:
- Il nome visualizzato della configurazione del report sull'inventario
- I campi di metadati degli oggetti inclusi nei report sull'inventario
- Il bucket di destinazione in cui sono archiviati i report sull'inventario
- La pianificazione che determina la frequenza di generazione dei report sull'inventario
- Il formato di file in cui vengono generati i report sull'inventario (CSV o ApacheParquet)
Quando elimini una configurazione di report sull'inventario, non vengono più generati nuovi report sull'inventario per la configurazione, ma quelli esistenti vengono mantenuti.
Bucket di origine e destinazione
Il bucket di origine contiene gli oggetti per i quali vuoi generare report di inventario. Contiene inoltre la configurazione del report sull'inventario. In un bucket di origine puoi avere fino a 100 configurazioni di report sull'inventario.
Il bucket di destinazione archivia i report sull'inventario generati. Il bucket di destinazione deve soddisfare i seguenti requisiti:
- Deve trovarsi nella stessa località del bucket di origine.
- Deve trovarsi nello stesso progetto del bucket di origine.
- Può essere uguale al bucket di origine.
Quando crei per la prima volta una configurazione di report sull'inventario, viene creato automaticamente un agente di servizio per tuo conto. Per creare configurazioni dei report di inventario e scrivere report sull'inventario nel bucket di destinazione, sia tu che l'agente di servizio dovete disporre delle autorizzazioni IAM richieste. Consulta le autorizzazioni richieste per te e per il tuo agente di servizio.
Storage Insights usa i nomi dei bucket di origine e di destinazione per determinare quali bucket utilizzare durante l'esecuzione dei job. Se elimini un bucket di origine o di destinazione e in seguito crei un nuovo bucket con lo stesso nome, Storage Insights eseguirà i job utilizzando il nuovo bucket.
Campi dei metadati degli oggetti
In un report sull'inventario possono essere inclusi i seguenti campi di metadati. I campi dei metadati contrassegnati come "obbligatori" devono essere inclusi nel report sull'inventario.
Campo metadati | Descrizione | Note |
---|---|---|
progetto | L'ID del progetto in cui si trova il bucket di origine. | Obbligatorio |
bucket | Il nome del bucket di origine. | Obbligatorio |
name | Il nome dell'oggetto. | Obbligatorio |
località | La località del bucket di origine. | Facoltativo |
dimensioni | Le dimensioni dell'oggetto. | Facoltativo |
timeCreated | L'ora di creazione dell'oggetto in formato RFC 3339. | Facoltativo |
timeDeleted | L'ora di eliminazione dell'oggetto in formato RFC 3339. Errore restituito se e solo se questa versione dell'oggetto non è più una versione attiva, ma rimane nel bucket come versione non corrente. | Facoltativo |
aggiornato | La data e l'ora di modifica dei metadati dell'oggetto in formato RFC 3339. | Facoltativo |
storageClass | La classe di archiviazione dell'oggetto. | Facoltativo |
etag | Tag entità HTTP 1.1 per l'oggetto. | Facoltativo |
retentionExpirationTime | La prima volta in cui l'oggetto può essere eliminato, a seconda di una qualsiasi configurazione di conservazione impostata per l'oggetto e di qualsiasi criterio di conservazione impostato per il bucket che contiene l'oggetto. Il valore di retentionExpriationTime è specificato nel formato RFC 3339. |
Facoltativo |
crc32c | Il checksum CRC32C, come descritto nell'appendice B RFC 4960, codificato utilizzando base64 in ordine di byte big-endian. Per ulteriori informazioni sull'utilizzo del checksum CRC32C, consulta la sezione Hash e eTag. | Facoltativo |
md5Hash | L'hash MD5 dei dati, codificato utilizzando base64. Questo campo non è presente per gli oggetti composti. Per maggiori informazioni sull'utilizzo dell'hash MD5, consulta Hash ed eTag. | Facoltativo |
di generazione | La generazione di contenuti dell'oggetto. Utilizzato per il controllo delle versioni degli oggetti. | Facoltativo |
metagenerazione | La versione dei metadati per questo oggetto in questa generazione. Utilizzato per le precondizioni e per rilevare le modifiche nei metadati. Un numero di metagenerazione è significativo solo nel contesto di una determinata generazione di un determinato oggetto. | Facoltativo |
contentType | Il Content-Type dei dati dell'oggetto. Se un oggetto viene archiviato senza un Content-Type, viene gestito come application/octet-stream. | Facoltativo |
contentEncoding | La classe Content-Encoding dei dati dell'oggetto. | Facoltativo |
timeStorageClassUpdated | L'ora in cui la classe di archiviazione dell'oggetto è stata modificata per l'ultima volta. Quando l'oggetto viene creato inizialmente, viene impostato su timeCreated. | Facoltativo |
Per ulteriori informazioni sui campi dei metadati degli oggetti, consulta Metadati degli oggetti.
shard del report sull'inventario
Quando un report sull'inventario contiene più di 1.000.000 di oggetti, Storage Insights genera uno o più oggetti shard per comporre il report sull'inventario. Dopo che tutti gli shard di un report sull'inventario sono stati generati correttamente, nello stesso bucket di destinazione degli shard viene generato un file manifest.
File manifest del report sull'inventario
La presenza di un file manifest indica che sono stati generati tutti gli shard che compongono un report di inventario. Il file manifest fornisce anche i nomi degli oggetti shard del report sull'inventario.
Il file manifest segue la convenzione di denominazione REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json
, in cui:
REPORT_CONFIG_UUID
è l'UUID generato automaticamente della configurazione del report sull'inventario.TARGET_DATETIME
è la data e l'ora UTC generate automaticamente in cui viene generato un report sull'inventario.
Un esempio di nome di file manifest è fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json
.
Il file manifest.json
contiene i seguenti campi compilati automaticamente:
{ "report_config": REPORT_CONFIG_FIELDS, "records_processed": NUMBER_OF_INCLUDED_OBJECTS, "snapshot_time": "SNAPSHOT_TIME, "target_datetime": "TARGET_DATETIME, "shard_count": SHARD_COUNT, "report_shards_file_names": [ SHARD_FILE_NAME ...] }
Dove:
REPORT_CONFIG_FIELDS
include i campi contenuti all'interno della risorsa ReportConfig.NUMBER_OF_INCLUDED_OBJECTS
è il numero di oggetti inclusi nel report sull'inventario.SNAPSHOT_TIME
è la data/ora UTC generata automaticamente in cui si verifica lo snapshot dei dati. Tutti i dati di un report sull'inventario vengono acquisiti nell'istantanea.TARGET_DATETIME
è la data/ora UTC generata automaticamente in cui viene generato un report sull'inventario.SHARD_COUNT
è il numero totale di shard generati che compongono il report sull'inventario.SHARD_FILE_NAME
è il nome di uno shard che compone un report sull'inventario.
Un file manifest.json
di esempio ha il seguente aspetto:
{ "report_config": { "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0", "createTime": "2023-06-08T08:07:53.397366139Z", "updateTime": "2023-06-08T08:07:53.552347723Z", "frequencyOptions": { "frequency": "DAILY", "startDate": { "year": 2023, "month": 6, "day": 9 } "endDate": { "year": 2023, "month": 6, "day": 23 } }, "csvOptions": { "recordSeparator": "\n", "delimiter": "," }, "objectMetadataReportOptions": { "metadataFields": [ "project", "bucket", "name", "location", "updated", "storageClass", ], "storageFilters": { "bucket": "my-test-bucket" }, "storageDestinationOptions": { "bucket": "example-bucket", "destinationPath": "folder/subfolder" } } }, "records_processed": 3993900, "snapshot_time" : "2023-06-06T00:07:27Z", "target_datetime": { "year": 2023, "month": 6, "day": 6 }, "shard_count": 4, "report_shards_file_names": [ "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv", "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv", ... ], }
Prezzi e località dei bucket supportate
Storage Insights è soggetto ai prezzi, in base ai quali ogni milione di oggetti contenuti in un report sull'inventario viene addebitato in base al prezzo seguente, a seconda della località di archiviazione. Per ulteriori informazioni sulle località di archiviazione, consulta Località dei bucket.
Località supportate
Località | Regione | Prezzi |
---|---|---|
Asia | ||
Taiwan (asia-east1 ) |
0,0025 $/un milione di oggetti | |
Hong Kong (asia-east2 ) |
0,0028 $/un milione di oggetti | |
Tokyo (asia-northeast1 ) |
0,0028 $/un milione di oggetti | |
Osaka (asia-northeast2 ) |
0,0028 $/un milione di oggetti | |
Seul (asia-northeast3 ) |
0,0028 $/un milione di oggetti | |
Singapore (asia-southeast1 ) |
0,0025 $/un milione di oggetti | |
Australia | ||
Sydney (australia-southeast1 ) |
0,0028 $/un milione di oggetti | |
Melbourne (australia-southeast2 ) |
0,0028 $/un milione di oggetti | |
Europa | ||
Varsavia (europe-central2 ) |
0,0028 $/un milione di oggetti | |
Finlandia (europe-north1 ) |
0,0025 $/un milione di oggetti | |
Madrid (europe-southwest1 ) |
0,0028 $/un milione di oggetti | |
Belgio (europe-west1 ) |
0,0025 $/un milione di oggetti | |
Londra (europe-west2 ) |
0,0028 $/un milione di oggetti | |
Francoforte (europe-west3 ) |
0,0028 $/un milione di oggetti | |
Paesi Bassi (europe-west4 ) |
0,0025 $/un milione di oggetti | |
Zurigo (europe-west6 ) |
0,0031 $/un milione di oggetti | |
Milano (europe-west8 ) |
0,0028 $/un milione di oggetti | |
Parigi (europe-west9 ) |
0,0028 $/un milione di oggetti | |
India | ||
Mumbai (asia-south1 ) |
0,0028 $/un milione di oggetti | |
Delhi (asia-south2 ) |
0,0028 $/un milione di oggetti | |
Indonesia | ||
Giacarta (asia-southeast2 ) |
0,0028 $/un milione di oggetti | |
Medio Oriente | ||
Tel Aviv (me-west1 ) |
0,0026 $/un milione di oggetti | |
Nord America | ||
Montréal (northamerica-northeast1 ) |
0,0028 $/un milione di oggetti | |
Toronto (northamerica-northeast2 ) |
0,0028 $/un milione di oggetti | |
Iowa (us-central1 ) |
0,0025 $/un milione di oggetti | |
Carolina del Sud (us-east1 ) |
0,0025 $/un milione di oggetti | |
Virginia del Nord (us-east4 ) |
0,0028 $/un milione di oggetti | |
Colombo (us-east5 ) |
0,0025 $/un milione di oggetti | |
Oregon (us-west1 ) |
0,0025 $/un milione di oggetti | |
Los Angeles (us-west2 ) |
0,0028 $/un milione di oggetti | |
Salt Lake City (us-west3 ) |
0,0028 $/un milione di oggetti | |
Las Vegas (us-west4 ) |
0,0028 $/un milione di oggetti | |
Dallas (us-south1 ) |
0,0025 $/un milione di oggetti | |
Sud America | ||
San Paolo (southamerica-east1 ) |
0,0043 $/un milione di oggetti | |
Santiago (southamerica-west1 ) |
0,0037 $/un milione di oggetti | |
Più regioni | ||
Asia (asia ) |
0,0028 $/un milione di oggetti | |
Europa (eu ) |
0,0028 $/un milione di oggetti | |
Stati Uniti (us ) |
0,0028 $/un milione di oggetti | |
Due regioni | ||
Tokyo/Osaka (asia1 ) |
0,0028 $/un milione di oggetti | |
Finlandia/Paesi Bassi (eur4 ) |
0,0028 $/un milione di oggetti | |
Iowa/Carolina del Sud (nam4 ) |
0,0028 $/un milione di oggetti |
Audit logging
Cloud Storage crea log di controllo quando i report sull'inventario vengono generati nel bucket di destinazione. Storage Insights genera audit log ogni volta che vengono create, aggiornate o eliminate configurazioni dei report sull'inventario.
Cloud Storage non crea audit log quando una configurazione di report di inventario legge i metadati degli oggetti da un bucket di origine.
Integrazione con i Controlli di servizio VPC
Puoi fornire un ulteriore livello di sicurezza per le risorse Storage Insights utilizzando i Controlli di servizio VPC. Quando utilizzi Controlli di servizio VPC, aggiungi progetti ai perimetri di servizio che proteggono risorse e servizi dalle richieste provenienti dall'esterno del perimetro. Per scoprire di più sui Controlli di servizio VPC e sui perimetri di servizio, vedi Dettagli e configurazione dei perimetri di servizio.
Passaggi successivi
Scopri come creare una configurazione di report sull'inventario e inizia a generare report sull'inventario.