Criar e gerenciar relatórios de inventário

Console

Para ativar a API storageinsights.googleapis.com, siga as instruções em Como ativar serviços.

Linha de comando

Para ativar a API Storage Insights no projeto atual, execute o seguinte comando:

gcloud services enable storageinsights.googleapis.com

Para mais detalhes sobre como ativar serviços em um projeto do Google Cloud, consulte Como ativar e desativar serviços.

APIs REST

Console

Para criar uma configuração de um relatório de inventário, siga estas etapas:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket que você quer usar como o bucket de origem.

3. Na página Detalhes do bucket, clique na guia Relatórios de inventário.

4. Clique em Criar configuração de relatório.

5. Na seção Identifique a configuração do relatório, crie um nome de exibição para a configuração do relatório de inventário. O nome de exibição pode conter até 256 caracteres.

6. Na seção Escolher campos de metadados, selecione os campos de metadados que você quer incluir nos seus relatórios de inventário.

7. Clique em Continuar.

8. Na seção Escolher um formato de arquivo, selecione o formato em que você quer gerar relatórios de inventário.

9. Na seção Escolha um bucket de destino, selecione o bucket que você quer usar como um bucket de destino.

   Na seção Inserir caminho de destino (opcional), é possível especificar um caminho de destino em que os relatórios de inventário serão gerados.

10. Na seção Opções de programação, especifique a frequência, a data de início e a data de término para gerar os relatórios.

11. Clique em Criar.

    A página Detalhes de configuração do relatório é exibida. Os metadados dos relatórios de inventário gerados serão exibidos na página.

Linha de comando

1. Para criar uma configuração de relatório de inventário, execute o comando gcloud storage insights inventory-reports create:

   gcloud storage insights inventory-reports create SOURCE_BUCKET_URL \
     --csv-separator=SEPARATOR \
     --csv-delimiter=DELIMITER \
     --[no]-csv-header \
     --parquet \
     --display-name=DISPLAY_NAME \
     --destination=DESTINATION_PATH \
     --metadata-fields=METADATA_FIELD \
     --schedule-starts=START_DATE \
     --schedule-repeats=FREQUENCY \
     --schedule-repeats-until=END_DATE

   Substitua:

   • SOURCE_BUCKET_URL pelo URL do bucket de origem. Por exemplo, gs://my_example_source_bucket.

   • SEPARATOR pelo caractere usado para separar os registros no arquivo CSV do relatório de inventário. \n: precisa ser \r\n ou . O valor padrão é \n. Opcional. Se a sinalização --csv-separator for usada, não será possível usar --parquet.

   • DELIMITER pelo delimitador que separa os campos no arquivo CSV do relatório de inventário. O valor pode incluir um caractere e não pode ser o mesmo valor de SEPARATOR. O valor padrão é ,. Opcional. Se --csv-delimiter for usado, não será possível usar --parquet.

   • --[no]-csv-header pela sinalização que indica se os cabeçalhos estão incluídos no arquivo CSV do relatório de inventário. Use --csv-header para incluir cabeçalhos e --no-csv-header para excluí-los. Se qualquer uma das sinalizações for usada, --parquet não poderá ser usado.

   • DISPLAY_NAME pelo nome editável da configuração de relatório de inventário. Opcional.

   • --parquet pela sinalização que gera relatórios de inventário no formato Apache Parquet em vez de CSV. Se usado, --csv-delimiter, --csv-separator e --[no-]csv-header não podem ser usados.

   • DESTINATION_PATH pelo bucket ou pasta no bucket em que os relatórios de inventário serão gerados. Por exemplo, gs://my_example_destination_bucket ou gs://my_example_destination_bucket/path/to/inventory/report.

     Ao especificar um caminho para uma pasta em um bucket, é possível usar palavras-chave no caminho, que são substituídas por seus valores correspondentes quando o relatório é gerado. Isso permite gerar relatórios em um formato particionado do Hive para carregar ou consultar os dados no BigQuery sem processamento adicional.

   • METADATA_FIELD por uma lista separada por vírgulas de campos de metadados que você quer incluir no relatório de inventário.

   • START_DATE pela data em que você quer começar a gerar relatórios de inventário. Por exemplo, 2022-01-15.

   • FREQUENCY pela frequência com que você quer que os relatórios de inventário sejam gerados. Os valores são daily ou weekly.

   • END_DATE pela data após a qual você quer parar de gerar relatórios de inventário. Precisa ser um valor posterior a START_DATE. Por exemplo, se você especificar 2022-02-15, os relatórios de inventário não serão mais gerados a partir de 16 de fevereiro de 2022.

Bibliotecas de cliente

import com.google.cloud.storageinsights.v1.CSVOptions;
import com.google.cloud.storageinsights.v1.CloudStorageDestinationOptions;
import com.google.cloud.storageinsights.v1.CloudStorageFilters;
import com.google.cloud.storageinsights.v1.CreateReportConfigRequest;
import com.google.cloud.storageinsights.v1.FrequencyOptions;
import com.google.cloud.storageinsights.v1.LocationName;
import com.google.cloud.storageinsights.v1.ObjectMetadataReportOptions;
import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import com.go888ogle.com.fqhub.common.collect.ImmutableList;
import com.google.type.Date;
import java.io.IOException;

public class CreateInventoryReportConfig {

  public static void createInventoryReportConfig(
      String projectId, String bucketLocation, String sourceBucket, String destinationBucket)
      throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfig reportConfig =
          ReportConfig.newBuilder()
              .setDisplayName("Example inventory report configuration")
              .setFrequencyOptions(
                  FrequencyOptions.newBuilder()
                      .setFrequency(FrequencyOptions.Frequency.WEEKLY)
                      .setStartDate(Date.newBuilder().setDay(15).setMonth(8).setYear(3022).build())
                      .setEndDate(Date.newBuilder().setDay(15).setMonth(9).setYear(3022).build())
                      .build())
              .setCsvOptions(
                  CSVOptions.newBuilder()
                      .setDelimiter(",")
                      .setRecordSeparator("\n")
                      .setHeaderRequired(true)
                      .build())
              .setObjectMetadataReportOptions(
                  ObjectMetadataReportOptions.newBuilder()
                      .addAllMetadataFields(ImmutableList.of("project", "name", "bucket"))
                      .setStorageFilters(
                          CloudStorageFilters.newBuilder().setBucket(sourceBucket).build())
                      .setStorageDestinationOptions(
                          CloudStorageDestinationOptions.newBuilder()
                              .setBucket(destinationBucket)
                              .build())
                      .build())
              .build();
      CreateReportConfigRequest request =
          CreateReportConfigRequest.newBuilder()
              .setParent(LocationName.of(projectId, bucketLocation).toString())
              .setReportConfig(reportConfig)
              .build();
      ReportConfig response = storageInsightsClient.createReportConfig(request);
      System.out.println("Created inventory report config with name " + response.getName());
    }
  }
}

APIs REST

Console

Para editar a configuração de um relatório de inventário, siga as etapas abaixo:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket de origem que contém a configuração do relatório de inventário que você quer editar.

3. Na página Detalhes do bucket do bucket de origem, clique na guia Relatórios de inventário.

4. Clique no nome da configuração do relatório de inventário que você quer editar.

5. Na página Detalhes da configuração do relatório exibida, edite as propriedades desejadas usando o botão Editar edit.

Linha de comando

Para editar a configuração de um relatório de inventário, siga as etapas abaixo:

1. Para encontrar o nome da configuração do relatório de inventário que você quer editar, liste todas as configurações de inventário no bucket de origem usando o comando gcloud storage insights inventory-reports list:

   gcloud storage insights inventory-reports list \
     --source=SOURCE_BUCKET \
     --filter=EXPRESSION \
     --page-size=SIZE \
     --sort-by=FIELD \
     --format="yaml(name)"

   Substitua:

   • SOURCE_BUCKET pelo URL do bucket de origem que contém a configuração de relatório de inventário.

   • EXPRESSION por um filtro booleano aplicado a cada item de recurso a ser listado. Se a expressão avaliar como verdadeiro, o item será listado. Para mais detalhes e exemplos de expressões de filtro, execute $ gcloud topic filters.

   • SIZE pelo número máximo de recursos por página. O padrão é 50.

   • FIELD por uma lista separada por vírgulas de nomes de chaves de campos de recursos para ordenação. A ordem padrão é crescente. Adicione um prefixo ao campo com ~ para ordem decrescente nesse campo.

   1. Edite os campos de configuração do relatório de inventário que você quer atualizar usando o comando gcloud storage insights inventory-reports update. O exemplo a seguir atualiza a configuração do relatório de inventário para gerar relatórios de inventário diariamente no formato Apache Parquet:

      gcloud storage insights inventory-reports update CONFIG_NAME \
      --parquet \
      --schedule-repeats="daily"

Bibliotecas de cliente

import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import com.google.cloud.storageinsights.v1.UpdateReportConfigRequest;
import com.google.protobuf.FieldMask;
import java.io.IOException;

public class EditInventoryReportConfig {


  public static void editInventoryReportConfig(
          String projectId, String location, String inventoryReportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfigName name = ReportConfigName.of(projectId, location, inventoryReportConfigUuid);
      ReportConfig reportConfig = storageInsightsClient.getReportConfig(name);

      // Set any other fields you want to update here
      ReportConfig updatedReportConfig =
              reportConfig.toBuilder().setDisplayName("Updated Display Name").build();

      storageInsightsClient.updateReportConfig(
              UpdateReportConfigRequest.newBuilder()
                      // Add any fields that you want to update to the update mask, in snake case
                      .setUpdateMask(FieldMask.newBuilder().addPaths("display_name")
                              .build())
                      .setReportConfig(updatedReportConfig).build());

      System.out.println("Edited inventory report config with name " + name);
    }
  }
}

APIs REST

Console

Para listar as configurações do relatório de inventário em um bucket de origem, conclua as etapas abaixo:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket de origem que contém as configurações do relatório de inventário que você quer visualizar.

3. Na página Detalhes do bucket, clique na guia Relatórios de inventário.

   As configurações do relatório de inventário no bucket de origem são exibidas.

Linha de comando

É possível listar todas as configurações de inventário em um bucket de origem usando o comando gcloud storage insights inventory-reports list:

gcloud storage insights inventory-reports list \
  --source=SOURCE_BUCKET \
  --filter=EXPRESSION \
  --page-size=SIZE \
  --sort-by=FIELD \
  --format="yaml(name)"

Replace:

* <code><var>SOURCE_BUCKET</var></code> with the URL of the source
  bucket that contains the inventory report configuration.

* <code><var>EXPRESSION</var></code> with a boolean filter to apply to
  each resource item to be listed. If the expression evaluates True,
  the item is listed. For more details and examples of filter
  expressions, run `$ gcloud topic filters`.

* <code><var>SIZE</var></code> with the maximum number of resources per
  page. The default is 50.

* <code><var>FIELD</var></code> with a comma-separated list of resource
  field key names to sort by. The default order is ascending. Prefix a
  field with `~` for descending order on that field.

Bibliotecas de cliente

import com.google.cloud.storageinsights.v1.LocationName;
import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class ListInventoryReportConfigs {


  public static void listInventoryReportConfigs(String projectId, String location)
      throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      System.out.println(
          "Printing inventory report configs in project "
              + projectId
              + " and location "
              + location);
      for (ReportConfig config :
          storageInsightsClient
              .listReportConfigs(LocationName.of(projectId, location))
              .iterateAll()) {
        System.out.println(config.getName());
      }
    }
  }
}

APIs REST

Console

Download de relatórios individuais

Os relatórios de inventário são gerados e armazenados como objetos no bucket de destino. Assim, é possível fazer o download deles como o de um objeto normal.

Para fazer o download de um relatório de inventário, siga estas etapas:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket de destino que contém o relatório de inventário que você quer fazer o download.

3. Na página Detalhes do bucket, verifique se a guia Objetos está selecionada.

4. Clique em Download file_download associado ao relatório de inventário que você quer fazer o download.

Se você não sabe o bucket de destino, também pode fazer o download de um relatório de inventário usando a configuração do relatório de inventário que o gerou:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket de origem que contém a configuração do relatório de inventário que gerou o relatório que você quer fazer o download.

3. Na página Detalhes do bucket, clique no nome da configuração do relatório de inventário.

4. Na página Detalhes de configuração do relatório exibida, navegue até a seção Histórico de relatórios de inventário e clique no caminho do objeto de destino do relatório de inventário que você quer fazer o download.

   A página Detalhes do bucket é exibida para o bucket de destino que contém o relatório de inventário.

5. Clique em Download file_download associado ao relatório de inventário que você quer fazer o download.

Download de fragmentos de relatório

Para fazer o download de um relatório de inventário que foi dividido em um ou mais fragmentos, conclua as seguintes etapas:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket de destino que você especificou ao criar a configuração do relatório de inventário.

3. Na página Detalhes do bucket, verifique se há um arquivo de manifesto. A presença de um arquivo de manifesto indica que todos os fragmentos de um relatório de inventário foram gerados.

   Um exemplo de nome de arquivo de manifesto é fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

4. No bucket de destino, clique em file_download Download associado ao arquivo de manifesto. Anote os nomes dos arquivos de fragmento de que você quer fazer o download do campo report_shards_file_names.

5. No bucket de destino, clique em file_download Download associado aos arquivos de fragmento de que você quer fazer o download.

Linha de comando

Download de relatórios individuais

Para fazer o download de um relatório de inventário, siga estas etapas:

1. Para listar todos os relatórios de inventário que foram gerados por uma configuração de relatório de inventário e recuperar seus REPORT_DETAIL_ID, use o comando gcloud storage insights inventory-reports details list:

   gcloud storage insights inventory-reports details list CONFIG_NAME \
     --filter=EXPRESSION \
     --page-size=SIZE \
     --sort-by=FIELD

   Substitua:

   • CONFIG_NAME pelo nome exclusivo da configuração de relatório de inventário, no formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID.

   • EXPRESSION por um filtro booleano aplicado a cada item de recurso a ser listado. Se a expressão for avaliada como verdadeira, o item será listado. Para ver mais detalhes e exemplos de expressões de filtro, execute $ gcloud topic filters.

   • SIZE pelo número máximo de recursos por página. O padrão é 50.

   • FIELD por uma lista separada por vírgulas de nomes de chaves de campos de recursos para ordenação. A ordem padrão é crescente. Adicione um prefixo ao campo com ~ para ordem decrescente nesse campo.

   Se for bem-sucedido, o comando retornará uma saída semelhante a esta:

   REPORT_DETAIL_ID            SNAPSHOT_TIME
   Report_2023-04-10T00-00     2023-04-10T00:53:03Z
   Report_2023-04-12T00-00     2023-04-12T00:52:54Z
   Report_2023-04-05T00-00     2023-04-05T00:53:01Z

2. Para fazer o download de um relatório de inventário, primeiro é necessário recuperar a propriedade reportPathPrefix do objeto ReportDetail. Para acessar o reportPathPrefix de um relatório, use o comando gcloud storage insights inventory-reports details describe:

   gcloud storage insights inventory-reports details describe REPORT_DETAIL_NAME

   Substitua REPORT_DETAIL_NAME pelo nome do relatório de inventário no formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID.

Download de fragmentos de relatório

Para fazer o download de um relatório de inventário que foi dividido em um ou mais fragmentos, conclua as seguintes etapas:

1. Faça o download do arquivo de manifesto do relatório de inventário usando o comando gcloud storage cp:

   gcloud storage cp gs://BUCKET_NAME/MANIFEST_FILE_NAME DOWNLOAD_PATH

   Substitua:

   • BUCKET_NAME pelo nome do bucket de destino.

   • MANIFEST_FILE_NAME pelo nome do arquivo de manifesto no bucket de destino, com a seguinte convenção de nomenclatura:

     REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json

     Em que:

     • REPORT_CONFIG_UUID é o UUID gerado automaticamente da configuração de relatório de inventário que gerou os fragmentos de relatório de que você quer fazer o download.

     • TARGET_DATETIME é a data e hora em que o relatório de inventário foi gerado.

     Por exemplo, fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

   • DOWNLOAD_PATH com o caminho para o sistema de arquivos em que você quer salvar o relatório de inventário. Por exemplo, ./example_report.csv.

2. Para fazer o download de um arquivo de fragmento, use o comando gcloud storage cp:

   gcloud storage cp gs://BUCKET_NAME/SHARD_FILE_NAME DOWNLOAD_PATH

   Substitua:

   • BUCKET_NAME pelo nome do bucket de destino.

   • SHARD_FILE_NAME pelo nome codificado por URL do arquivo de fragmento de que você quer fazer o download. Por exemplo, fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv.

   • DOWNLOAD_PATH com o caminho para o sistema de arquivos em que você quer salvar o relatório de inventário. Por exemplo, ./example_report.csv.

Bibliotecas de cliente

import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.ReportDetail;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class GetInventoryReportNames {


  public static void getInventoryReportNames(
      String projectId, String location, String reportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfig config =
          storageInsightsClient.getReportConfig(
              ReportConfigName.of(projectId, location, reportConfigUuid));
      String extension = config.hasCsvOptions() ? "csv" : "parquet";
      System.out.println(
          "You can use the Google Cloud Storage Client "
              + "to download the following objects from Google Cloud Storage:");
      for (ReportDetail reportDetail :
          storageInsightsClient.listReportDetails(config.getName()).iterateAll()) {
        for (long index = reportDetail.getShardsCount() - 1; index >= 0; index--) {
          System.out.println(reportDetail.getReportPathPrefix() + index + "." + extension);
        }
      }
    }
  }
}

APIs REST

Console

Para excluir a configuração de um relatório de inventário, siga estas etapas:

1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Na lista de buckets, clique no nome do bucket de origem que contém a configuração do relatório de inventário que você quer excluir.

3. Na página Detalhes do bucket do bucket de origem, clique na guia Relatórios de inventário.

4. Clique no nome da configuração do relatório de inventário que você quer excluir.

5. Na página Detalhes de configuração do relatório exibida, clique em Excluir delete.

Linha de comando

Para excluir uma configuração de relatório de inventário, use o comando gcloud storage insights inventory-reports delete:

gcloud storage insights inventory-reports delete CONFIG_NAME
  --force

Substitua CONFIG_NAME pelo nome exclusivo da configuração do relatório de inventário, no formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID.

A sinalização --force exclui os metadados de todos os relatórios de inventário gerados pela configuração de relatório de inventário especificada. Os objetos de relatório de inventário em si não serão excluídos.

Bibliotecas de cliente

import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class DeleteInventoryReportConfig {


  public static void deleteInventoryReportConfig(
      String projectId, String location, String inventoryReportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfigName name = ReportConfigName.of(projectId, location, inventoryReportConfigUuid);
      storageInsightsClient.deleteReportConfig(name);

      System.out.println("Deleted inventory report config with name " + name);
    }
  }
}

APIs REST