インベントリ レポートの作成と管理

JSON API

Google Cloud コンソールまたは Google Cloud CLI を使用して、Storage Insights API を有効にします。

JSON API

インベントリ レポートの構成を作成する手順は次のとおりです。

1. Authorization ヘッダーのアクセス トークンを生成するには、gcloud CLI のインストールと初期化を行います。

   OAuth 2.0 Playground を使用してアクセス トークンを作成し、Authorization ヘッダーに含めることもできます。

2. 次の情報が含まれる JSON ファイルを作成します。特に指定しない限り、すべてのフィールドは必須となります。

   {
     "display_name": "DISPLAY_NAME",
     "frequency_options": {
       "frequency": "FREQUENCY",
       "start_date": "START_DATE",
       "end_date": "END_DATE",
     },
     "csv_options": {
       "record_separator": "RECORD_SEPARATOR",
       "delimiter": "DELIMITER",
       "header_required": HEADER_REQUIRED
     },
     "object_metadata_report_options": {
        "metadata_fields": [
         "METADATA_FIELD",
         ...
       ],
       "storage_filters": {
         "bucket": "SOURCE_BUCKET_NAME"
       },
       "storage_destination_options": {
         "bucket": "DESTINATION_BUCKET_NAME",
         "destination_path": "DESTINATION_PATH"
       }
     }
   }

   次のように置き換えます。

   • DISPLAY_NAME は、インベントリ レポートの構成の名前で置き換えます。これは編集可能な名前です。256 文字以内にする必要があります。

   • FREQUENCY は、インベントリ レポートの生成頻度で置き換えます。値は DAILY か WEEKLY です。

   • START_DATE は、インベントリ レポートの生成を開始する日付（UTC）に置き換えます。今日の日付や過去の日付は指定できません。値は、キー day、month、year を含むオブジェクトにする必要があります。例: {"day": 15, "month": 8, "year": 2022}

   • END_DATE は、インベントリ レポートの生成を停止する日付（UTC）に置き換えます。値は、キー day、month、year を含むオブジェクトにする必要があります。たとえば、{"day": 15, "month": 9, "year": 2022} を指定した場合、2022 年 9 月 16 日以降、インベントリ レポートは生成されなくなります。

   • RECORD_SEPARATOR は、インベントリ レポートの CSV ファイルでレコードの区切りを表す文字で置き換えます。\n または \r\n のいずれかを指定する必要があります。デフォルト値は \n です。このフィールドは省略可能です。

   • DELIMITER は、インベントリ レポートの CSV ファイルでフィールドの区切りを表す文字で置き換えます。値には 1 つの文字を含めることができます。RECORD_SEPARATOR と同じ値にすることはできません。デフォルト値は , です。このフィールドは省略可能です。

   • HEADER_REQUIRED は、CSV ファイルにヘッダーを含めるかどうかを示すブール値で置き換えます。このフィールドは省略可能です。

   • SOURCE_BUCKET_NAME は、インベントリ レポートを生成するオブジェクトを含むソースバケットの名前に置き換えます。例: my_example_bucket

   • METADATA_FIELD は、インベントリ レポートに含めるメタデータ フィールドのカンマ区切りのリストに置き換えます。

   • DESTINATION_BUCKET_NAME は、インベントリ レポートが生成されて保存される転送先バケットの名前に置き換えます。例: my_example_destination_bucket

   • DESTINATION_PATH は、生成されたインベントリ レポートの宛先バケットのパスに置き換えます。このフィールドは省略可能です。

     バケット内のフォルダのパスを指定する場合は、パスにキーワードを使用できます。これらは、レポートの生成時に対応する値に置き換えられます。これにより、Hive パーティション分割形式でレポートを生成できるため、追加処理を行うことなく、BigQuery でのデータの読み込みやクエリを実行できます。

   たとえば、次のコードサンプルでは、「インベントリ レポートの構成例」という名前のインベントリ レポートの構成を作成します。この構成では毎週レポートを生成します。

   {
     "display_name": "Example inventory report configuration",
     "frequency_options": {
       "frequency": "WEEKLY",
       "start_date": {
         "day": 15,
         "month": 8,
         "year": 2022
       },
       "end_date": {
         "day": 15,
         "month": 9,
         "year": 2022
       },
     },
     "csv_options": {
       "record_separator": "\n",
       "delimiter": ",",
       "header_required": true
     },
     "object_metadata_report_options": {
        "metadata_fields": [
         "project",
         "name",
         "bucket"
       ],
       "storage_filters": {
         "bucket": "example_source_bucket"
       },
       "storage_destination_options": {
         "bucket": "example_destination_bucket"
       }
     }
   }

3. インベントリ レポートの構成を適用するには、cURL を使用して、Insert ReportConfig リクエストで JSON API を呼び出します。

   curl -X POST --data-binary @JSON_FILE_NAME \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

JSON API

インベントリ レポートの構成を編集する手順は次のとおりです。

1. Authorization ヘッダーのアクセス トークンを生成するには、gcloud CLI のインストールと初期化を行います。

   OAuth 2.0 Playground を使用してアクセス トークンを作成し、Authorization ヘッダーに含めることもできます。

2. 編集するインベントリ レポートの構成名を取得するには、cURL を使用して、Get ReportConfig リクエストで JSON API を呼び出します。

   curl --request GET \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   特定のソースバケットのすべてのインベントリ レポートの構成を取得するには、filter クエリ パラメータをリクエストに追加します。

   curl --request GET \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?filter=objectMetadataReportOptions.storageFilters.bucket=BUCKET_NAME" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。
   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。
   • BUCKET_NAME は、編集するインベントリ レポート構成を含むソースバケットの名前で置き換えます。

3. 編集するプロパティへの変更を含む JSON ファイルを作成します。次の例では、インベントリ レポートを Apache Parquet 形式で毎日生成するように、インベントリ レポートの構成を更新しています。

   {
     "ReportConfig": {
       "frequency_options": {
         "frequency": "DAILY"
       },
       "parquet_options": {
       }
     }

4. インベントリ レポートの構成を適用するには、cURL を使用して、Patch ReportConfig リクエストで JSON API を呼び出します。

   curl --request PATCH \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     --data-binary "@JSON_FILE_NAME.json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   • REPORT_CONFIG_UUID は、インベントリ レポートの構成の自動生成 UUID で置き換えます。

JSON API

1. Authorization ヘッダーのアクセス トークンを生成するには、gcloud CLI のインストールと初期化を行います。

   OAuth 2.0 Playground を使用してアクセス トークンを作成し、Authorization ヘッダーに含めることもできます。

2. 特定のロケーションのプロジェクト内のすべてのインベントリ レポートの構成を一覧表示するには、インベントリ レポート構成を一覧表示するリクエストを使用します。

   curl --request GET \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   特定のソースバケットのすべてのインベントリ レポートの構成を一覧表示するには、filter クエリ パラメータをリクエストに追加します。

   curl --request GET \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?filter=objectMetadataReportOptions.storageFilters.bucket=BUCKET_NAME" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   • BUCKET_NAME は、一覧表示するインベントリ レポート構成を含むソースバケットの名前で置き換えます。

JSON API

レポートを個別にダウンロードする

インベントリ レポートをダウンロードするには、次の手順を完了します。

1. Authorization ヘッダーのアクセス トークンを生成するには、gcloud CLI のインストールと初期化を行います。

   OAuth 2.0 Playground を使用してアクセス トークンを作成し、Authorization ヘッダーに含めることもできます。

2. 次のように、cURL でインベントリ レポートの詳細を一覧表示するリクエストを指定して JSON API を呼び出し、インベントリ レポートの構成で生成されたすべてのインベントリ レポートを一覧表示します。

   curl --request GET \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   • REPORT_CONFIG_UUID は、ダウンロードするレポートを生成したインベントリ レポート構成の自動生成 UUID で置き換えます。

3. 個々のレポートの詳細を取得するには、次のように cURL で Get ReportDetails リクエストを指定して JSON API を呼び出します。

   curl --request GET \
   "http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   • REPORT_CONFIG_UUID は、ダウンロードするレポートを生成したインベントリ レポート構成の自動生成 UUID で置き換えます。

   • REPORT_DETAIL_ID は、ダウンロードするインベントリ レポートの名前で置き換えます。

レポート シャードをダウンロードする

1 つ以上のシャードに分割されたインベントリ レポートをダウンロードするには、次の手順を完了します。

1. Authorization ヘッダーのアクセス トークンを生成するには、gcloud CLI のインストールと初期化を行います。

   OAuth 2.0 Playground を使用してアクセス トークンを作成し、Authorization ヘッダーに含めることもできます。

2. インベントリ レポートのマニフェスト ファイルをダウンロードするには、cURL を使用して GET Object リクエストで JSON API を呼び出します。

   curl -X GET \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     "http://storage.googleapis.com/storage/v1/b/BUCKET_NAME/o/MANIFEST_FILE_NAME?alt=media" \

   次のように置き換えます。

   • BUCKET_NAME は、宛先バケットの名前に置き換えます。

   • MANIFEST_FILE_NAME は、転送先バケットのマニフェスト ファイルの名前に置き換えます。次の命名規則を使用します。

     REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json

     ここで

     • REPORT_CONFIG_UUID は、ダウンロードするレポート シャードを生成したインベントリ レポート構成の自動生成 UUID です。

     • TARGET_DATETIME は、インベントリ レポートが生成された日付です。

   例: fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json。

   マニフェスト ファイルの report_shards_file_names フィールドに、ダウンロード可能なインベントリ レポート シャードの名前が含まれています。

3. インベントリ レポートのシャード ファイルをダウンロードするには、curl で Get Object リクエストを指定して Cloud Storage JSON API を呼び出します。

   curl -X GET \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     -o "DOWNLOAD_PATH" \
     "http://storage.googleapis.com/storage/v1/b/BUCKET_NAME/o/SHARD_FILE_NAME?alt=media"

   次のように置き換えます。

   • DOWNLOAD_PATH は、オブジェクトを保存するローカル ファイル システムのパスに置き換えます。例: Desktop/dog.png

   • BUCKET_NAME は、インベントリ レポートを含む宛先バケットの名前で置き換えます。例: my-bucket

   • SHARD_FILE_NAME は、ダウンロードするシャード ファイルの URL エンコードされた名前に置き換えます。例: fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv

JSON API

インベントリ レポートの構成を削除する手順は次のとおりです。

1. Authorization ヘッダーのアクセス トークンを生成するには、gcloud CLI のインストールと初期化を行います。

   OAuth 2.0 Playground を使用してアクセス トークンを作成し、Authorization ヘッダーに含めることもできます。

2. インベントリ レポートの構成を削除するには、cURL を使用して、Delete ReportConfig リクエストで JSON API を呼び出します。

   curl --request DELETE \
   'http://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID?force=true' \
     --header 'Authorization: Bearer $(gcloud auth print-access-token)' \
     --header 'Accept: application/json' \
     --header 'Content-Type: application/json' \
   

   次のように置き換えます。

   • YOUR_PROJECT は、ソースバケットと宛先バケットが存在するプロジェクトの名前で置き換えます。

   • LOCATION は、ソースバケットと宛先バケットのロケーションで置き換えます。例: us-west1。

   • REPORT_CONFIG_UUID は、削除するインベントリ レポート構成の自動生成 UUID で置き換えます。

force クエリ パラメータは、指定されたインベントリ レポートの構成によって生成されたインベントリ レポートのメタデータをすべて削除します。インベントリ レポート オブジェクト自体は削除されません。