Importation en flux continu

L'importation en flux continu vous permet de mettre à jour les valeurs des caractéristiques en temps réel. Cette méthode est utile lorsque la disponibilité des dernières données pour la diffusion en ligne est une priorité. Par exemple, vous pouvez importer des données d'événements en streaming et, en quelques secondes, Vertex AI Feature Store (ancien) les rend disponibles pour des scénarios de diffusion en ligne.

Si vous devez remplir des données ou calculer des valeurs de caractéristiques par lot, utilisez l'importation par lot. Les requêtes d'importation par lot peuvent gérer des charges utiles plus volumineuses que les requêtes d'importation en flux continu. En revanche, leur traitement prend plus de temps.

Pour en savoir plus sur l'horodatage de valeur de caractéristique le plus ancien que vous pouvez importer, consultez la section Vertex AI Feature Store (ancien) de la page Quotas et limites. Vous ne pouvez pas importer de valeurs de caractéristiques pour lesquelles l'horodatage correspond à une date ou une heure futures.

Exemple d'utilisation

Une entreprise de vente en ligne peut offrir une expérience d'achat personnalisée en utilisant l'activité actuelle d'un utilisateur. Lorsque les utilisateurs parcourent le site Web, vous pouvez capturer leur activité dans un magasin de caractéristiques, puis diffuser rapidement ces informations pour les prédictions en ligne. Cette importation et cette diffusion en temps réel peuvent vous aider à présenter des recommandations utiles et pertinentes aux clients au cours de leur session d'achat.

Utilisation des nœuds de stockage en ligne

L'écriture de valeurs de caractéristiques dans un magasin en ligne utilise les ressources de processeur du magasin de caractéristiques (nœuds de stockage en ligne). Surveillez votre utilisation de processeur pour vérifier que la demande ne dépasse pas l'offre, ce qui peut entraîner des erreurs de diffusion. Nous vous recommandons d'utiliser un taux d'utilisation d'environ 70 % ou moins pour éviter ces erreurs. Si vous dépassez régulièrement cette valeur, vous pouvez mettre à jour votre magasin de caractéristiques pour augmenter le nombre de nœuds ou utiliser l'autoscaling. Pour plus d'informations, consultez la section Gérer les magasins de caractéristiques.

Importation en flux continu

Écrivez une valeur dans une caractéristique spécifique. La valeur de la caractéristique doit être incluse dans la requête d'importation. Vous ne pouvez pas diffuser de données directement à partir d'une source de données.

Si vous écrivez sur des caractéristiques récemment créées, attendez quelques minutes pour garantir que les nouvelles caractéristiques ont bien été propagées. Sans cela, une erreur resource not found risque de s'afficher.

Vous ne pouvez importer des valeurs de caractéristiques que pour une entité par écriture. Pour un projet et une région spécifiques, vous pouvez écrire simultanément des valeurs de caractéristiques pour plusieurs entités dans un maximum de 10 types d'entités différents. Cette limite inclut les requêtes d'importation en flux continu envoyées à tous les magasins de caractéristiques d'un projet et d'une région donnés. Si vous dépassez cette limite, il est possible que le Feature Store Vertex AI (ancien) n'écrive pas toutes vos données dans le magasin hors connexion. Dans ce cas, Vertex AI Feature Store (ancien) consigne l'erreur dans l'explorateur de journaux. Pour plus d'informations, consultez la section Surveiller les erreurs d'écriture de stockage hors connexion pour l'importation en flux continu.

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues

{
  "payloads": [
    {
      "entityId": "ENTITY_ID",
      "featureValues": {
        "FEATURE_ID": {
          "VALUE_TYPE": VALUE,
          "metadata": {"generate_time": "TIME_STAMP"}
        }
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues" | Select-Object -Expand Content

from google.cloud import aiplatform

def write_feature_values_sample(
    project: str, location: str, entity_type_id: str, featurestore_id: str
):

    aiplatform.init(project=project, location=location)

    my_entity_type = aiplatform.featurestore.EntityType(
        entity_type_name=entity_type_id, featurestore_id=featurestore_id
    )

    my_data = {
        "movie_01": {
            "title": "The Shawshank Redemption",
            "average_rating": 4.7,
            "genre": "Drama",
        },
    }

    my_entity_type.write_feature_values(instances=my_data)

Étapes suivantes

• Découvrez comment surveiller les erreurs d'écriture dans le stockage hors connexion pour l'importation en flux continu.
• Découvrez comment diffuser des caractéristiques via la diffusion en ligne ou la diffusion par lot.
• Résolvez les problèmes courants liés à Vertex AI Feature Store (ancien).