Comment Google Security Operations enrichit les données d'événements et d'entités

Ce document décrit comment la suite Opérations de sécurité de Google enrichit les données, ainsi que les champs UDM (Unified Data Model) dans lesquels les données sont stockées.

Pour permettre une enquête de sécurité, la suite Opérations de sécurité Google ingère des données contextuelles provenant de différentes sources, les analyse et fournit du contexte supplémentaire sur les artefacts d'un environnement client. Les analystes peuvent utiliser des données enrichies en contexte dans les règles du moteur de détection, les recherches d'investigation ou les rapports.

La suite Opérations de sécurité de Google effectue les types d'enrichissement suivants:

• Enrichit les entités à l'aide du graphique d'entités et par fusion.
• Calcule et enrichit chaque entité avec une statistique de prévalence indiquant sa popularité dans l'environnement.
• Calcule la première fois que certains types d'entités ont été vus dans l'environnement, ou la dernière fois.
• Enrichit les entités avec des informations issues des listes de menaces de la navigation sécurisée.
• Enrichit les événements à l'aide de données de géolocalisation.
• Enrichit les entités avec des données WHOIS.
• Enrichit les événements avec les métadonnées des fichiers VirusTotal.
• Enrichit les entités avec des données de relations VirusTotal.
• Ingérer et stocker les données Google Cloud Threat Intelligence

Les données enrichies issues de WHOIS, de la navigation sécurisée, de GCTI Threat Intelligence, des métadonnées VirusTotal et de la relation VirusTotal sont identifiées par les variables event_type, product_name et vendor_name. Lorsque vous créez une règle qui utilise ces données enrichies, nous vous recommandons d'y inclure un filtre qui identifie le type d'enrichissement spécifique à inclure. Ce filtre permet d'améliorer les performances de la règle. Par exemple, incluez les champs de filtre suivants dans la section events de la règle qui associe les données WHOIS.

$enrichment.graph.metadata.entity_type = "DOMAIN_NAME"
$enrichment.graph.metadata.product_name = "WHOISXMLAPI Simple Whois"
$enrichment.graph.metadata.vendor_name = "WHOIS"

Enrichir les entités à l'aide du graphique d'entités et de la fusion

Le graphique des entités identifie les relations entre les entités et les ressources de votre environnement. Lorsque des entités de sources différentes sont ingérées dans la suite Opérations de sécurité de Google, le graphique d'entité gère une liste d'ajustesse basée sur la relation entre les entités. Le graphique d'entité enrichit le contexte en effectuant une déduplication et une fusion.

Lors de la déduplication, les données redondantes sont éliminées et des intervalles sont formés pour créer une entité commune. Prenons l'exemple de deux entités e1 et e2 avec les horodatages t1 et t2 respectivement. Les entités e1 et e2 sont dédupliquées, et les horodatages différents ne sont pas utilisés lors de la déduplication. Les champs suivants ne sont pas utilisés lors de la déduplication:

• collected_timestamp
• creation_timestamp
• interval

Lors de la fusion, des relations entre les entités sont créées pendant un intervalle de temps d'une journée. Prenons l'exemple d'un enregistrement d'entité de user A qui a accès à un bucket Cloud Storage. Un autre enregistrement d'entité de user A possède un appareil. Après la fusion, ces deux entités forment une seule entité user A ayant deux relations. Une relation est que user A a accès au bucket Cloud Storage, et l'autre relation est que user A est propriétaire de l'appareil. La suite Google Opérations de sécurité effectue une période d'analyse de cinq jours lorsqu'elle crée des données de contexte d'entité. Cela gère les données arrivant tardivement et crée une durée de vie implicite sur les données de contexte d'entité.

Google Security Operations utilise les alias pour enrichir les données de télémétrie et les graphiques d'entité pour enrichir les entités. Les règles du moteur de détection associent les entités fusionnées aux données de télémétrie enrichies pour fournir des analyses contextuelles.

Un événement contenant un nom d'entité est considéré comme une entité. Voici quelques types d'événements et les types d'entités correspondants:

• ASSET_CONTEXT correspond à ASSET.
• RESOURCE_CONTEXT correspond à RESOURCE.
• USER_CONTEXT correspond à USER.
• GROUP_CONTEXT correspond à GROUP.

Le graphique d'entité fait la distinction entre les données contextuelles et les indicateurs de compromission (IOC) à l'aide des informations sur la menace.

Lorsque vous utilisez des données enrichies en contexte, tenez compte du comportement suivant dans les graphiques d'entités:

• N'ajoutez pas d'intervalles dans l'entité. Laissez le graphique d'entité en créer. En effet, les intervalles sont générés lors de la déduplication, sauf indication contraire.
• Si les intervalles sont spécifiés, seuls les mêmes événements sont dédupliqués, et l'entité la plus récente est conservée.
• Pour garantir que les règles actives et les rétrorecherches fonctionnent comme prévu, les entités doivent être ingérées au moins une fois par jour.
• Si les entités ne sont pas ingérées quotidiennement et ingérées une seule fois tous les deux jours ou plus, les règles actives peuvent fonctionner comme prévu. Toutefois, les recherches rétroactives peuvent perdre le contexte de l'événement.
• Si les entités sont ingérées plusieurs fois par jour, elles sont dédupliquées en une seule entité.
• Si les données d'événement sont manquantes pour une journée, celles du jour précédent sont utilisées temporairement pour garantir le bon fonctionnement des règles actives.

Le graphique d'entités fusionne également les événements ayant des identifiants similaires pour obtenir une vue consolidée des données. Cette fusion se produit en fonction de la liste d'identifiants suivante:

• Asset
  • entity.asset.product_object_id
  • entity.asset.hostname
  • entity.asset.asset_id
  • entity.asset.mac
• User
  • entity.user.product_object_id
  • entity.user.userid
  • entity.user.windows_sid
  • entity.user.email_addresses
  • entity.user.employee_id
• Resource
  • entity.resource.product_object_id
  • entity.resource.name
• Group
  • entity.group.product_object_id
  • entity.group.email_addresses
  • entity.group.windows_sid

Calculer des statistiques de prévalence

Google Security Operations effectue des analyses statistiques sur les données existantes et entrantes, et enrichit les enregistrements de contexte d'entité avec des métriques liées à la prévalence.

La prévalence est une valeur numérique indiquant le degré de popularité d'une entité. La popularité est définie par le nombre d'éléments accédant à un artefact, comme un domaine, un hachage de fichier ou une adresse IP. Plus le nombre est élevé, plus l'entité est populaire. Par exemple, google.com présente des valeurs de prévalence élevées, car il est fréquemment consulté. Si un domaine n'est pas souvent consulté, ses valeurs de prévalence seront inférieures. Les entités plus populaires sont généralement moins susceptibles d'être malveillantes.

Ces valeurs enrichies sont compatibles avec le domaine, l'adresse IP et le fichier (hachage). Les valeurs sont calculées et stockées dans les champs suivants.

Les statistiques de prévalence de chaque entité sont mises à jour quotidiennement. Les valeurs sont stockées dans un contexte d'entité distinct pouvant être utilisé par Detect Engine, mais n'apparaissent pas dans les vues d'investigation de Google Security Operations ni dans la recherche UDM.

Vous pouvez utiliser les champs suivants lorsque vous créez des règles de moteur de détection.

Type d'entité	Champs UDM
Domaine	entity.domain.prevalence.day_count entity.domain.prevalence.day_max entity.domain.prevalence.day_max_sub_domains entity.domain.prevalence.rolling_max entity.domain.prevalence.rolling_max_sub_domains
Fichier (hachage)	entity.file.prevalence.day_count entity.file.prevalence.day_max entity.file.prevalence.rolling_max
Adresse IP	entity.artifact.prevalence.day_count entity.artifact.prevalence.day_max entity.artifact.prevalence.rolling_max

Les valeurs "day_max" et "rolling_max" sont calculées différemment. Les champs sont calculés comme suit:

• day_max correspond au score de prévalence maximal de l'artefact au cours de la journée, où une journée est définie de 00:00:00 AM à 23:59:59 UTC.
• rolling_max correspond au score de prévalence maximal par jour (c'est-à-dire day_max) de l'artefact au cours de la période précédente de 10 jours.
• day_count est utilisé pour calculer rolling_max. Il correspond toujours à la valeur 10.

Lorsqu'elle est calculée pour un domaine, la différence entre day_max et day_max_sub_domains (et rolling_max et rolling_max_sub_domains) est la suivante:

• rolling_max et day_max représentent le nombre d'adresses IP internes uniques quotidiennes accédant à un domaine donné (hors sous-domaines).
• rolling_max_sub_domains et day_max_sub_domains représentent le nombre d'adresses IP internes uniques accédant à un domaine donné (y compris les sous-domaines).

Les statistiques de prévalence sont calculées sur les données d'entités nouvellement ingérées. Les calculs ne sont pas effectués rétroactivement sur des données précédemment ingérées. Le calcul et le stockage des statistiques prennent environ 36 heures.

Calculer l'heure de la première et de la dernière occurrences d'une entité

La suite Opérations de sécurité de Google effectue des analyses statistiques sur les données entrantes et enrichit les enregistrements de contexte d'entité avec la date et l'heure de la première et de la dernière occurrences d'une entité. Le champ first_seen_time stocke la date et l'heure auxquelles l'entité a été vue pour la première fois dans l'environnement client. Le champ last_seen_time stocke la date et l'heure de la dernière observation.

Étant donné que plusieurs indicateurs (champs UM) peuvent identifier un élément ou un utilisateur, la première occurrence est la première fois que l'un des indicateurs qui identifient l'utilisateur ou l'élément a été vu dans l'environnement du client.

Tous les champs UAM qui décrivent un élément sont les suivants:

• entity.asset.hostname
• entity.asset.ip
• entity.asset.mac
• entity.asset.asset_id
• entity.asset.product_object_id

Tous les champs UDM qui décrivent un utilisateur sont les suivants:

• entity.user.windows_sid
• entity.user.product_object_id
• entity.user.userid
• entity.user.employee_id
• entity.user.email_addresses

L'heure de la première et de la dernière activité permet à un analyste de corréler une activité qui s'est produite après la première occurrence d'un domaine, d'un fichier (hachage), d'un élément, d'un utilisateur ou d'une adresse IP, ou qui a cessé de se produire après la dernière occurrence du domaine, du fichier (hachage) ou de l'adresse IP.

Les champs first_seen_time et last_seen_time sont renseignés par des entités qui décrivent un domaine, une adresse IP et un fichier (hachage). Pour les entités qui décrivent un utilisateur ou un élément, seul le champ first_seen_time est renseigné. Ces valeurs ne sont pas calculées pour les entités qui décrivent d'autres types, tels qu'un groupe ou une ressource.

Les statistiques sont calculées pour chaque entité sur tous les espaces de noms. Google Security Operations ne calcule pas les statistiques pour chaque entité dans les espaces de noms individuels. Ces statistiques ne sont actuellement pas exportées vers le schéma events des opérations de sécurité Google dans BigQuery.

Les valeurs enrichies sont calculées et stockées dans les champs UM suivants:

Type d'entité	Champs UDM
Domaine	entity.domain.first_seen_time entity.domain.last_seen_time
Fichier (hachage)	entity.file.first_seen_time entity.file.last_seen_time
Adresse IP	entity.artifact.first_seen_time entity.artifact.last_seen_time
Élément	entity.asset.first_seen_time
Utilisateur	entity.user.first_seen_time

Enrichir des événements à l'aide de données de géolocalisation

Les données de journaux entrantes peuvent inclure des adresses IP externes sans informations d'emplacement correspondantes. Cela est courant lorsqu'un événement enregistre des informations sur l'activité d'un appareil en dehors d'un réseau d'entreprise. Par exemple, un événement de connexion à un service cloud contient une adresse IP source ou client basée sur l'adresse IP externe d'un appareil renvoyé par la NAT de l'opérateur.

Google Security Operations fournit des données enrichies par la géolocalisation pour les adresses IP externes afin d'améliorer la détection des règles et de fournir davantage de contexte pour les enquêtes. Par exemple, l'équipe Opérations de sécurité Google peut utiliser une adresse IP externe pour enrichir l'événement d'informations sur le pays (les États-Unis, par exemple), un État spécifique (comme l'Alaska) et le réseau dans lequel se trouve l'adresse IP (comme le numéro ASN et le nom de l'opérateur).

Google Security Operations utilise les données de localisation fournies par Google pour fournir une position géographique et des informations réseau approximatives pour une adresse IP. Vous pouvez écrire des règles Detect Engine en fonction de ces champs dans les événements. Les données d'événement enrichies sont également exportées vers BigQuery, où elles peuvent être utilisées dans les tableaux de bord et les rapports Google Security Operations.

Les adresses IP suivantes ne sont pas enrichies:

• les espaces d'adresses IP privés RFC 1918, car ils sont internes au réseau d'entreprise.
• Espace d'adressage IP de multidiffusion RFC 5771, car les adresses de multidiffusion n'appartiennent pas à un seul emplacement.
• Adresses locales uniques IPv6
• Adresses IP des services Google Cloud. à l'exception des adresses IP externes Google Cloud Compute Engine, qui sont enrichies.

Google Security Operations enrichit les champs UDM suivants avec des données de géolocalisation:

• principal
• target
• src
• observer

Type de données	Champ UDM
Emplacement (États-Unis, par exemple)	( principal | target | src | observer ).ip_geo_artifact.location.country_or_region
État (par exemple, New York)	( principal | target | src | observer ).ip_geo_artifact.location.state
Longitude	( principal | target | src | observer ).ip_geo_artifact.location.region_coordinates.longitude
Latitude	( principal | target | src | observer ).ip_geo_artifact.location.region_coordinates.latitude
ASN (numéro de système autonome)	( principal | target | src | observer ).ip_geo_artifact.network.asn
Nom du transporteur	( principal | target | src | observer ).ip_geo_artifact.network.carrier_name
Domaine DNS	( principal | target | src | observer ).ip_geo_artifact.network.dns_domain
Nom de l'organisation	( principal | target | src | observer ).ip_geo_artifact.network.organization_name

L'exemple suivant montre le type d'informations géographiques à ajouter à un événement UDM avec une adresse IP marquée aux Pays-Bas:

Champ UDM	Valeur
principal.ip_geo_artifact.location.country_or_region	Netherlands
principal.ip_geo_artifact.location.region_coordinates.latitude	52.132633
principal.ip_geo_artifact.location.region_coordinates.longitude	5.291266
principal.ip_geo_artifact.network.asn	8455
principal.ip_geo_artifact.network.carrier_name	schuberg philis

Incohérences

La technologie propriétaire de géolocalisation par IP de Google utilise une combinaison de données réseau, ainsi que d'autres données et méthodes, pour fournir à nos utilisateurs l'emplacement des adresses IP et la résolution du réseau. D'autres organisations peuvent utiliser des signaux ou des méthodes différents, ce qui peut parfois conduire à des résultats différents.

En cas d'incohérence dans les résultats de géolocalisation par IP fournis par Google, veuillez envoyer une demande au service client afin que nous puissions analyser le problème et corriger, le cas échéant, nos enregistrements.

Enrichir des entités avec des informations issues des listes de menaces de la navigation sécurisée

L'équipe Opérations de sécurité Google ingère des données issues de la navigation sécurisée concernant les hachages de fichiers. Les données de chaque fichier sont stockées en tant qu'entité et fournissent des informations supplémentaires sur le fichier. Les analystes peuvent créer des règles de détection Engine qui interrogent les données de contexte de cette entité pour créer des analyses contextuelles.

Les informations suivantes sont stockées avec l'enregistrement de contexte d'entité.

Champ UDM	Description
entity.metadata.product_entity_id	Identifiant unique de l'entité.
entity.metadata.entity_type	Cette valeur est FILE, ce qui indique que l'entité décrit un fichier.
entity.metadata.collected_timestamp	Date et heure auxquelles l'entité a été observée ou l'événement s'est produit.
entity.metadata.interval	Stocke les heures de début et de fin auxquelles ces données sont valides. Étant donné que le contenu de la liste des menaces change au fil du temps, start_time et end_time reflètent l'intervalle de temps pendant lequel les données de l'entité sont valides. Par exemple, un hachage de fichier a été identifié comme malveillant ou suspect entre start_time and end_time..
entity.metadata.threat.category	Il s'agit du service Opérations de sécurité Google SecurityCategory. Ce champ est défini sur une ou plusieurs des valeurs suivantes: SOFTWARE_MALICIOUS: indique que la menace est liée à un logiciel malveillant. SOFTWARE_PUA: indique que la menace est liée à un logiciel indésirable.
entity.metadata.threat.severity	Il s'agit du service Opérations de sécurité Google ProductSeverity. Si la valeur est CRITICAL, cela signifie que l'artefact semble malveillant. Si la valeur n'est pas spécifiée, l'indice de confiance ne suffit pas pour indiquer que l'artefact est malveillant.
entity.metadata.product_name	Stocke la valeur Google Safe Browsing.
entity.file.sha256	Valeur de hachage SHA256 du fichier.

Enrichir des entités avec des données WHOIS

Google Security Operations ingère les données WHOIS tous les jours. Lors de l'ingestion des données entrantes des appareils clients, les opérations de sécurité Google évaluent les domaines des données client par rapport aux données WHOIS. En cas de correspondance, la suite Opérations de sécurité de Google stocke les données WHOIS associées avec l'enregistrement d'entité du domaine. Pour chaque entité, où entity.metadata.entity_type = DOMAIN_NAME, la suite Opérations de sécurité Google l'enrichit avec des informations WHOIS.

La suite Google Security Operations insère les données WHOIS enrichies dans les champs suivants de l'enregistrement d'entité:

• entity.domain.admin.attribute.labels
• entity.domain.audit_update_time
• entity.domain.billing.attribute.labels
• entity.domain.billing.office_address.country_or_region
• entity.domain.contact_email
• entity.domain.creation_time
• entity.domain.expiration_time
• entity.domain.iana_registrar_id
• entity.domain.name_server
• entity.domain.private_registration
• entity.domain.registrant.company_name
• entity.domain.registrant.office_address.state
• entity.domain.registrant.office_address.country_or_region
• entity.domain.registrant.email_addresses
• entity.domain.registrant.user_display_name
• entity.domain.registrar
• entity.domain.registry_data_raw_text
• entity.domain.status
• entity.domain.tech.attribute.labels
• entity.domain.update_time
• entity.domain.whois_record_raw_text
• entity.domain.whois_server
• entity.domain.zone

Pour obtenir une description de ces champs, consultez le document Liste de champs pour les modèles de données unifiés.

Ingérer et stocker des données Google Cloud Threat Intelligence

Google Security Operations ingère des données issues des sources de données Google Cloud Threat Intelligence (GCTI) qui vous fournissent des informations contextuelles que vous pouvez utiliser lorsque vous examinez l'activité de votre environnement. Vous pouvez interroger les sources de données suivantes:

• Nœuds de sortie GCTI Tor: adresses IP appelées nœuds de sortie Tor.
• GCTI Benign Binaries: fichiers qui font partie de la distribution d'origine du système d'exploitation ou qui ont été mis à jour par un correctif officiel du système d'exploitation. Certains binaires officiels du système d'exploitation qui ont été détournés par un adversaire dans le cadre d'attaques courantes dans le monde réel sont exclus de cette source de données, tels que ceux axés sur les vecteurs d'entrée initiales.

• GCTI Remote Access Tools: fichiers fréquemment utilisés par des acteurs malintentionnés. Ces outils sont généralement des applications légitimes qui sont parfois utilisées de manière abusive pour se connecter à distance à des systèmes compromis.

  Ces données contextuelles sont stockées à l'échelle mondiale en tant qu'entités. Vous pouvez interroger les données à l'aide des règles du moteur de détection. Incluez les valeurs et champs UDM suivants dans la règle pour interroger ces entités globales:

• graph.metadata.vendor_name = Google Cloud Threat Intelligence

• graph.metadata.product_name = GCTI Feed

Dans ce document, l'espace réservé <variable_name> représente le nom de variable unique utilisé dans une règle pour identifier un enregistrement UDM.

Sources de données Threat Intelligence Google Cloud temporisées ou intemporelles

Les sources de données Google Cloud Threat Intelligence sont chronométrées ou intemporelles.

Les sources de données temporisées sont associées à une période associée à chaque entrée. Cela signifie que si une détection est générée le premier jour, la même détection devrait l'être pour le jour 1 lors d'une rétro-recherche.

Aucune période n'est associée aux sources de données intemporelles. En effet, seul le dernier ensemble de données doit être pris en compte. Les sources de données intemporelles sont fréquemment utilisées pour des données telles que les hachages de fichiers qui ne sont pas censés changer. Si aucune détection n'est générée le premier jour, une détection peut être générée le deuxième jour lors d'une rétro-traque, car une nouvelle entrée a été ajoutée.

Données sur les adresses IP des nœuds de sortie Tor

Google Security Operations ingère et stocke les adresses IP connues sous le nom de nœuds de sortie Tor. Les nœuds de sortie Tor sont les points par lesquels le trafic quitte le réseau Tor. Les informations ingérées à partir de cette source de données sont stockées dans les champs UDM suivants. Les données de cette source sont chronométrées.

Champ UDM	Description
<variable_name>.graph.metadata.vendor_name	Stocke la valeur Google Cloud Threat Intelligence.
<variable_name>.graph.metadata.product_name	Stocke la valeur GCTI Feed.
<variable_name>.graph.metadata.threat.threat_feed_name	Stocke la valeur Tor Exit Nodes.
<variable_name>.graph.entity.artifact.ip	Stocke l'adresse IP ingérée à partir de la source de données GCTI.

Données sur les fichiers inoffensifs du système d'exploitation

Google Security Operations ingère et stocke les hachages de fichiers de la source de données GCTI Benign Binaries. Les informations ingérées à partir de cette source de données sont stockées dans les champs UDM suivants. Les données de cette source sont intemporelles.

Champ UDM	Description
<variable_name>.graph.metadata.vendor_name	Stocke la valeur Google Cloud Threat Intelligence.
<variable_name>.graph.metadata.product_name	Stocke la valeur GCTI Feed.
<variable_name>.graph.metadata.threat.threat_feed_name	Stocke la valeur Benign Binaries.
<variable_name>.graph.entity.file.sha256	Stocke la valeur de hachage SHA256 du fichier.
<variable_name>.graph.entity.file.sha1	Stocke la valeur de hachage SHA1 du fichier.
<variable_name>.graph.entity.file.md5	Stocke la valeur de hachage MD5 du fichier.

Données sur les outils d'accès à distance

Les outils d'accès à distance incluent les hachages de fichiers pour les outils d'accès à distance connus, tels que les clients VNC, fréquemment utilisés par des acteurs malveillants. Ces outils sont généralement des applications légitimes qui sont parfois utilisées de manière abusive pour se connecter à distance à des systèmes compromis. Les informations ingérées à partir de cette source de données sont stockées dans les champs UDM suivants. Les données de cette source sont intemporelles.

Champ UDM	Description
.graph.metadata.vendor_name	Stocke la valeur Google Cloud Threat Intelligence.
.graph.metadata.product_name	Stocke la valeur GCTI Feed.
.graph.metadata.threat.threat_feed_name	Stocke la valeur Remote Access Tools.
.graph.entity.file.sha256	Stocke la valeur de hachage SHA256 du fichier.
.graph.entity.file.sha1	Stocke la valeur de hachage SHA1 du fichier.
.graph.entity.file.md5	Stocke la valeur de hachage MD5 du fichier.

Enrichir des événements avec les métadonnées des fichiers VirusTotal

La suite Opérations de sécurité de Google enrichit les hachages de fichiers en événements UDM et fournit du contexte supplémentaire lors d'une enquête. Les événements UDM sont enrichis par la création d'alias de hachage dans un environnement client. Les alias de hachage combinent tous les types de hachages de fichiers et fournissent des informations sur ce hachage lors d'une recherche.

L'intégration des métadonnées de fichiers VirusTotal et l'enrichissement des relations avec Google SecOps permettent d'identifier les modèles d'activités malveillantes et de suivre les mouvements de logiciels malveillants sur un réseau.

Un journal brut fournit des informations limitées sur le fichier. VirusTotal enrichit l'événement avec des métadonnées de fichier pour fournir une copie des hachages incorrects, ainsi que des métadonnées sur les fichiers concernés. Les métadonnées incluent des informations telles que les noms de fichiers, les types, les fonctions importées et les balises. Vous pouvez utiliser ces informations dans le moteur de recherche et de détection UDM avec YARA-L pour comprendre les événements de fichiers incorrects et en général lors de la recherche des menaces. Un exemple de cas d'utilisation consiste à détecter les modifications apportées au fichier d'origine, qui, à son tour, importerait les métadonnées du fichier pour détecter les menaces.

Les informations suivantes sont stockées avec l'enregistrement. Pour obtenir la liste de tous les champs UDM, consultez Liste de champs du modèle de données unifié.