FeatureStore in VertexAI -Google Cloud Platform

Vertex AI Feature Store

Google Cloud ha lanciato di recente VertexAI e come parte di questo FeatureStore è stato rilasciato. Secondo la definizione ufficiale, " Vertex Feature Store (Feature Store) fornisce un repository centralizzato per l'organizzazione, l'archiviazione e la fornitura di funzionalità ML. “Puoi leggere di più qui .

Feature Store utilizza un modello di dati di serie temporali per archiviare una serie di valori per le funzionalità, consentendo a Feature Store di mantenere i valori delle funzionalità man mano che cambiano nel tempo. Feature Store organizza le risorse in modo gerarchico nel seguente ordine: Featurestore -> EntityType -> Feature. È necessario definire e creare queste risorse prima di poter inserire i dati in Feature Store.

Facciamo un esempio e vediamo come possiamo configurare il featurestore usando VertexAI. Vedremo come possono essere queste caratteristiche:

  1. Popolato all'interno del featurestore.
  2. Servito online da featurestore con bassa latenza.
  3. Batch esportato per l'addestramento del modello.
  4. Cercato all'interno del featurestore.

user_pseudo_id
country
operating_system
language
cnt_user_engagement
cnt_level_start_quickplay
cnt_level_end_quickplay
cnt_level_complete_quickplay
cnt_level_reset_quickplay
cnt_post_score
cnt_spend_virtual_currency
cnt_ad_reward
cnt_challenge_a_friend
cnt_completed_5_levels
cnt_use_extra_steps
user_first_engagement
month
julianday
dayofweek
timestamp

Iniziamo creando il featurestore.

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
FEATURESTORE_ID="gamingusers"
cat <<EOM > request.json
{
  "online_serving_config": {
    "fixed_node_count": 1
  },
  "labels": {
    "environment": "gamingusers"
  }
}
EOM
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores?featurestoreId=${FEATURESTORE_ID}

{
  "name": "projects/<<projectnumber>>/locations/us-central1/featurestores/gamingusers/operations/5740181047589470208",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.CreateFeaturestoreOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-06-13T19:49:41.432926Z",
      "updateTime": "2021-06-13T19:49:41.432926Z"
    }
  }
}

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
FEATURESTORE_ID="gamingusers"
ENTITY_TYPE_ID="users"
cat <<EOM > request.json
{
  "description": "Users Entity Type",
  "monitoringConfig": {
    "snapshotAnalysis": {
      "monitoringInterval": "3600s"
    }
  }
}
EOM
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores/${FEATURESTORE_ID}/entityTypes?entityTypeId=${ENTITY_TYPE_ID}

{
  "name": "projects/<<projectid>>/locations/us-central1/featurestores/gamingusers/entityTypes/users/operations/8100067252331610112",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.CreateEntityTypeOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-06-13T19:56:56.466253Z",
      "updateTime": "2021-06-13T19:56:56.466253Z"
    }
  }
}

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
FEATURESTORE_ID="gamingusers"
ENTITY_TYPE_ID="users"
cat <<EOM > request.json
{
  "requests": [
    {
      "feature": {
        "description": "User Engagement",
        "valueType": "INT64",
        "monitoringConfig": {
          "snapshotAnalysis": {
            "monitoringInterval": "3600s"
          }
        }
      },
      "featureId": "cnt_user_engagement"
    },
    {
      "feature": {
        "description": "Level start quickplay",
        "valueType": "INT64",
        "monitoringConfig": {
          "snapshotAnalysis": {
            "monitoringInterval": "3600s"
          }
        }
      },
      "featureId": "cnt_level_start_quickplay"
    }
  ]
}
EOM
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores/${FEATURESTORE_ID}/entityTypes/${ENTITY_TYPE_ID}/features:batchCreate

{
  "name": "projects/<<projectid>>/locations/us-central1/featurestores/gamingusers/operations/6888598952568946688",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.BatchCreateFeaturesOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-06-13T20:07:08.755864Z",
      "updateTime": "2021-06-13T20:07:08.755864Z"
    }
  }
}

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
FEATURESTORE_ID="gamingusers"
ENTITY_TYPE_ID="users"
cat <<EOM > request.json
{
  "entityIdField": "user_pseudo_id",
  "featureTimeField": "timestamp",
  "bigquerySource": { "inputUri": "bq://<<projectid>>.<<dataset>>.train_tab" },
  "featureSpecs": [{
    "id": "cnt_level_start_quickplay",
    "sourceField": "cnt_level_start_quickplay"
  },{
    "id": "cnt_user_engagement",
    "sourceField": "cnt_user_engagement"
  }],
  "workerCount": 1
}
EOM
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores/${FEATURESTORE_ID}/entityTypes/${ENTITY_TYPE_ID}:importFeatureValues

Spostamento di funzionalità da BigQuery a Featurestore

Ora esaminiamo le funzionalità del server da questo negozio di funzionalità. Useremo uno dei valori user_pseudo_id per recuperare le funzionalità dal functionstore.

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
FEATURESTORE_ID="gamingusers"
ENTITY_TYPE_ID="users"
cat <<EOM > request.json
{
  "entityId": "4AEEE533D8FAED4AD0A9227618CD296B",
  "featureSelector": {
    "idMatcher": {
      "ids": ["cnt_level_start_quickplay", "cnt_user_engagement"]
    }
  }
}
EOM
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores/${FEATURESTORE_ID}/entityTypes/${ENTITY_TYPE_ID}:readFeatureValues

{
  "header": {
    "entityType": "projects/<<projectid>>/locations/us-central1/featurestores/gamingusers/entityTypes/users",
    "featureDescriptors": [
      {
        "id": "cnt_level_start_quickplay"
      },
      {
        "id": "cnt_user_engagement"
      }
    ]
  },
  "entityView": {
    "entityId": "4AEEE533D8FAED4AD0A9227618CD296B",
    "data": [
      {
        "value": {
          "int64Value": "111",
          "metadata": {
            "generateTime": "2021-06-08T20:40:03.847Z"
          }
        }
      },
      {
        "value": {
          "int64Value": "294",
          "metadata": {
            "generateTime": "2021-06-08T20:40:03.847Z"
          }
        }
      }
    ]
  }
}

È necessario creare un file CSV che contenga i dettagli degli entityId per i quali si desidera recuperare le funzionalità e il corrispondente timestamp temporale per il quale è necessario recuperare i valori delle funzionalità. Il nome dell'intestazione per la colonna deve essere entityType e timestamp.

Creiamo il file CSV di esempio con user_pseudo_id per il quale vogliamo recuperare le funzionalità.

%%bash
cat <<EOM > csvReadInstances.csv
users,timestamp
"4AEEE533D8FAED4AD0A9227618CD296B",2021-07-15T08:28:14Z
"1BE4F29852B390FC94D2A4E7382CCEBD",2021-07-15T08:28:14Z
EOM

!gsutil cp csvReadInstances.csv gs://<<bucket>>/vertex-ai-pipelines/featurestore/readcsvinstances

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
FEATURESTORE_ID="gamingusers"
ENTITY_TYPE_ID="users"
cat <<EOM > request.json
{
  "destination": {
    "bigqueryDestination": {
      "outputUri": "bq://<<projectid>>.<<dataset>>.export_features"
    }
  },
  "csvReadInstances": {
    "gcsSource": {
      "uris": ["gs://<<bucket>>/vertex-ai-pipelines/featurestore/readcsvinstances/csvReadInstances.csv"]
    }
  },
  "entityTypeSpecs": [
    {
      "entityTypeId": "users",
      "featureSelector": {
        "idMatcher": {
          "ids": ["cnt_level_start_quickplay", "cnt_user_engagement"]
        }
      }
    }
  ]
}
EOM
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores/${FEATURESTORE_ID}:batchReadFeatureValues

Funzionalità esportate.

Nel tempo, il featuretore aumenterà e il data scientist dovrà cercare le funzionalità. Ora cerchiamo le funzionalità nel nostro negozio di funzionalità. Nell'esempio seguente stiamo cercando funzionalità che hanno "cnt" nel nome ed è di tipo "INT64".

%%bash
LOCATION="REGIONID"
PROJECT="PROJECTID"
curl -X GET \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT}/locations/${LOCATION}/featurestores:searchFeatures?query="featureId:cnt%20AND%20valueType=INT64"

{
  "features": [
    {
      "name": "projects/<<projectid>>/locations/us-central1/featurestores/gamingusers/entityTypes/users/features/cnt_level_start_quickplay",
      "description": "Level start quickplay",
      "createTime": "2021-06-13T20:07:09.206472Z",
      "updateTime": "2021-06-13T21:15:39.596002Z"
    },
    {
      "name": "projects/<<projectid>>/locations/us-central1/featurestores/gamingusers/entityTypes/users/features/cnt_user_engagement",
      "description": "User Engagement",
      "createTime": "2021-06-13T20:07:09.205050Z",
      "updateTime": "2021-06-13T21:15:39.594700Z"
    }
  ]
}

Suggested posts

Implementazione della memoria associativa

Implementazione della memoria associativa

Scritto da Shashata Sawmya e Harveer Singh Con l'avvento delle grandi reti neurali e i sempre crescenti progressi tecnologici che spingono i metodi attuali al loro limite assoluto, l'attenzione si è concentrata sulla creazione di uno strumento universale che mira a fare tutto. Tuttavia, la maggior parte delle attività non richiederebbe le reti profonde incredibilmente intense, ma comunque qualcosa di più versatile dei modelli matematici di base.

Come eseguire i plug-in ChatGPT gratuitamente utilizzando Langchain

Come eseguire i plug-in ChatGPT gratuitamente utilizzando Langchain

Devi aver sentito parlare di tutti i nuovi potenti plug-in ChatGPT come Browser, Code Interpreter ecc. Ma c'è un problema, l'accesso ai plug-in è limitato a una lista di attesa e quindi molti non hanno accesso ad essa.

Related posts

Niente più password: come le passkey sostituiranno la tua password

Niente più password: come le passkey sostituiranno la tua password

Per evitare ambiguità verranno utilizzati i seguenti termini; Autenticatore; Il telefono cellulare utilizzato per effettuare il login Sito web; Il sito Web o l'applicazione che l'utente sta utilizzando per effettuare la richiesta di accesso al Servizio; Il fornitore che fornisce il servizio dato, ad es

"La fossa delle Marianne svelata: svelare le terrificanti verità nascoste dell'abisso"

"La fossa delle Marianne svelata: svelare le terrificanti verità nascoste dell'abisso"

Introduzione:Benvenuti, coraggiosi lettori, in un viaggio che ci porterà nelle profondità più oscure del nostro pianeta. In questo blog, ci addentriamo nel mondo enigmatico della Fossa delle Marianne, scoprendo i suoi segreti nascosti e scoprendo le verità agghiaccianti che giacciono sotto la sua superficie.

i pronomi sono super spaventosi

Mi colpisce Improvvisamente come spesso accade È di nuovo la via di mezzo <No, non quello nel pacifico tu marrone, quello al carnevale> Ogni titolo a voce alta…..

L'apprendimento alla settimana lavorativa conta più di quanto pensi

L'apprendimento alla settimana lavorativa conta più di quanto pensi

Spesso ci troviamo a lottare per implementare ciò che sappiamo essere buono per noi. Dal dire a un altro significativo che li amiamo al ricordare di parlare come un pirata, ci saranno sempre quelli che affermeranno che un giorno, una settimana o un mese di eventi non è necessario perché stanno già facendo quelle cose.