Impara a utilizzare lo script fornito da AutoML docs per convertire i tuoi file di testo in formato jsonl.

Se hai iniziato con qualsiasi cosa relativa a AutoML NLP su GCP, conosci già il primo passaggio. Converti i tuoi documenti in .jsonlformato prima di passarli come dati di allenamento. La documentazione di AutoML ti fornisce già uno script Python, ma se hai trovato lo script un po' difficile da capire o da usare, non sei solo!

Quando stavo esaminando i documenti, avrei voluto che ci fosse una guida passo passo per usare lo script Python , quindi eccola qui.

Che cos'è AutoML?

AutoML è uno degli elementi costitutivi dell'AI su Google Cloud Platform. È particolarmente utile quando si desidera creare e addestrare modelli personalizzati di alta qualità e si dispone di competenze limitate di machine learning per fare lo stesso. Fornisce un'interfaccia per aiutarti a trasferire i tuoi dati all'algoritmo per costruire il tuo modello. Seleziona automaticamente la migliore architettura di rete neurale e regola gli iperparametri per te in base al tuo obiettivo, risparmiando sostanzialmente lo sforzo manuale nella riqualificazione e nella messa a punto.

Quindi, passaggio 1 — Inserisci i tuoi dati!

Non scriverò di tutti i passaggi nel processo di creazione e addestramento di un modello su AutoML poiché li puoi trovare molto ben documentati qui . Il nostro focus è sul compito che causa un po' di attrito.

Assicurati che i tuoi PDF di dimensione < 2 Mb. Se contengono immagini o dati grafici, potresti voler leggere questo articolo che spiega come estrarre dati testuali dalle immagini nei PDF utilizzando l'API di visione cloud e, naturalmente, Python.

Conversione di PDF in JSONL — nella shell gCloud

Questo script può essere eseguito nella shell della riga di comando di gCloud o se hai installato gCloud SDK, puoi eseguire lo script direttamente dal tuo computer e convertire i pdf archiviati nei bucket GCS in file jsonl. È scritto in Python2 e accetta tre argomenti: il nome del file di script, il percorso dei file pdf e il percorso del bucket di destinazione .

python2 <script> gs://<path_to_src_pdf> gs://<dest_bucket>/

      

       Upload the script and your source pdf files to a GCS bucket [Photo by author]
      

1. Installa python2 nella cloud shell. sudo apt install python2
2. Crea un bucket GCS nella regione ( us-central1) e la classe di archiviazione impostata su standard. L'area deve essere us-central1per l'elaborazione AutoML. (Dati al 21 settembre)
3. Copia lo script archiviato nel tuo bucket GCS nella home directory della cloud shell. gsutil -m cp gs://<path_to_script>
4. Il passaggio 4 è stato quello di caricare lo script nella home directory della nostra VM cloud shell. Esegui lsper confermare se lo script è stato copiato correttamente.
5. Nella cloud shell, esegui python2 input_helper_v2.py gs://<path_to_src_pdf> gs://<path_to_gcs_bucket>/

Un set di dati CSV con URI di file jsonl (che puoi utilizzare direttamente per importare i dati di addestramento) e un file jsonl è stato creato e archiviato nel bucket GCS di destinazione specificato dall'utente. Testa alla documentazione (l'importazione dei dati di allenamento nella console autoMl) e continuare a costruire il vostro modello personalizzato!