Guida al processo MLOps

MLOps è un insieme di metodi e tecniche per distribuire e mantenere i modelli di machine learning (ML) in produzione, in modo affidabile ed efficiente. Pertanto, MLOps è l'intersezione di Machine Learning, DevOps e Data Engineering.

Dire che MLOps è in uno stato di flusso sarebbe un eufemismo [7]. Il miglior consiglio che potrei dare su MLOps sarebbe provare ad assumere qualcuno che sia in grado di vedere il "quadro generale". Qualsiasi ingegnere del software competente può imparare a utilizzare una particolare piattaforma MLOps poiché non richiede una laurea avanzata. Pertanto, un errore comune durante il colloquio è concentrarsi sulla minuzia di una particolare piattaforma (AWS, GCP, Databricks, MLflow, ecc.). L'ingegnere MLOps ideale avrebbe una certa esperienza con diverse piattaforme MLOps. In effetti, troppa esperienza con una singola piattaforma sarà molto probabilmente problematica in futuro poiché 1) la maggior parte delle aziende raramente rimane con una piattaforma cloud nel tempo e 2) al momento non ci sono standard per MLOps.

In effetti, un grosso problema con MLOps è la mancanza di standard. Pertanto, ogni piattaforma tende a utilizzare una terminologia diversa. Si spera che SEI o IEEE pubblicheranno presto una guida AI Engineering per standardizzare la terminologia simile a SWEBOK . Per ora, consiglierei di imparare MLflow poiché è open source e sembra essere molto popolare.

In generale, il processo del modello ML prevede otto fasi che possono includere anche la raccolta dei dati e/o l'etichettatura dei dati:

1. Preparazione dei dati
2. Ingegneria delle funzionalità
3. Progettazione del modello
4. Formazione e ottimizzazione del modello
5. Valutazione del modello
6. Distribuzione del modello
7. Servizio modello
8. Monitoraggio del modello

Il flusso di lavoro di apprendimento automatico

L'apprendimento automatico richiede la sperimentazione di un'ampia gamma di set di dati, preparazione dei dati e algoritmi per creare un modello che massimizzi alcune metriche di destinazione. Una volta creato un modello, il passaggio successivo consiste nel distribuire il modello finale in un sistema di produzione, monitorare le prestazioni del modello e riqualificare continuamente il modello su nuovi dati e confrontarlo con modelli alternativi.

Pertanto, essere produttivi con l'apprendimento automatico può essere difficile per diversi motivi [3]:

• È difficile tenere traccia degli esperimenti. Quando lavori con i file sul tuo laptop o con un notebook, come possiamo sapere quali dati, codice e parametri sono stati utilizzati per ottenere un risultato particolare?
• È difficile riprodurre il codice. Anche se monitoriamo attentamente le versioni e i parametri del codice, dobbiamo comunque acquisire l'intero ambiente (come le dipendenze della libreria) per riprodurre gli stessi risultati. Questo è ancora più impegnativo quando si lavora in un team o se si desidera eseguire lo stesso codice su larga scala su un'altra piattaforma (come il cloud).
• Non esiste un modo standard per creare pacchetti e distribuire modelli. Ogni team di data science sviluppa il proprio approccio per ogni libreria ML utilizzata, quindi il collegamento tra il modello e il codice e i parametri viene spesso perso.
• Non esiste un negozio centrale per gestire i modelli (versioni e transizioni di fase). Senza un posto centrale per collaborare e gestire il ciclo di vita del modello, i team di data science incontreranno sfide nella gestione delle fasi del modello.

Tieni presente che cercare di adattare o applicare MLOps in modo frammentario è un malinteso comune e sarebbe effettivamente considerato un antipattern [5][6]. È interessante notare che Nvidia sembra stia attualmente cercando di fare proprio questo in massa in tutti i progetti di sviluppo software.

Pertanto, una piattaforma MLOps deve fornire almeno cinque funzionalità per aiutare a gestire il flusso di lavoro ML [3]:

• Tracciamento: un'API per la registrazione di parametri, versioni del codice, metriche e artefatti durante l'esecuzione di codice di machine learning e per visualizzare successivamente i risultati.
• Progetti : un formato standard per il confezionamento di codice ML riutilizzabile.
• Modelli: una convenzione per il confezionamento di modelli ML in più versioni e una varietà di strumenti per aiutarli a distribuirli.
• Registro: un archivio di modelli centralizzato, un set di API e un'interfaccia utente per gestire in modo collaborativo l'intero ciclo di vita di uno o più modelli ML.
• Scalabilità: progettata per adattarsi a set di dati di grandi dimensioni, file di output di grandi dimensioni e un numero elevato di esperimenti.

MLOps è un insieme di metodi e tecniche per distribuire e mantenere modelli di machine learning (ML). Tuttavia, MLOps non ha attualmente definito alcuno standard, quindi è importante tenerlo a mente. Pertanto, è importante vedere il "quadro generale" che implica la comprensione dei concetti chiave, delle fasi, delle caratteristiche e delle sfide con MLOps.

Riferimenti

[1] Considerazioni sulla distribuzione di modelli di Machine Learning in produzione

[2] Che cos'è MLOps e perché il tuo team dovrebbe implementarlo

[3] Concetti di MLflow

[4] Principi MLOps

[5] Modelli di progettazione in Machine Learning per MLOps

[6] Come (non) fare MLOp

[7] MLOps è un pasticcio , ma c'è da aspettarselo

[8] Avvio rapido MLflow

[9] Gestione dei cicli di vita di Machine Learning con MLflow

Avvio rapido arancione

Una guida rapida al monitoraggio degli esperimenti ML — Con pesi e bias

Come valutare diverse soluzioni di distribuzione di machine learning

4 strumenti MLOps per distribuire il tuo modello di machine learning