Come iniziare con Apache Airflow in Docker (Windows)

Loghi Docker e Apache Airflow

Come accennato nell'articolo "Guida introduttiva ad Apache Airflow" , in termini generali, Apache Airflow è uno strumento open source che ci consente di gestire, monitorare, pianificare e programmare flussi di lavoro normalmente utilizzati come orchestratori di flussi di lavoro (servizi).

In questo articolo impareremo come avviare un'istanza di Apache Airflow 2.0.2 (questa versione è la più recente nei servizi gestiti al giorno d'oggi) in Docker, che se lo conosci già, sai che è ottimo per lo sviluppo e testare le nostre soluzioni senza influire su un servizio gestito o su un ambiente di produzione.

Prerequisiti:

  1. Installa Docker Desktop sul tuo computer.

Segui questi passaggi per iniziare con il test dell'ambiente Airflow nella finestra mobile:

  1. Il primo passo è scaricare Docker Desktop dal sito ufficiale . Per questo articolo, ho installato la versione 4.4.4.
  2. Dopo aver installato Docker Desktop, dobbiamo scaricare un file docker-compose.yaml che puoi trovare anche qui .
  3. Ora che abbiamo entrambi i file, dobbiamo creare la nostra directory del flusso d'aria. Vai al seguente percorso: C:/Utenti/<tuo_utente>/. All'interno di quella directory, crea una cartella chiamata finestra mobile e all'interno della finestra mobile crea un'altra cartella chiamata flusso d'aria.
  4. Ora che abbiamo la nostra cartella airflow, dobbiamo fare quanto segue: a) Creare tre cartelle chiamate rispettivamente dags, plugins e logs; b) Sposta il nostro YAML in quella directory.
  5. La tua directory sarà simile a questa

6. Quindi, dobbiamo eseguire i seguenti comandi:

finestra mobile-comporre flusso d'aria-init

docker-componi

Nota: dopo il secondo comando, una finestra continuerà a eseguire del codice. Possiamo chiudere questa finestra senza alcun problema.

7. Successivamente, possiamo andare alla nostra app Docker Desktop e vedremo che è stato creato un contenitore denominato flusso d'aria all'interno della sezione Contenitori/App. Questo contenitore avrà 7 sottocontenitori all'interno.

Il tuo contenitore avrà questo aspetto

8. Con questo, abbiamo la nostra istanza Apache Airflow completamente pronta per iniziare a sviluppare il nostro DAGS.

9. Vai su localhost:8080, accedi con l'utente "airflow" e la password "airflow" e avvia la codifica.

Nota: puoi inserire tutti i DAG nella cartella dags e tutti i plug-in nella cartella dei plug-in, entrambi creati nel passaggio 4.

Riferimenti

[1] Flusso d'aria. Esecuzione del flusso d'aria in Docker .https://airflow.apache.org/docs/apache-airflow/2.0.2/start/docker.html

Al prossimo codice!

Os

Suggested posts

Big Data: Privacy

Il problema con la privacy nel mondo moderno è che è diventato sempre più facile per le persone invadere quella degli altri e sempre più difficile per le persone rilevare quando e come sta accadendo loro. Penso che ci sia un parallelo interessante tra il mondo della raccolta di dati Big Tech e l'industria alimentare.

Analisi della prevedibilità del mercato NFT: fattori ed effetti

Analisi della prevedibilità del mercato NFT: fattori ed effetti

Prefazione Come studente di master in finanza e fintech, ho letto numerosi articoli sull'argomento. Di recente, mi sono imbattuto in un documento interessante che discute i prezzi nel mercato NFT utilizzando la metodologia finanziaria tradizionale.

Related posts

Raccolta di OSINT per la caccia alle minacce

Raccolta di OSINT per la caccia alle minacce

Ehi, cibernetici! Bentornati alla serie OSINT per la caccia alle minacce. Nel primo articolo, ti ho fornito una panoramica di OSINT e della sua importanza nella caccia alle minacce.

Finanziare la rimozione del carbonio nell'anno fiscale 24

La ripartizione delle richieste di stanziamenti di Carbon180 in tutti i percorsi

Finanziare la rimozione del carbonio nell'anno fiscale 24

Di Alyson Lee, consulente per gli affari governativi Il processo di stanziamento annuale del governo federale è fondamentale per i nostri sforzi per finanziare la rimozione dell'anidride carbonica (CDR). Ogni anno, Carbon180 invia richieste a vari uffici congressuali per aiutare a guidare dove fluiranno i dollari del prossimo anno.

Quell'archivio di minaccia: Vol 7 Black Basta

Quell'archivio di minaccia: Vol 7 Black Basta

Nel mondo interconnesso di oggi, la minaccia degli attacchi informatici è più diffusa che mai. I criminali informatici e gli attori dello stato-nazione cercano costantemente di sfruttare le vulnerabilità e rubare dati preziosi, ponendo un rischio significativo per le organizzazioni di tutte le dimensioni.

La sfida di lettura di Goodreads è tossica

La sfida di lettura di Goodreads è tossica

Il prurito alla mano si diffuse mentre mercanteggiavo con il libraio locale per un altro libro. Questo libro, come il resto che ho acquistato di recente, troverebbe il suo trono nella mia pila "Da leggere" (TBR); eppure l'ho comprato.