Como iniciar com o Apache Airflow no Docker (Windows)

Logotipos Docker e Apache Airflow

Como mencionamos no artigo “Getting Started with Apache Airflow” , em termos gerais, o Apache Airflow é uma ferramenta de código aberto que nos permite gerenciar, monitorar, planejar e agendar fluxos de trabalho que normalmente é usado como um orquestrador de fluxo de trabalho (serviços).

Neste artigo vamos aprender como iniciar uma instância do Apache Airflow 2.0.2 (essa versão é a mais recente em serviços gerenciados atualmente) em Docker, que se você já conhece sabe que é excelente para desenvolver e testando nossas soluções sem afetar um serviço gerenciado ou um ambiente de produção.

Pré-requisitos:

  1. Instale o Docker Desktop em seu computador.

Siga estas etapas para começar a testar o ambiente Airflow na janela de encaixe:

  1. O primeiro passo é baixar o Docker Desktop no site oficial . Para este artigo, instalei a versão 4.4.4.
  2. Depois de instalar o Docker Desktop, precisamos baixar um arquivo docker-compose.yaml que você também pode encontrar aqui .
  3. Agora que temos os dois arquivos, precisamos criar nosso diretório airflow. Vá para o seguinte caminho: C:/Users/<your_user>/. Dentro desse diretório, crie uma pasta chamada docker e dentro do docker crie outra pasta chamada airflow.
  4. Agora que temos nossa pasta airflow, devemos fazer o seguinte: a)Criar três pastas chamadas dags, plugins e logs respectivamente; b) Mova nosso YAML para esse diretório.
  5. Seu diretório ficará assim

6. Em seguida, precisamos executar os seguintes comandos:

docker-compose up airflow-init

docker-compose

Nota: Após o segundo comando, uma janela continuará executando algum código. Podemos fechar esta janela sem nenhum problema.

7. Depois disso, podemos ir para nosso aplicativo Docker Desktop e veremos que um container chamado airflow foi criado dentro da seção Containers/Apps. Este container terá 7 sub-containers dentro.

Seu container ficará assim

8. Com isso, temos nossa instância do Apache Airflow completamente pronta para começar a desenvolver nosso DAGS.

9. Acesse localhost:8080, faça o login com o usuário “airflow” e a senha “airflow” e comece a codificar.

Observação: você pode colocar todos os seus DAGs na pasta dags e todos os seus plugins na pasta plugins, ambos criados na etapa 4.

Referências

[1] Fluxo de ar. Executando o Airflow no Docker .https://airflow.apache.org/docs/apache-airflow/2.0.2/start/docker.html

Até o próximo código!

Os

Suggested posts

Grandes Dados: Privacidade

O problema da privacidade no mundo moderno é que se tornou cada vez mais fácil para as pessoas invadirem a privacidade dos outros e cada vez mais difícil para as pessoas detectarem quando e como isso está acontecendo com elas. Acho que há um paralelo interessante entre o mundo da grande coleta de dados de tecnologia e a indústria de alimentos.

Analisando a previsibilidade do mercado de NFT: fatores e efeitos

Analisando a previsibilidade do mercado de NFT: fatores e efeitos

Prefácio Como estudante de mestrado em finanças e fintech, tenho lido vários artigos sobre o assunto. Recentemente, encontrei um artigo interessante que discute a precificação no mercado de NFT usando a metodologia financeira tradicional.

Related posts

A revolução no local de trabalho: os principais especialistas discutem o trabalho híbrido e remoto

A revolução no local de trabalho: os principais especialistas discutem o trabalho híbrido e remoto

No atual cenário de negócios em rápida evolução, o conceito de trabalho híbrido e remoto ganhou um impulso sem precedentes. À medida que as empresas continuam a se adaptar às mudanças nas necessidades e expectativas de seus funcionários, especialistas de várias áreas se reuniram para discutir os benefícios, os desafios e o futuro dessa forma transformadora de trabalhar.

VIDA SEM LIMITES

Quando você cresce, tende a ouvir que o mundo é do jeito que é e sua vida é apenas viver sua vida dentro do mundo, nunca arriscando sua vida, apenas siga um caminho definido e morra no final, e tente não bater demais nas paredes. Mas essa é uma vida muito limitada.

Encontrar informações sobre nomes de domínio

Um trecho de Small, Sharp Software Tools por Brian P. Hogan

Encontrar informações sobre nomes de domínio

Quando você faz uma solicitação para facebook.com, seu computador procura o nome de domínio para traduzir esse nome de domínio em um endereço IP para que seu computador possa fazer essa conexão.

O assassinato de Jordan Neely e o problema do racismo “patriótico”

Os EUA podem dar o passo essencial de não igualar comportamento racista a ser um bom americano?

O assassinato de Jordan Neely e o problema do racismo “patriótico”

[Alerta de gatilho: este ensaio inclui capturas de tela de pessoas elogiando o assassino de Jordan Neely.] Os policiais finalmente - e talvez com relutância - acusaram Daniel Penny, o homem que sufocou Jordan Neely até a morte, por aquele homicídio.