A maioria dos tutoriais nas interwebs ao redor DockerOperatorsão incríveis, mas eles têm um elo perdido que eu quero abordar aqui hoje que nenhum deles assume que você está executando o Apache Airflow com o Docker Compose .
Todos os códigos aqui e mais instruções estão no repo fclesio/airflow-docker-operator-with-compose .
a) Primeiro, crie um container com o webservice e crie o airflowusuário, conforme descrito na documentação oficial :
O resultado deve ser mais ou menos como a imagem a seguir:
b) Com esta configuração inicial feita, inicie o webservice e outros componentes via docker-compose:
Ao executar a instrução a seguir, você pode verificar os contêineres do docker usando o docker container ps. O resultado deve ser mais ou menos como o seguinte:
c) Com todos os containers funcionando, vamos para a UI do Airflow usando airflowcomo login e senha:
d) Dentro da interface do Airflow, você encontrará um DAG relacionado ao Docker Operator:
e) Despause o DAG:
f) Clique no DAG e vá para o Modo Gráfico:
Você verá as duas tarefas sendo executadas. Esse é o seguinte código DAG:
Como podemos ver, estamos executando uma sleepinstrução e outra instrução com uma echoinstrução. [N1]
Durante a execução, este será o resultado da docker container psinstrução:
Podemos ver nesta imagem que cada uma das tarefas tem seu próprio container. Eu nomeei cada uma dessas tarefas usando o container_nameatributo na tarefa. Eu recomendo fortemente que você sempre coloque o nome no container para cada tarefa, porque se você tiver algum container fazendo alguma coisa inesperada ( por exemplo , loop infinito, demorando muito, etc) será super difícil depurar algum container sem nome.
g) Fiz uma pequena alteração no DAG e incluí duas echodeclarações para mostrar como essas informações serão retornadas aos logs do Airflow. Basta copiar e colar o código abaixo no seu DAG:
Há duas echodeclarações que enviaremos para cada container responsável pela tarefa. Um com o helloe outro com world:
h) Atualize e acione o DAG:
i) Verifique a execução no DAG usando a visualização Graph:
A execução foi bem rápida na minha máquina, mas podemos conferir os resultados de cada tarefa dando uma olhada nos logs.
Se clicarmos na docker_command_hellotarefa e escolhermos a opção logs, veremos a saída do nossocommand
E teremos o mesmo resultado na docker_command_worldtarefa também:
j) No final do seu experimento, apenas execute docker-compose downe pare todos os contêineres.
airflow ) precisa ter permissão no daemon do docker (um simples chmoddar permissão ao usuário do airflow pode resolver [N2]);dockerfilepode ser transformado em uma imagem que será usada por cada DAG. É tentador ter uma “ imagem de deus docker ” com todas as dependências e pacotes que podem executar todas as tarefas em um pipeline ELT. Por favor não faça isso. A imagem ficará desnecessariamente inchada e a compilação levará muito tempo (isso será refletido no SLA);AIRFLOW__CORE__ENABLE__XCOM_PICKLINGdeve ser definida comotrue ;container_nameatributo no arquivo DockerOperator. Isso é super importante porque se você esquecer de estabelecer nomes diferentes, poderá ter um conflito de nomes de contêiner e o DAG falhará (longa história resumida: por algum motivo, descobri que o Airflow estava tentando se reconectar em alguns dos upstream contêineres iniciados; e isso causou alguns conflitos);imageatributo sempre terá a imagem mais recente. Como regra geral, recomendo fortemente que todas as imagens sejam compiladas anteriormente com o arquivo Dockerfile. Se você quiser ter 100% de certeza de que o trabalho sempre usará a imagem mais recente (fato), considere incluir uma tarefa de compilação anterior para sua imagem. Algo como docker build -f path/to/Dockerfile -t yourname/image_name ..Pessoalmente, acredito que o Airflow + Docker é uma boa combinação para ambientes flexíveis, escaláveis e sem complicações para tarefas ELT/ETL. Infelizmente, ao longo das interwebs, a maioria das implementações do Airflow usando o Docker Compose não considera o uso do DockerOperator como uma alternativa viável para um ambiente flexível para orquestração de tarefas.
Pessoalmente, em termos de arquitetura ELT/ETL, esta combinação de Airflow usando Docker Compose + DockerOperator acho que é uma boa alternativa em comparação com o seguinte (i) CeleryExecutordevido ao fato de não precisarmos lidar com provisionamento de trabalhadores, (ii) devido à sua complexidade inerente e (iii) gerenciar essas tarefas usando o Docker Swarm com suas limitações em relação aos recursos de provisionamento e recuperação de falhas.KubernetesPodOperator / KubernetesExecutor
Links úteis que usei durante esta empreitada em ordem de importância.
[N1] — Fiz uma pequena bagunça nos nomes das tarefas e nas instruções de comando.
[N2] — Neste tópico no Reddit, um usuário fez uma solução radical para a permissão no host Docker daemon via chmod 777 /var/run/docker.sock. Eu pessoalmente não recomendo.
Neste artigo, tentaremos dockerizar um aplicativo simples golang CRUD com banco de dados postgreSQL. Vamos criar nosso aplicativo primeiro.
Se você quiser ler a primeira parte, clique aqui Soo! Oi gente boa! Obrigado por continuar lendo a 2ª parte da série para dockerizar seu aplicativo golang com o banco de dados postgresql. No último artigo, escrevemos um programa de aplicação golang CRUD simples e executamos o aplicativo encaixando o banco de dados postgreSQL.
No mundo interconectado de hoje, a ameaça de ataques cibernéticos é mais prevalente do que nunca. Criminosos cibernéticos e agentes de estado-nação estão constantemente buscando explorar vulnerabilidades e roubar dados valiosos, representando um risco significativo para organizações de todos os tamanhos.
(Aviso - isso é sátira, com a intenção de ser alegremente subversivo - definitivamente não é para crianças) Você viu sua mãe e seu pai se esconderem na cozinha e fumarem aqueles cigarros fedorentos. Eles dizem a você.
No mundo hiperconectado de hoje, os sistemas de mídia desempenham um papel fundamental na formação da opinião pública e, consequentemente, na tomada de decisões democráticas. Em sua análise profunda da economia política da comunicação, o estudioso Robert McChesney desafia a sabedoria convencional e apresenta o que chama de “cinco verdades” sobre a mídia.
Na semana passada, notei um comunicado de imprensa, enviado via PressGazette (um site de notícias da mídia britânica). O artigo anunciava que a Acast, a empresa de publicidade e hospedagem de podcast Scandi, lideraria um consórcio de "provavelmente os editores mais influentes" em podcasting.