Cómo empezar con Apache Airflow en Docker (Windows)

Logotipos de Docker y Apache Airflow

Como mencionamos en el artículo “Primeros pasos con Apache Airflow” , en términos generales, Apache Airflow es una herramienta de código abierto que nos permite administrar, monitorear, planificar y programar flujos de trabajo que normalmente se usa como un orquestador de flujo de trabajo (servicios).

En este artículo, aprenderemos a iniciar una instancia de Apache Airflow 2.0.2 (esta versión es la más reciente en servicios administrados en la actualidad) en Docker, que si ya está familiarizado con él, sabe que es excelente para desarrollar y probando nuestras soluciones sin afectar un servicio gestionado o un entorno de producción.

requisitos previos:

  1. Instale Docker Desktop en su computadora.

Siga estos pasos para comenzar con su entorno de Airflow de prueba en la ventana acoplable:

  1. El primer paso es descargar Docker Desktop desde el sitio web oficial . Para este artículo, instalé la versión 4.4.4.
  2. Después de instalar Docker Desktop, debemos descargar un archivo docker-compose.yaml que también puede encontrar aquí .
  3. Ahora que tenemos ambos archivos, necesitamos crear nuestro directorio de flujo de aire. Vaya a la siguiente ruta: C:/Users/<su_usuario>/. Dentro de ese directorio, crea una carpeta llamada docker y dentro de docker crea otra carpeta llamada airflow.
  4. Ahora que tenemos nuestra carpeta de flujo de aire, debemos hacer lo siguiente: a) Crear tres carpetas llamadas dags, plugins y logs respectivamente; b) Mover nuestro YAML a ese directorio.
  5. Su directorio se verá así

6. Luego, necesitamos ejecutar los siguientes comandos:

docker-compose up flujo de aire-init

docker-compose up

Nota: después del segundo comando, una ventana seguirá ejecutando código. Podemos cerrar esta ventana sin ningún problema.

7. Después de eso, podemos ir a nuestra aplicación Docker Desktop y veremos que se creó un contenedor llamado airflow dentro de la sección Contenedores/Aplicaciones. Este contenedor tendrá 7 subcontenedores en su interior.

Su contenedor se verá así

8. Con esto, tenemos nuestra instancia de Apache Airflow completamente lista para comenzar a desarrollar nuestro DAGS.

9. Vaya a localhost:8080, inicie sesión con el usuario "airflow" y la contraseña "airflow" y comience a codificar.

Nota: Puede poner todos sus DAG en la carpeta dags y todos sus complementos en la carpeta de complementos, ambos creados en el paso 4.

Referencias

[1] Flujo de aire. Ejecutando Airflow en Docker .https://airflow.apache.org/docs/apache-airflow/2.0.2/start/docker.html

¡Hasta el próximo código!

Os

Suggested posts

Big Data: Privacidad

El problema con la privacidad en el mundo moderno es que se ha vuelto cada vez más fácil para las personas invadir la de los demás, y cada vez más difícil para las personas detectar cuándo y cómo les está sucediendo. Creo que hay un paralelismo interesante entre el mundo de la recopilación de datos de las grandes tecnologías y la industria alimentaria.

Análisis de la previsibilidad del mercado NFT: factores y efectos

Análisis de la previsibilidad del mercado NFT: factores y efectos

Prólogo Como estudiante de maestría en finanzas y fintech, he estado leyendo numerosos artículos sobre el tema. Recientemente, me encontré con un artículo interesante que analiza la fijación de precios en el mercado NFT utilizando la metodología financiera tradicional.

Related posts

El desafío de lectura de Goodreads es tóxico

El desafío de lectura de Goodreads es tóxico

La picazón en mi mano se extendió mientras negociaba con el librero local por otro libro. Este libro, como el resto que compré recientemente, encontraría su trono en mi pila de 'To Be Read' (TBR); y sin embargo, lo compré.

Revista abierta

Revista abierta

Diario abierto: una imagen al día. Siempre me han fascinado las historias.

La revolución del lugar de trabajo: los mejores expertos hablan sobre el trabajo híbrido y remoto

La revolución del lugar de trabajo: los mejores expertos hablan sobre el trabajo híbrido y remoto

En el panorama empresarial en rápida evolución actual, el concepto de trabajo híbrido y remoto ha ganado un impulso sin precedentes. A medida que las empresas continúan adaptándose a las necesidades y expectativas cambiantes de sus empleados, expertos de varios campos se han reunido para analizar los beneficios, los desafíos y el futuro de esta forma transformadora de trabajar.

La mentira del vaquero

Cómo las megacorporaciones vendieron a los estadounidenses una falsedad fornida

La mentira del vaquero

Es una mañana brillantemente dorada en las ondulantes colinas del oeste, mientras los primeros rayos del sol iluminan la hierba escarchada de las llanuras. Una manada de ganado Angus plácido, negro azabache y enorme, se recorta contra el amanecer mientras avanzan por un sendero trillado hacia un lugar que todos conocen bien; la barra de desayuno