Использование Apache Airflow DockerOperator с Docker Compose

Большинство руководств в сети вокруг них великолепны, но в них есть недостающее звено, о котором я хочу рассказать здесь сегодня: ни одно из них не предполагает, что вы используете Apache Airflow с Docker Compose .

Все коды и дальнейшие инструкции находятся в репозитории fclesio / airflow-docker-operator-with-compose .

Прохождение

a) Сначала создайте контейнер с веб-сервисом и создайте airflowпользователя, как описано в официальных документах :

Результат должен быть примерно таким, как на следующем изображении:

б) Выполнив эту первоначальную настройку, запустите веб-сервис и другие компоненты с помощью docker-compose:

Когда вы запускаете следующую инструкцию, вы можете проверить контейнеры докеров, используя docker container ps. Результат должен быть примерно таким:

c) После того, как все контейнеры запущены и работают, перейдем в пользовательский интерфейс Airflow, используя в airflowкачестве логина и пароля:

d) Внутри пользовательского интерфейса Airflow вы найдете группу DAG, связанную с оператором Docker:

д) Отключите DAG:

f) Щелкните DAG и перейдите в режим графика:

Вы увидите, что две задачи выполняются. Это следующий код DAG:

Как мы видим, мы выполняем один sleepоператор, а другой оператор - с echoоператором. [N1]

Во время выполнения это будет результат docker container psоператора:

На этом изображении мы видим, что у каждой задачи есть свой контейнер. Я назвал каждую из этих задач, используя container_nameатрибут в задаче. Я настоятельно рекомендую вам всегда указывать имя в контейнере для каждой задачи, потому что, если у вас есть какой-то контейнер, который делает какие-то неожиданные вещи ( например, бесконечный цикл, занимает много времени и т. Д.), Будет очень сложно отладить какой-то безымянный контейнер.

g) Я внес небольшое изменение в группу DAG и включил два echoоператора, чтобы показать, как эта информация будет возвращена в журналы Airflow. Просто скопируйте и вставьте приведенный ниже код в свою DAG:

Есть два echoоператора, которые мы отправим каждому контейнеру, отвечающему за задачу. Один с тем, helloа другой с world:

h) Обновите и запустите DAG:

i) Проверьте выполнение в DAG с помощью графического представления:

На моей машине выполнение было довольно быстрым, но мы можем проверить результаты каждой задачи, просмотрев журналы.

Если мы нажмем на docker_command_helloзадачу и выберем опцию, logsмы увидим результат нашегоcommand

И в docker_command_worldзадаче у нас будет такой же результат :

j) В конце эксперимента просто запустите docker-compose downи остановите все контейнеры.

Некоторые практические применения

  • Оркестровка задач независимо от языка (например, сейчас я работаю в конвейере данных, полностью написанном на Ruby);
  • Отправлять задания для сторонних платформ ( например, AWS Sage Maker, Spark jobs, Databricks, Azure и т. Д.);
  • Запускать модели dbt в изолированной среде ;
  • Контейнеризация задач ETL / ELT;
  • Некоторое тестирование ETL / ELT с помощью soda.sql ;
  • Включите дополнительный этап профилирования данных, проверки и тестирования с большими ожиданиями без каких-либо проблем с окружающей средой.
  • Как описал Марк Ламберти, если ваш образ докера не построен в той же локальной среде (например, в рабочем), это означает, что его нужно будет загрузить, и это увеличит SLA;
  • Пользователь контейнера докера ( в этом примере был пользователем ) должен иметь разрешение в демоне докера (простое chmodразрешение пользователю воздушного потока может решить эту проблему [N2]);
  • Один может быть превращен в образ, который будет использоваться каждым DAG. Заманчиво иметь « образ божественного докера » со всеми зависимостями и пакетами, который может запускать все задачи в конвейере ELT. Пожалуйста, не делай этого. Образ будет излишне раздутым, и сборка займет много времени (это будет отражено в SLA);
  • Из-за проблемы в реализации DockerOperator параметр должен быть установлен как ;
  • Нам нужно передать URL-ссылку хоста, на котором запущен демон Docker, в виде тома, чтобы позволить контейнерам веб-сервера запускать образы докеров ;
  • Не забудьте установить атрибут в свой . Это очень важно, потому что, если вы забудете установить разные имена, у вас может возникнуть конфликт имен контейнеров, и DAG выйдет из строя (короче говоря: по какой-то причине я обнаружил, что Airflow пытался повторно подключиться к некоторым из вышестоящих запускали контейнеры, что вызывало конфликты);
  • По умолчанию для атрибута всегда будет использоваться последнее изображение. Как правило, я настоятельно рекомендую заранее собирать все образы, используя самые свежие Dockerfile. Если вы хотите быть на 100%, что задание всегда будет использовать (факт) последний образ, подумайте о том, чтобы включить предыдущую задачу сборки для вашего образа. Что-то вроде docker build -f path/to/Dockerfile -t yourname/image_name ..
  • Насколько я проверил исходный код реализации Docker , Airflow использует своего рода привязку к сокету Docker для запуска контейнера. Я не уверен на 100%, но это означает, что Airflow не выполняет Docker-in-Docker, что может привести к множеству других проблем .

Я лично считаю, что Airflow + Docker - это хорошее сочетание гибких, масштабируемых и беспроблемных сред для задач ELT / ETL. К сожалению, большинство реализаций Airflow с использованием Docker Compose не рассматривают использование DockerOperator как жизнеспособную альтернативу гибкой среде для оркестровки задач.

Лично, с точки зрения архитектуры ELT / ETL, эта комбинация Airflow с использованием Docker Compose + DockerOperator думает, что это хорошая альтернатива по сравнению со следующим (i) из-за того, что нам не нужно иметь дело с подготовкой рабочих, (ii) из-за присущей ему сложности и (iii) управление этими задачами с помощью Docker Swarm с его ограничениями в отношении возможностей инициализации и восстановления после сбоев. /

Рекомендации

Полезные ссылки, которые я использовал во время этой попытки, в порядке важности.

  • Запуск Airflow в Docker
  • Как я могу использовать DockerOperator в Airflow, если я уже использую Airflow в Docker?
  • Используете Docker-in-Docker для вашего CI или среды тестирования? Подумать дважды.
  • Как использовать DockerOperator в Apache Airflow
  • Как использовать воздушный поток без головной боли
  • Докер Танос (используйте осторожно)
  • DockerOperator не удалось сериализовать значение XCom в JSON
  • Можно ли запускать докер изнутри докера?
  • chmod некорректно работает в Docker
  • Airflow DockerOperator: подключить sock.connect (self.unix_socket) FileNotFoundError: [Errno 2] Нет такого файла или каталога
  • Как смонтировать сокет докера как том в контейнере докера с правильной группой
  • Проблема с разрешением при запуске команды docker в подпроцессе Python через Apache Airflow
  • Как запустить Docker в контейнере Docker

[N1] - Я сделал небольшую путаницу в названиях задач и операторах команд.

[N2] - В этой ветке Reddit пользователь сделал радикальное решение для разрешения в хосте Docker daemon через chmod 777 /var/run/docker.sock. Я лично не рекомендую.

Suggested posts

DevOps-1: Dockerize ваше приложение Golang с базой данных PostgreSQL.

DevOps-1: Dockerize ваше приложение Golang с базой данных PostgreSQL.

В этой статье мы попытаемся докеризовать простое приложение golang CRUD с базой данных postgreSQL. Давайте сначала создадим наше приложение.

DevOps-2: Dockerize ваше приложение Golang с базой данных PostgreSQL.

DevOps-2: Dockerize ваше приложение Golang с базой данных PostgreSQL.

Если вы хотите прочитать первую часть, нажмите здесь Soo! Эй, хорошие люди! Спасибо, что продолжаете читать вторую часть серии, посвященную докеризации вашего приложения golang с помощью базы данных postgresql. В последней статье мы написали простое приложение golang CRUD и запустили приложение путем докеризации базы данных postgreSQL.

Related posts

Убийство Джордана Нили и проблема «патриотического» расизма

Могут ли США сделать важный шаг и не приравнивать расистское поведение к тому, чтобы быть хорошим американцем?

Убийство Джордана Нили и проблема «патриотического» расизма

[Предупреждение: в этом эссе есть снимки экрана, на которых люди восхваляют убийцу Джордана Нили.] Сотрудники правоохранительных органов наконец — и, возможно, неохотно — предъявили обвинение в этом убийстве Дэниелу Пенни, человеку, который душил Джордана Нили, пока тот не умер.

Всегда ли искусство аполитично?

Всегда ли искусство аполитично?

Вчера мы закрыли двери конкурса песни «Евровидение» в этом году блестящим, хаотичным грандиозным финалом, в котором шведская певица Лорин забрала домой трофей, став первой женщиной, выигравшей дважды, и вернув корону Швеции спустя 50 лет после того, как ABBA выиграла конкурс. с «Ватерлоо». Они стали одним из крупнейших исполнителей в каноне поп-музыки.

местоимения очень страшные

Это поражает меня Внезапно, как это часто бывает, Это снова и снова на полпути <Нет, не то, что в Тихом океане, ты темно-бордовый, то, что на карнавале> Каждый громкий заголовок…..

Ковбойская ложь

Как мегакорпорации продали американцам мохнатую ложь

Ковбойская ложь

Это ярко-золотое утро в холмистой местности на западе, когда первые лучи солнечного света освещают инеистую траву на равнинах. Стадо безмятежных ангусских коров, угольно-черных и массивных, вырисовывается на фоне восхода солнца, когда они идут по проторенной тропе к месту, которое они все хорошо знают; барная стойка.