Dockerを使用したApacheAirflow2のセットアップ

Dockerを使用して有名なタスクオーケストレーターの新しいバージョンをセットアップするためのステップバイステップガイド

前書き

pacheエアフロー2がついに登場。発表された新機能(新しいスケジューラー、安定したREST APIなど)の中で、本番環境に対応したDockerfileがリリースされました。これにより、開発者はベアメタルにインストールするのではなく、最新のクラウドテクノロジーを使用してAirflowをデプロイできます。

この記事では、VirtualBoxとVagrantを使用してローカル環境を作成し、Dockerをインストールして、本番環境に対応したAirflowコンテナーをデプロイする方法を見ていきます。はじめましょう!

地域環境

このセクションでは、仮想マシンを作成し、dockerをインストールし、ゲストマシンのローカルファイルに簡単にアクセスできるように共有フォルダーを構成する方法を説明します。実験にVMを使用したくない場合は、この部分をスキップしてください。

仮想マシンを構成する

ローカルマシンにVirtualBoxとVagrantが既にインストールされているとすると、これは、構築する仮想マシンを表すマニフェスト(Vagrantfile)です。

このマニフェストは、「airflow-vm」(ホスト名)がどの ように見えるかを指定します。

  • ubuntu / xenial64画像に基づく
  • 4GBのRAM
  • IP192.168.1.200を使用
  • / opt / airflowの下に共有フォルダー(Vagrantfileと同じパスで作成する必要があります)をマウントします

vagrant up
vagrant ssh

次に、この新しいVMにDockerをインストールします。次のように入力して、公式のdocker-installスクリプトを使用します。

curl -fsSL https://get.docker.com -o get-docker.sh\
sh get-docker.sh\

sudo docker run hello-world

このセクションでは、公式のDockerイメージ(v2.0安定版)から始めて、その上に薄いレイヤーを追加し、管理者アカウントを自動的に作成し、LocalExecutorを介した並列処理を有効にするために外部Postgresデータベースを簡単に構成します。

アプローチ

最後から始めましょう(そうです、ノーランはテネットで私の考えを変えました)。私たちの目標は、Airflow 2(Webサーバーとスケジューラーを別々にデプロイできますが、この記事ではオールインワンソリューションの方が適切かもしれません)とPostgresデータベースで構成されるスタックを作成することです。次のdocker-composeファイルを使用します。

ここでは、postgres(データベース)とサーバー(エアフロー)の2つのサービスを定義しています。

分解しましょう!

アプローチ—Postgresデータベース

クレジット:PostgreSQLのWebサイト

postgres:
  image: postgres:12-alpine
  env_file:
    - postgres.env
  volumes:
    - postgres:/data/postgres
    - ./scripts/postgres/:/docker-entrypoint-initdb.d/

POSTGRES_USER=airflow
POSTGRES_PASSWORD=<db_pass_here>
POSTGRES_DB=airflow
PGDATA=/data/postgres

CREATE TABLE airflow__extra_conf(
  conf_name  VARCHAR (255) PRIMARY KEY,
  conf_value VARCHAR (255) NOT NULL
);

アプローチ—Airflowサーバー

クレジット:Apache AirflowWebサイト

server:
  image: airflow2-docker:1.0.0 # build this first
  env_file:
    - airflow.env
    - airflow_db.env
  ports:
    - "8080:8080"
  volumes:
    - ./dags:/opt/airflow/dags

これは、ニーズに基づいて拡張できる最小限のairflow.envです。

# -- CORE
AIRFLOW__CORE__EXECUTOR=LocalExecutor
AIRFLOW__CORE__LOAD_EXAMPLES=False
# -- WEBSERVER
AIRFLOW__WEBSERVER_BASE_URL=http://192.168.1.200 # here your VM IP
# -- SCHEDULER
AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL=60
# -- ADMIN
SECURITY__ADMIN_USERNAME=<admin_username>
SECURITY__ADMIN_FIRSTNAME=<admin_firstname>
SECURITY__ADMIN_LASTNAME=<admin_lastname>
SECURITY__ADMIN_EMAIL=<admin_email>
SECURITY__ADMIN_PASSWORD=<admin_password>

airflow_db.envには、前の手順で設定した外部データベース情報が含まれています。

# -- DB
DB__HOST=airflow_postgres #docker stack name + _postgres
DB__PORT=5432
DB__USERNAME=airflow
DB__PASSWORD=<db_pass_here>
DB__NAME=airflow

Airflow 2 Dockerfile

カスタムAirflow画像がどのように見えるか見てみましょう:

FROM apache/airflow:2.0.0-python3.7
USER root
# INSTALL TOOLS
RUN apt-get update \
&& apt-get -y install libaio-dev \
&& apt-get install postgresql-client
RUN mkdir extra
USER airflow
# COPY SQL SCRIPT
COPY scripts/airflow/check_init.sql ./extra/check_init.sql
COPY scripts/airflow/set_init.sql ./extra/set_init.sql
# ENTRYPOINT SCRIPT
COPY scripts/airflow/init.sh ./init.sh
ENTRYPOINT ["./init.sh"]

データベースが利用可能になると、スクリプトは管理者ユーザーが存在するかどうかを確認します。airflow__extra_confテーブルを覚えていますか?これは、正しいサーバーの初期化を決定するフラグを格納するために使用されます。

check_init.sqlを見てみましょう:

SELECT count(conf_name) FROM airflow__extra_conf WHERE conf_name='IS_INITIALIZED';

INSERT INTO airflow__extra_conf VALUES('IS_INITIALIZED','1');

最終的なプロジェクト構造は次のようになります。

/-- Vagrantfile
|-- shared
   |-- dags
   |-- scripts
      |-- airflow
         -- check_init.sql
         -- set_init.sql
         -- init.sh
      |-- postgres
         -- 00_init.sql
    -- Dockerfile
    -- docker-compose.yaml
    -- airflow.env
    -- airflow_db.env
    -- postgres.env

IP、dbパスワード、および管理者資格情報を変更して環境変数ファイルを変更したとすると、Dockerを使用してAirflowをデプロイする準備が整います。

cd /opt/airflow
sudo docker stack deploy -c docker-compose.yaml airflow

sudo docker service logs -f airflow_server

ブラウザを開き、192.168.1.200:8080に移動します。管理者の資格情報とVoilàを入力してください!

次は何ですか?

これで、DAGをdagsフォルダーにアップロードし、UIを介して実行できるようになりました。

次の記事では、Docker Swarmクラスターをセットアップし、DockerSwarmOperatorを使用してクラスター間で負荷を分散する方法について説明します。

提案された投稿

待ちの季節にできること(テクノロジー業界での最初の仕事に就くのを待っているとき)

待ちの季節にできること(テクノロジー業界での最初の仕事に就くのを待っているとき)

新しいキャリアへの転職は、一人でやろうとすると非常に困難になる可能性があります。あなたと同じ学習レベルにあり、同様の目標、粘り強さ、意欲を共有する責任パートナーを見つけることが重要です。

役職獲得に役立つ無料の技術プログラム

役職獲得に役立つ無料の技術プログラム

サイバーセキュリティの問題は世界的な懸念事項であり、さまざまな組織、政府、NGO が現在、より多くの人々がサイバーセキュリティ分野でのキャリアを追求することを奨励するために無料のトレーニングやプログラムを提供しています。無料の技術トレーニングやプログラムの恩恵を受けてきた私は、他の人が興味を持ちそうな無料のコース、トレーニング、ブートキャンプ、インターンシップのリストをまとめました。

関連記事

危険な会話

危険な会話

私たちがこの地球上で繁栄し続けたいのであれば、危険な会話をしなければなりません。私たちがこれまでやってきたこと、現在行っていること、そして現在継続して行う予定の(または計画している)ことに挑戦するものです。

ジョーダン・ニーリー殺害と「愛国的」人種差別の問題

米国は、人種差別的な行動と善良な米国人であることを同一視しないという重要な一歩を踏み出すことができるだろうか?

ジョーダン・ニーリー殺害と「愛国的」人種差別の問題

[警告: このエッセイには、ジョーダン ニーリー殺害の犯人を賞賛する人々のスクリーンショットが含まれています。] 法執行当局はついに、そしておそらくはしぶしぶではありましたが、ジョーダン ニーリーを死ぬまで首を絞めた男、ダニエル ペニーをその殺人罪で起訴しました。

ライティングスキルを向上させる実証済みの 3 つの方法

書くことの利点とそれを助けるための戦略

ライティングスキルを向上させる実証済みの 3 つの方法

2022 年には GPT-3 がリリースされるため、ライティング スキルの重要性は低くなるようです。AI を使えば、文章が苦手な人でも質の高い人材を生み出すことができます。

24 年度に炭素除去に資金を提供

経路全体にわたる Carbon180 の割り当てリクエストの内訳

24 年度に炭素除去に資金を提供

アリソン・リー著、マネージング政府問題顧問 連邦政府の年次歳出プロセスは、二酸化炭素除去 (CDR) に資金を提供する取り組みの中心です。毎年、Carbon180 は、来年の資金がどこに流れるかの指針となるよう、さまざまな議会事務所に要望書を提出しています。