Menyiapkan Apache Airflow 2 dengan Docker

Panduan langkah demi langkah untuk menyiapkan versi baru orkestrator tugas terkenal dengan menggunakan Docker

pengantar

Sebuah Pache Airflow 2 akhirnya keluar. Di antara fitur-fitur baru yang diumumkan (penjadwal baru, REST API yang stabil, dan banyak lagi), Dockerfile yang siap produksi telah dirilis. Ini memungkinkan pengembang untuk menyebarkan Airflow menggunakan teknologi cloud modern daripada menginstalnya pada logam kosong.

Pada artikel ini kita akan melihat cara membuat lingkungan lokal menggunakan VirtualBox dan Vagrant , menginstal Docker dan menerapkan wadah Airflow yang siap produksi. Ayo mulai!

Lingkungan lokal

Di bagian ini kita akan melihat cara membuat mesin virtual, menginstal buruh pelabuhan dan mengkonfigurasi folder bersama untuk dengan mudah mengakses file lokal di mesin tamu. Jangan ragu untuk melewati bagian ini jika Anda tidak ingin menggunakan VM untuk eksperimen Anda.

Konfigurasi mesin virtual

Dengan asumsi Anda telah menginstal VirtualBox dan Vagrant di mesin lokal Anda, ini adalah manifes ( Vagrantfile ) yang mewakili mesin virtual yang ingin kami buat:

Manifes ini menentukan bagaimana " airflow-vm" (nama host) harus terlihat seperti:

  • berdasarkan gambar ubuntu / xenial64
  • RAM 4 GB
  • menggunakan IP 192.168.1.200
  • mount folder bersama (harus dibuat di jalur yang sama dengan Vagrantfile ) di bawah / opt / airflow

vagrant up
vagrant ssh

Sekarang saatnya menginstal Docker di VM baru ini. Kami akan menggunakan script docker-install resmi dengan mengetik:

curl -fsSL https://get.docker.com -o get-docker.sh\
sh get-docker.sh\

sudo docker run hello-world

Pada bagian ini kita akan mulai dari image Docker resmi (v2.0 stable) menambahkan lapisan tipis di atasnya untuk secara otomatis membuat akun admin dan dengan mudah mengkonfigurasi database eksternal Postgres untuk mengaktifkan paralelisme melalui Local Executor.

Pendekatan

Mari kita mulai dari akhir (ya, Nolan berubah pikiran dengan Tenet). Tujuan kami adalah membuat tumpukan yang disusun oleh Airflow 2 (server web dan penjadwal dapat digunakan secara terpisah, tetapi untuk artikel ini solusi all-in-one mungkin lebih sesuai) dan database Postgres. Kami akan menggunakan file docker-compose berikut :

Di sini kami mendefinisikan 2 layanan: postgres (db kami) dan server (aliran udara).

Mari kita hancurkan!

Pendekatan - database Postgres

Penghargaan: situs web PostgreSQL

postgres:
  image: postgres:12-alpine
  env_file:
    - postgres.env
  volumes:
    - postgres:/data/postgres
    - ./scripts/postgres/:/docker-entrypoint-initdb.d/

POSTGRES_USER=airflow
POSTGRES_PASSWORD=<db_pass_here>
POSTGRES_DB=airflow
PGDATA=/data/postgres

CREATE TABLE airflow__extra_conf(
  conf_name  VARCHAR (255) PRIMARY KEY,
  conf_value VARCHAR (255) NOT NULL
);

Pendekatan - server aliran udara

Penghargaan: situs web Apache Airflow

server:
  image: airflow2-docker:1.0.0 # build this first
  env_file:
    - airflow.env
    - airflow_db.env
  ports:
    - "8080:8080"
  volumes:
    - ./dags:/opt/airflow/dags

Ini dia aliran udara.env minimal yang dapat Anda perpanjang berdasarkan kebutuhan Anda :

# -- CORE
AIRFLOW__CORE__EXECUTOR=LocalExecutor
AIRFLOW__CORE__LOAD_EXAMPLES=False
# -- WEBSERVER
AIRFLOW__WEBSERVER_BASE_URL=http://192.168.1.200 # here your VM IP
# -- SCHEDULER
AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL=60
# -- ADMIN
SECURITY__ADMIN_USERNAME=<admin_username>
SECURITY__ADMIN_FIRSTNAME=<admin_firstname>
SECURITY__ADMIN_LASTNAME=<admin_lastname>
SECURITY__ADMIN_EMAIL=<admin_email>
SECURITY__ADMIN_PASSWORD=<admin_password>

airflow_db.env berisi informasi db eksternal yang telah kita atur di langkah sebelumnya:

# -- DB
DB__HOST=airflow_postgres #docker stack name + _postgres
DB__PORT=5432
DB__USERNAME=airflow
DB__PASSWORD=<db_pass_here>
DB__NAME=airflow

Aliran udara 2 Dockerfile

Mari kita lihat bagaimana gambar Airflow kustom terlihat:

FROM apache/airflow:2.0.0-python3.7
USER root
# INSTALL TOOLS
RUN apt-get update \
&& apt-get -y install libaio-dev \
&& apt-get install postgresql-client
RUN mkdir extra
USER airflow
# COPY SQL SCRIPT
COPY scripts/airflow/check_init.sql ./extra/check_init.sql
COPY scripts/airflow/set_init.sql ./extra/set_init.sql
# ENTRYPOINT SCRIPT
COPY scripts/airflow/init.sh ./init.sh
ENTRYPOINT ["./init.sh"]

Setelah db tersedia, skrip memeriksa apakah ada pengguna admin, bagaimana caranya? Apakah Anda ingat tabel airflow__extra_conf ? ini digunakan untuk menyimpan bendera yang menentukan inisialisasi server yang benar.

Mari kita lihat check_init.sql :

SELECT count(conf_name) FROM airflow__extra_conf WHERE conf_name='IS_INITIALIZED';

INSERT INTO airflow__extra_conf VALUES('IS_INITIALIZED','1');

Struktur proyek akhir harus terlihat seperti berikut:

/-- Vagrantfile
|-- shared
   |-- dags
   |-- scripts
      |-- airflow
         -- check_init.sql
         -- set_init.sql
         -- init.sh
      |-- postgres
         -- 00_init.sql
    -- Dockerfile
    -- docker-compose.yaml
    -- airflow.env
    -- airflow_db.env
    -- postgres.env

Dengan asumsi Anda telah mengubah file variabel lingkungan dengan mengubah IP, kata sandi db, dan kredensial admin, Anda siap untuk menerapkan Airflow menggunakan Docker .

cd /opt/airflow
sudo docker stack deploy -c docker-compose.yaml airflow

sudo docker service logs -f airflow_server

Buka browser Anda dan buka 192.168.1.200:8080 . Masukkan kredensial admin Anda dan Voila!

Apa berikutnya?

Sekarang Anda dapat mengunggah DAG Anda di folder dags dan menjalankannya melalui UI.

Pada artikel berikutnya kita akan melihat cara mengatur cluster Docker Swarm dan mendistribusikan beban di antaranya menggunakan DockerSwarmOperator.

Suggested posts

Apa yang dapat Anda lakukan di musim menunggu (menunggu untuk mendapatkan pekerjaan pertama Anda di bidang teknologi)

Apa yang dapat Anda lakukan di musim menunggu (menunggu untuk mendapatkan pekerjaan pertama Anda di bidang teknologi)

Beralih ke karir baru bisa sangat menantang jika Anda mencoba melakukannya sendiri. Penting untuk menemukan mitra akuntabilitas yang memiliki tingkat pembelajaran yang sama dengan Anda, yang memiliki tujuan, keuletan, dan dorongan yang sama.

Program teknologi gratis yang dapat membantu Anda mendapatkan peran

Program teknologi gratis yang dapat membantu Anda mendapatkan peran

Masalah keamanan dunia maya menjadi perhatian global, dan berbagai organisasi, pemerintah, dan LSM kini menyediakan pelatihan dan program gratis untuk mendorong lebih banyak orang mengejar karir di bidang keamanan dunia maya. Sebagai seseorang yang mendapat manfaat dari pelatihan dan program teknologi gratis, saya telah menyusun daftar kursus, pelatihan, kamp pelatihan, dan magang gratis yang mungkin menarik bagi orang lain.

Related posts

HIDUP TANPA BATAS

Ketika Anda tumbuh dewasa, Anda cenderung diberi tahu bahwa dunia adalah apa adanya dan hidup Anda hanya untuk menjalani hidup Anda di dunia, tidak pernah mempertaruhkan hidup Anda, ikuti saja jalan yang ditetapkan dan pada akhirnya mati, dan cobalah untuk tidak melakukannya. hancurkan tembok terlalu banyak. Tapi itu kehidupan yang sangat terbatas.

Pembunuhan Jordan Neely dan Masalah Rasisme “Patriotik”.

Bisakah AS mengambil langkah penting untuk tidak menyamakan perilaku rasis dengan menjadi orang Amerika yang baik?

Pembunuhan Jordan Neely dan Masalah Rasisme “Patriotik”.

[Peringatan pemicu: Esai ini mencakup tangkapan layar orang-orang yang memuji pembunuh Jordan Neely.] Petugas penegak hukum akhirnya - dan mungkin dengan enggan - menuntut Daniel Penny, pria yang mencekik Jordan Neely sampai dia mati, atas pembunuhan itu.

Mengapa beberapa pekerja lepas memalsukan hidup mereka

Mengapa beberapa pekerja lepas memalsukan hidup mereka

Saya baru-baru ini berada di Linkedin, jejaring sosial profesional terbesar di dunia, dan menemukan postingan dari desainer lepas yang saya ikuti yang menarik perhatian saya. Mereka semua memposting foto dari pesawat terbang, di pantai dengan laptop mereka, dari kolam renang, dan kantor dengan pemandangan menakjubkan.

Revolusi Tempat Kerja: Para Ahli Teratas Membahas Kerja Hibrid dan Jarak Jauh

Revolusi Tempat Kerja: Para Ahli Teratas Membahas Kerja Hibrid dan Jarak Jauh

Dalam lanskap bisnis yang berkembang pesat saat ini, konsep kerja hibrid dan jarak jauh telah mendapatkan momentum yang belum pernah terjadi sebelumnya. Saat perusahaan terus beradaptasi dengan perubahan kebutuhan dan harapan karyawan mereka, para ahli dari berbagai bidang berkumpul untuk membahas manfaat, tantangan, dan masa depan cara kerja transformatif ini.