Używanie Apache Airflow DockerOperator z Docker Compose

Większość samouczków w interwebach wokół jest niesamowita, ale mają brakujące łącze, które chcę tutaj dzisiaj omówić, ponieważ żaden z nich nie zakłada, że ​​używasz Apache Airflow z Docker Compose .

Wszystkie kody tutaj i dalsze instrukcje znajdują się w repo fclesio / airflow-docker-operator-with-compose .

Opis przejścia

a) Najpierw utwórz kontener z usługą sieciową i utwórz airflowużytkownika, jak opisano w oficjalnej dokumentacji :

Wynik powinien być mniej więcej taki jak na poniższym obrazku:

b) Po wykonaniu tej początkowej konfiguracji uruchom usługę sieciową i inne komponenty za pośrednictwem docker-compose:

Po uruchomieniu poniższej instrukcji możesz sprawdzić kontenery platformy Docker przy użyciu docker container ps. Wynik powinien być mniej więcej podobny do następującego:

c) Gdy wszystkie kontenery są uruchomione i uruchomione, przejdźmy do interfejsu użytkownika Airflow, używając airflowjako loginu i hasła:

d) W interfejsie użytkownika Airflow znajdziesz DAG związany z operatorem Dockera:

e) Wznów DAG:

f) Kliknij DAG i przejdź do trybu wykresu:

Zobaczysz dwa wykonywane zadania. To jest następujący kod DAG:

Jak widać, wykonujemy jedną sleepinstrukcję, a drugą echoinstrukcję. [N1]

W trakcie realizacji będzie to wynik docker container pspolecenia:

Na tym obrazku widać, że każde zadanie ma swój własny kontener. Nazwałam każde z tych zadań za pomocą container_nameatrybutu w zadaniu. Zdecydowanie zalecamy, aby zawsze umieszczać nazwę w kontenerze dla każdego zadania, ponieważ jeśli masz jakiś kontener wykonujący jakieś nieoczekiwane rzeczy ( np. Nieskończona pętla, zajmuje dużo czasu itp.), Bardzo trudno będzie zdebugować jakiś nienazwany kontener.

g) Dokonałem niewielkiej zmiany w DAG i dołączyłem dwa echooświadczenia, aby pokazać, w jaki sposób te informacje zostaną zwrócone do dzienników Airflow. Po prostu skopiuj i wklej poniższy kod w swoim DAG:

Istnieją dwie echoinstrukcje, które wyślemy do każdego kontenera odpowiedzialnego za zadanie. Jeden z helloa drugi z world:

h) Odśwież i uruchom DAG:

i) Sprawdź wykonanie w DAG za pomocą widoku wykresu:

Wykonanie na moim komputerze przebiegło dość szybko, ale możemy sprawdzić wyniki każdego zadania, przeglądając dzienniki.

Jeśli klikniemy na docker_command_hellozadanie i wybierzemy opcję logs, zobaczymy wynik naszegocommand

I ten sam wynik uzyskamy również w docker_command_worldzadaniu:

j) Na koniec eksperymentu po prostu uruchom docker-compose downi zatrzymaj wszystkie pojemniki.

Kilka praktycznych zastosowań

  • Orkiestracja zadań niezależnych od języka (na przykład obecnie pracuję w potoku danych w całości napisanym w języku Ruby);
  • Przesyłaj zadania dla platform innych firm ( np. AWS Sage Maker, Spark Jobs, Databricks, Azure, itp.);
  • Uruchamiaj modele dbt w izolowanym środowisku ;
  • Konteneryzacja zadań ETL / ELT;
  • Niektóre testy ETL / ELT z soda.sql ;
  • Uwzględnij dodatkowy etap profilowania danych, walidacji i testowania z Wielkimi Oczekiwaniami bez problemów środowiskowych.
  • Jak opisał Marc Lamberti, jeśli obraz dockera nie jest zbudowany w tym samym środowisku lokalnym (np. W pliku roboczym), oznacza to, że będzie musiał zostać pobrany, co zwiększy SLA;
  • Użytkownik kontenera docker ( w tym przykładzie był to użytkownik ) musi mieć uprawnienia w demonie docker (proste chmodnadanie uprawnień użytkownikowi airflow może rozwiązać ten problem [N2]);
  • Można zamienić pojedynczy obraz na obrazie, który będzie używany przez każdy DAG. Kuszące jest posiadanie „ boskiego obrazu dockera ” ze wszystkimi zależnościami i pakietami, które mogą uruchamiać wszystkie zadania w potoku ELT. Proszę nie rób tego. Obraz będzie niepotrzebnie rozdęty, a kompilacja zajmie dużo czasu (co zostanie odzwierciedlone w umowie SLA);
  • Ze względu na problem w implementacji DockerOperator opcja powinna być ustawiona jako ;
  • Musimy przekazać łącze URL hosta, na którym działa demon Docker, jako wolumin, aby umożliwić kontenerom serwera WWW uruchomienie obrazów dockera ;
  • Nie zapomnij ustalić atrybutu w pliku . Jest to bardzo ważne, ponieważ jeśli zapomnisz ustalić inne nazwy, możesz mieć konflikt nazw kontenerów i DAG się nie powiedzie (długa historia krótka: z jakiegoś powodu dowiedziałem się, że Airflow próbował ponownie połączyć się w części upstream uruchomione kontenery; co spowodowało pewne konflikty);
  • Domyślnie atrybut zawsze przyjmuje najnowsze zdjęcie. Z zasady zdecydowanie zalecam, aby wszystkie obrazy były tworzone wcześniej z najnowszymi Dockerfile. Jeśli chcesz mieć 100% pewność, że praca będzie zawsze używać (faktycznego) najnowszego obrazu, rozważ uwzględnienie poprzedniego zadania kompilacji dla swojego obrazu. Coś jak docker build -f path/to/Dockerfile -t yourname/image_name ..
  • O ile sprawdziłem kod źródłowy implementacji Dockera , Airflow używa pewnego rodzaju wiązania w gnieździe Dockera, aby uruchomić kontener. Nie jestem w 100% pewien, ale oznacza to, że Airflow nie robi Docker-in-Docker, co mogłoby prowadzić do innych mnóstwa problemów .

Osobiście uważam, że Airflow + Docker to dobre połączenie dla elastycznych, skalowalnych i bezproblemowych środowisk dla zadań ELT / ETL. Niestety, większość implementacji Airflow przy użyciu Docker Compose nie rozważa użycia DockerOperator jako realnej alternatywy dla elastycznego środowiska do orkiestracji zadań.

Osobiście, jeśli chodzi o architekturę ELT / ETL, to połączenie Airflow przy użyciu Docker Compose + DockerOperator uważa, że ​​jest to dobra alternatywa w porównaniu z następującymi (i) ze względu na fakt, że nie musimy zajmować się aprowizacją pracowników, (ii) ze względu na jego nieodłączną złożoność oraz (iii) zarządzanie tymi zadaniami przy użyciu Docker Swarm z jego ograniczeniami dotyczącymi obsługi administracyjnej i możliwości odzyskiwania po awarii. /

Bibliografia

Przydatne linki, których użyłem podczas tego przedsięwzięcia w kolejności ważności.

  • Uruchamianie Airflow w Dockerze
  • Jak mogę użyć DockerOperator w Airflow, czy już używam Airflow w Dockerze?
  • Używasz platformy Docker-in-Docker do CI lub środowiska testowego? Pomyśl dwa razy.
  • Jak używać DockerOperator w Apache Airflow
  • Jak korzystać z przepływu powietrza bez bólów głowy
  • Docker Thanos (używaj go ostrożnie)
  • DockerOperator Nie można serializować wartości XCom do formatu JSON
  • Czy można uruchomić docker z wewnątrz dockera?
  • chmod nie działa poprawnie w Dockerze
  • Airflow DockerOperator: connect sock.connect (self.unix_socket) FileNotFoundError: [Errno 2] Nie ma takiego pliku lub katalogu
  • Jak zamontować gniazdo Dockera jako wolumin w kontenerze Dockera z odpowiednią grupą
  • Problem z uprawnieniami do uruchamiania polecenia docker w podprocesie Python za pośrednictwem Apache Airflow
  • Jak uruchomić platformę Docker w kontenerze platformy Docker

[N1] - Zrobiłem mały bałagan w nazwach zadań i instrukcjach poleceń.

[N2] - W tym wątku w Reddicie użytkownik dokonał radykalnego rozwiązania dla uprawnień w demonie Dockera hosta za pośrednictwem chmod 777 /var/run/docker.sock. Osobiście tego nie polecam.

Suggested posts

DevOps-1: Dokeruj swoją aplikację Golang z bazą danych PostgreSQL.

DevOps-1: Dokeruj swoją aplikację Golang z bazą danych PostgreSQL.

W tym artykule postaramy się zadokować prostą aplikację golang CRUD z bazą danych PostgreSQL. Najpierw stwórzmy naszą aplikację.

DevOps-2: Dokeruj swoją aplikację Golang z bazą danych PostgreSQL.

DevOps-2: Dokeruj swoją aplikację Golang z bazą danych PostgreSQL.

Jeśli chcesz przeczytać pierwszą część, kliknij tutaj Soo! Hej dobrzy ludzie! Dziękujemy za kontynuację czytania drugiej części serii dotyczącej dokowania aplikacji Golang z bazą danych Postgresql. W ostatnim artykule napisaliśmy prostą aplikację golang CRUD i uruchomiliśmy aplikację poprzez dokeryzację bazy danych postgreSQL.

Related posts

Dwa lata projektowania – dobre, złe i brzydkie…

Dwa lata projektowania – dobre, złe i brzydkie…

„Hej, Siri, zagraj w Me Dive autorstwa Olivii Dean”. W maju 2021 rozpocząłem staż w Future Academy Africa w Akure w Nigerii.

Pierwsza książka dla dzieci o tym, jak się naćpać

Pierwsza książka dla dzieci o tym, jak się naćpać

(Ostrzeżenie - to jest satyra, która ma być radośnie wywrotowa - zdecydowanie nie dla dzieci) Widziałeś, jak twoja mama i tata chowają się w kuchni i palą śmierdzące papierosy. Mówią ci.

Zbieranie OSINT na potrzeby polowania na zagrożenia

Zbieranie OSINT na potrzeby polowania na zagrożenia

Hej, cyberentuzjaści! Witamy ponownie w serii OSINT poświęconej polowaniu na zagrożenia. W pierwszym artykule przedstawiłem przegląd OSINT i jego znaczenie w polowaniu na zagrożenia.

Zabójstwo Jordana Neely'ego i problem „patriotycznego” rasizmu

Czy Stany Zjednoczone mogą zrobić zasadniczy krok, by nie utożsamiać zachowania rasistowskiego z byciem dobrym Amerykaninem?

Zabójstwo Jordana Neely'ego i problem „patriotycznego” rasizmu

[Ostrzeżenie: ten esej zawiera zrzuty ekranowe ludzi wychwalających mordercę Jordana Neely'ego.] Funkcjonariusze organów ścigania w końcu - i być może niechętnie - oskarżyli Daniela Penny'ego, człowieka, który dusił Jordana Neely'ego aż do śmierci, o to zabójstwo.