Większość samouczków w interwebach wokół DockerOperatorjest niesamowita, ale mają brakujące łącze, które chcę tutaj dzisiaj omówić, ponieważ żaden z nich nie zakłada, że używasz Apache Airflow z Docker Compose .
Wszystkie kody tutaj i dalsze instrukcje znajdują się w repo fclesio / airflow-docker-operator-with-compose .
a) Najpierw utwórz kontener z usługą sieciową i utwórz airflowużytkownika, jak opisano w oficjalnej dokumentacji :
Wynik powinien być mniej więcej taki jak na poniższym obrazku:
b) Po wykonaniu tej początkowej konfiguracji uruchom usługę sieciową i inne komponenty za pośrednictwem docker-compose:
Po uruchomieniu poniższej instrukcji możesz sprawdzić kontenery platformy Docker przy użyciu docker container ps. Wynik powinien być mniej więcej podobny do następującego:
c) Gdy wszystkie kontenery są uruchomione i uruchomione, przejdźmy do interfejsu użytkownika Airflow, używając airflowjako loginu i hasła:
d) W interfejsie użytkownika Airflow znajdziesz DAG związany z operatorem Dockera:
e) Wznów DAG:
f) Kliknij DAG i przejdź do trybu wykresu:
Zobaczysz dwa wykonywane zadania. To jest następujący kod DAG:
Jak widać, wykonujemy jedną sleepinstrukcję, a drugą echoinstrukcję. [N1]
W trakcie realizacji będzie to wynik docker container pspolecenia:
Na tym obrazku widać, że każde zadanie ma swój własny kontener. Nazwałam każde z tych zadań za pomocą container_nameatrybutu w zadaniu. Zdecydowanie zalecamy, aby zawsze umieszczać nazwę w kontenerze dla każdego zadania, ponieważ jeśli masz jakiś kontener wykonujący jakieś nieoczekiwane rzeczy ( np. Nieskończona pętla, zajmuje dużo czasu itp.), Bardzo trudno będzie zdebugować jakiś nienazwany kontener.
g) Dokonałem niewielkiej zmiany w DAG i dołączyłem dwa echooświadczenia, aby pokazać, w jaki sposób te informacje zostaną zwrócone do dzienników Airflow. Po prostu skopiuj i wklej poniższy kod w swoim DAG:
Istnieją dwie echoinstrukcje, które wyślemy do każdego kontenera odpowiedzialnego za zadanie. Jeden z helloa drugi z world:
h) Odśwież i uruchom DAG:
i) Sprawdź wykonanie w DAG za pomocą widoku wykresu:
Wykonanie na moim komputerze przebiegło dość szybko, ale możemy sprawdzić wyniki każdego zadania, przeglądając dzienniki.
Jeśli klikniemy na docker_command_hellozadanie i wybierzemy opcję logs, zobaczymy wynik naszegocommand
I ten sam wynik uzyskamy również w docker_command_worldzadaniu:
j) Na koniec eksperymentu po prostu uruchom docker-compose downi zatrzymaj wszystkie pojemniki.
airflow ) musi mieć uprawnienia w demonie docker (proste chmodnadanie uprawnień użytkownikowi airflow może rozwiązać ten problem [N2]);dockerfileMożna zamienić pojedynczy obraz na obrazie, który będzie używany przez każdy DAG. Kuszące jest posiadanie „ boskiego obrazu dockera ” ze wszystkimi zależnościami i pakietami, które mogą uruchamiać wszystkie zadania w potoku ELT. Proszę nie rób tego. Obraz będzie niepotrzebnie rozdęty, a kompilacja zajmie dużo czasu (co zostanie odzwierciedlone w umowie SLA);AIRFLOW__CORE__ENABLE__XCOM_PICKLINGpowinna być ustawiona jakotrue ;container_nameatrybutu w pliku DockerOperator. Jest to bardzo ważne, ponieważ jeśli zapomnisz ustalić inne nazwy, możesz mieć konflikt nazw kontenerów i DAG się nie powiedzie (długa historia krótka: z jakiegoś powodu dowiedziałem się, że Airflow próbował ponownie połączyć się w części upstream uruchomione kontenery; co spowodowało pewne konflikty);imageatrybut zawsze przyjmuje najnowsze zdjęcie. Z zasady zdecydowanie zalecam, aby wszystkie obrazy były tworzone wcześniej z najnowszymi Dockerfile. Jeśli chcesz mieć 100% pewność, że praca będzie zawsze używać (faktycznego) najnowszego obrazu, rozważ uwzględnienie poprzedniego zadania kompilacji dla swojego obrazu. Coś jak docker build -f path/to/Dockerfile -t yourname/image_name ..Osobiście uważam, że Airflow + Docker to dobre połączenie dla elastycznych, skalowalnych i bezproblemowych środowisk dla zadań ELT / ETL. Niestety, większość implementacji Airflow przy użyciu Docker Compose nie rozważa użycia DockerOperator jako realnej alternatywy dla elastycznego środowiska do orkiestracji zadań.
Osobiście, jeśli chodzi o architekturę ELT / ETL, to połączenie Airflow przy użyciu Docker Compose + DockerOperator uważa, że jest to dobra alternatywa w porównaniu z następującymi (i) CeleryExecutorze względu na fakt, że nie musimy zajmować się aprowizacją pracowników, (ii) ze względu na jego nieodłączną złożoność oraz (iii) zarządzanie tymi zadaniami przy użyciu Docker Swarm z jego ograniczeniami dotyczącymi obsługi administracyjnej i możliwości odzyskiwania po awarii.KubernetesPodOperator / KubernetesExecutor
Przydatne linki, których użyłem podczas tego przedsięwzięcia w kolejności ważności.
[N1] - Zrobiłem mały bałagan w nazwach zadań i instrukcjach poleceń.
[N2] - W tym wątku w Reddicie użytkownik dokonał radykalnego rozwiązania dla uprawnień w demonie Dockera hosta za pośrednictwem chmod 777 /var/run/docker.sock. Osobiście tego nie polecam.
W tym artykule postaramy się zadokować prostą aplikację golang CRUD z bazą danych PostgreSQL. Najpierw stwórzmy naszą aplikację.
Jeśli chcesz przeczytać pierwszą część, kliknij tutaj Soo! Hej dobrzy ludzie! Dziękujemy za kontynuację czytania drugiej części serii dotyczącej dokowania aplikacji Golang z bazą danych Postgresql. W ostatnim artykule napisaliśmy prostą aplikację golang CRUD i uruchomiliśmy aplikację poprzez dokeryzację bazy danych postgreSQL.
„Hej, Siri, zagraj w Me Dive autorstwa Olivii Dean”. W maju 2021 rozpocząłem staż w Future Academy Africa w Akure w Nigerii.
(Ostrzeżenie - to jest satyra, która ma być radośnie wywrotowa - zdecydowanie nie dla dzieci) Widziałeś, jak twoja mama i tata chowają się w kuchni i palą śmierdzące papierosy. Mówią ci.
Hej, cyberentuzjaści! Witamy ponownie w serii OSINT poświęconej polowaniu na zagrożenia. W pierwszym artykule przedstawiłem przegląd OSINT i jego znaczenie w polowaniu na zagrożenia.
[Ostrzeżenie: ten esej zawiera zrzuty ekranowe ludzi wychwalających mordercę Jordana Neely'ego.] Funkcjonariusze organów ścigania w końcu - i być może niechętnie - oskarżyli Daniela Penny'ego, człowieka, który dusił Jordana Neely'ego aż do śmierci, o to zabójstwo.