Präfekt + Dask

oder: Wie ich gelernt habe, mich nicht mehr zu sorgen und verteiltes Computing zu lieben

Da Prefect Open-Source war , war eine der häufigsten Fragen:

Wie stelle ich einen Präfektenfluss bereit?

Die Prefect-Engine verfügt über einfache Hooks zum Konfigurieren eines von Ihnen bevorzugten Bereitstellungsmodells. Wir arbeiten intensiv daran, die Speicherung, Bereitstellung und Ausführung von Flows in benutzerdefinierten Umgebungen noch einfacher zu gestalten. Dies sind genau die gleichen Hooks, die wir in Prefect Cloud verwenden (melden Sie sich hier für die Vorschau an !), Aber wenn Sie in sich selbst eintauchen möchten, können Sie sie heute nutzen .

Um Ihnen den Einstieg zu erleichtern, schreibe ich eine Reihe von Beiträgen, um Ihre Fragen zur Bereitstellung zu beantworten. Beginnen Sie mit:

Wie führe ich Prefect in einem verteilten Dask-Cluster aus ?

Präfekt + Dask

Wir lieben Dask und du solltest es auch!

Dask ist ein System für verteiltes Computing, das sich nahtlos von Ihrem Laptop zu riesigen Clustern skalieren lässt. Prefect wurde für Dask entwickelt und ist der Standard-Executor in Prefect Cloud. Bei der Ausführung auf Dask können Prefect-Aufgaben asynchron mit einer Latenz von Millisekunden gestartet und parallel ausgeführt werden (bis zu der Anzahl der Mitarbeiter, die Sie haben). Sobald Sie Prefect mit Dask verwendet haben, wird sich das Ausführen von Workflows auf andere Weise… prähistorisch anfühlen.

Starten eines Dask-Clusters

Um sofort mit Dask zu beginnen, starten Sie einfach einen Cluster mit zwei Mitarbeitern auf Ihrem lokalen Computer (alles, was Sie benötigen , wird mit Prefect installiert ):

Präfekt konfigurieren

Das Konfigurieren von Prefect für die Ausführung mit Dask ist so einfach wie das Festlegen von zwei Umgebungsvariablen, von denen eine den Dask-Executor aktiviert und eine andere auf den Cluster zeigt:

Jetzt können Sie Prefect starten und jeder von Ihnen ausgeführte Flow wird in Ihrem Cluster ausgeführt!

Weiterführende Literatur

Schauen Sie sich das aus voller Dask Tutorial in unserer docs um mehr zu erfahren, einschließlich:

  • Code für alle Beispiele
  • So speichern Sie Flows in Skripten und führen sie über die Befehlszeile aus
  • So führen Sie Flows automatisch nach einem Zeitplan aus

Suggested posts

So führen Sie ChatGPT-Plugins kostenlos mit Langchain aus

So führen Sie ChatGPT-Plugins kostenlos mit Langchain aus

Sie haben sicher schon von allen neuen leistungsstarken ChatGPT-Plugins wie Browser, Code Interpreter usw. gehört. Es gibt jedoch ein Problem: Der Zugriff auf Plugins ist auf eine Warteliste beschränkt und viele haben daher keinen Zugriff darauf.

Meine am häufigsten verwendeten Codierungsressourcen

Meine am häufigsten verwendeten Codierungsressourcen

Diese Woche erhielt ich eine E-Mail von einem Mitglied der täglichen E-Mail-Liste. Sie wollten wissen: Welche Ressourcen besuchen Sie täglich, wöchentlich und monatlich? Tolle Frage! Ich versuche gerne, einige Einblicke in meinen Arbeitsablauf und die wichtigsten Ressourcen, die ich verwende, mit Ihnen zu teilen.

Related posts

Die „Learning at Work Week“ ist wichtiger als Sie denken

Die „Learning at Work Week“ ist wichtiger als Sie denken

Es fällt uns oft schwer, das umzusetzen, von dem wir wissen, dass es gut für uns ist. Von der Aussage, dass wir einen Lebensgefährten lieben, bis hin zur Erinnerung daran, wie ein Pirat zu reden – es wird immer diejenigen geben, die behaupten, dass ein Tag, eine Woche oder ein Monat voller Ereignisse nicht nötig sei, weil sie diese Dinge bereits tun.

Sammeln von OSINT für die Bedrohungssuche

Sammeln von OSINT für die Bedrohungssuche

Hallo, Cyber-Enthusiasten! Willkommen zurück bei der OSINT-Serie zur Bedrohungsjagd. Im ersten Artikel habe ich Ihnen einen Überblick über OSINT und seine Bedeutung bei der Bedrohungsjagd gegeben.

Warum manche Freiberufler ihr Leben vortäuschen

Warum manche Freiberufler ihr Leben vortäuschen

Ich war kürzlich auf Linkedin, dem weltweit größten professionellen sozialen Netzwerk, und habe Beiträge von freiberuflichen Designern gefunden, denen ich folge und die meine Aufmerksamkeit erregt haben. Sie alle haben Fotos aus Flugzeugen, am Strand mit ihren Laptops, aus Schwimmbädern und Büros mit atemberaubender Aussicht gepostet.

GRENZENLOSES LEBEN

Wenn man erwachsen wird, wird einem oft gesagt, dass die Welt so ist, wie sie ist, und dass das Leben nur darin besteht, sein Leben in der Welt zu leben, niemals sein Leben zu riskieren, einfach einem festgelegten Weg zu folgen und am Ende zu sterben, und versucht, es nicht zu tun Schlage zu viel gegen die Wände. Aber das ist ein sehr begrenztes Leben.