Préfet + Dask

ou: Comment j'ai appris à arrêter de m'inquiéter et à aimer l'informatique distribuée

Depuis que Prefect était open-source , l'une des questions les plus courantes a été:

Comment déployer un flux Prefect?

Le moteur Prefect a des crochets simples pour configurer n'importe quel modèle de déploiement que vous préférez, et nous faisons beaucoup de travail pour rendre le stockage, le déploiement et l'exécution en flux dans des environnements personnalisés encore plus faciles. Ce sont exactement les mêmes crochets que nous utilisons dans Prefect Cloud (inscrivez-vous pour l'aperçu ici !), Mais si vous voulez plonger en vous-même, vous pouvez en profiter dès aujourd'hui .

Pour vous aider à démarrer, je vais écrire une série d'articles pour répondre à vos questions relatives au déploiement, en commençant par:

Comment exécuter Prefect dans un cluster Dask distribué ?

Préfet + Dask

Nous aimons Dask , et vous devriez aussi!

Dask est un système informatique distribué qui évolue de manière transparente de votre ordinateur portable à d'immenses clusters. Prefect a été conçu pour Dask et c'est l'exécuteur par défaut de Prefect Cloud. Lorsqu'elles s'exécutent sur Dask, les tâches Prefect peuvent se lancer de manière asynchrone, avec une latence de l'ordre de la milliseconde, et s'exécuter en parallèle (jusqu'au nombre de nœuds de calcul dont vous disposez). En fait, une fois que vous avez utilisé Prefect avec Dask, exécuter des workflows d'une autre manière vous semblera… préhistorique.

Lancement d'un cluster Dask

Pour commencer immédiatement avec Dask, lancez simplement un cluster avec deux travailleurs sur votre machine locale (tout ce dont vous avez besoin est installé avec Prefect ):

Configurer Prefect

Configurer Prefect pour qu'il s'exécute avec Dask est aussi simple que de définir deux variables d'environnement, l'une activant l'exécuteur Dask et l'autre pointant vers le cluster:

Vous pouvez maintenant lancer Prefect et tout flux que vous exécutez s'exécutera dans votre cluster!

Lectures complémentaires

Consultez le didacticiel Dask complet dans nos documents pour en savoir plus, notamment:

  • code pour tous les exemples
  • comment enregistrer des flux dans des scripts et les exécuter à partir de la ligne de commande
  • comment exécuter automatiquement des flux selon une planification

Suggested posts

Comment exécuter gratuitement les plugins ChatGPT avec Langchain

Comment exécuter gratuitement les plugins ChatGPT avec Langchain

Vous devez avoir entendu parler de tous les nouveaux plugins ChatGPT puissants comme le navigateur, l'interpréteur de code, etc. Mais il y a un problème, l'accès aux plugins est limité à une liste d'attente et donc beaucoup n'y ont pas accès.

Mes ressources de codage les plus utilisées

Mes ressources de codage les plus utilisées

Cette semaine, j'ai reçu un e-mail d'un membre de la liste de diffusion quotidienne. Ils voulaient savoir : Quelles ressources consultez-vous quotidiennement, hebdomadairement et mensuellement ? Grande question ! Je suis heureux d'essayer de partager quelques idées sur mon flux de travail et les principales ressources que j'utilise.

Related posts

Deux ans en design - Le bon, le mauvais et le laid…

Deux ans en design - Le bon, le mauvais et le laid…

"Hey Siri, joue Me Dive d'Olivia Dean." C'était en mai 2021 lorsque j'ai commencé mon stage à la Future Academy Africa à Akure, au Nigeria.

Recherche d'informations sur les noms de domaine

Un extrait de Small, Sharp Software Tools par Brian P. Hogan

Recherche d'informations sur les noms de domaine

Lorsque vous faites une demande à facebook.com, votre ordinateur recherche le nom de domaine pour traduire ce nom de domaine en une adresse IP afin que votre ordinateur puisse établir cette connexion.

Le défi de lecture Goodreads est toxique

Le défi de lecture Goodreads est toxique

La démangeaison dans ma main s'est propagée alors que je négociais avec le libraire local pour un autre livre. Ce livre, comme les autres que j'ai achetés récemment, trouverait son trône sur ma pile «À lire» (TBR); et pourtant, je l'ai acheté.

La persécution des chrétiens : le crime de haine dont nous ne parlons pas

Oubliez l'islamophobie : les chrétiens (et les juifs) sont les principales victimes des crimes de haine religieuse.

La persécution des chrétiens : le crime de haine dont nous ne parlons pas

Tout esprit rationnel sait que les milieux politiques et médiatiques sont dominés par la gauche, voire l'extrême gauche, un état de fait qui crée un déséquilibre dans le discours politique. Dans le domaine religieux, ce déséquilibre est bien visible : les journaux et les réseaux de gauche ne se précipitent pas pour défendre la foi chrétienne.