Prefetto + Dask

oppure: Come ho imparato a smettere di preoccuparmi e ad amare il calcolo distribuito

Poiché Prefect era open source , una delle domande più comuni è stata:

Come si distribuisce un flusso Prefect?

Il motore Prefect ha semplici hook per configurare qualsiasi modello di distribuzione che preferisci e stiamo facendo molto lavoro per rendere ancora più semplice l'archiviazione del flusso, la distribuzione e l'esecuzione in ambienti personalizzati. Questi sono gli stessi identici hook che usiamo in Prefect Cloud (registrati per l'anteprima qui !), Ma se vuoi immergerti da solo, puoi approfittarne oggi .

Per aiutarti a iniziare, scriverò una serie di post per rispondere alle tue domande relative alla distribuzione, iniziando con:

Come si esegue Prefect in un cluster Dask distribuito ?

Prefetto + Dask

Adoriamo Dask e dovresti farlo anche tu!

Dask è un sistema per l'elaborazione distribuita che si adatta perfettamente dal tuo laptop a immensi cluster. Prefect è stato progettato per Dask ed è l'esecutore predefinito in Prefect Cloud. Quando sono in esecuzione su Dask, le attività di Prefect possono essere avviate in modo asincrono, con una latenza di millisecondi ed essere eseguite in parallelo (fino al numero di worker di cui disponi). In effetti, una volta utilizzato Prefect con Dask, eseguire flussi di lavoro in qualsiasi altro modo sembrerà ... preistorico.

Avvio di un cluster Dask

Per iniziare subito con Dask, avvia semplicemente un cluster con due worker sulla tua macchina locale (tutto ciò di cui hai bisogno viene installato con Prefect ):

Configurazione del prefetto

Configurare Prefect per l'esecuzione con Dask è semplice come impostare due variabili di ambiente, una che abilita l'esecutore di Dask e un'altra che punta al cluster:

Ora puoi avviare Prefect e qualsiasi flusso che esegui verrà eseguito nel tuo cluster!

Ulteriori letture

Controlla il tutorial completo Dask nei nostri documenti per saperne di più, tra cui:

  • codice per tutti gli esempi
  • come salvare i flussi negli script ed eseguirli dalla riga di comando
  • come eseguire automaticamente i flussi in base a una pianificazione

Suggested posts

Come eseguire i plug-in ChatGPT gratuitamente utilizzando Langchain

Come eseguire i plug-in ChatGPT gratuitamente utilizzando Langchain

Devi aver sentito parlare di tutti i nuovi potenti plug-in ChatGPT come Browser, Code Interpreter ecc. Ma c'è un problema, l'accesso ai plug-in è limitato a una lista di attesa e quindi molti non hanno accesso ad essa.

Le mie risorse di codifica più utilizzate

Le mie risorse di codifica più utilizzate

Questa settimana ho ricevuto un'e-mail da un membro della mailing list quotidiana. Volevano sapere: quali risorse visiti giornalmente, settimanalmente e mensilmente? Ottima domanda! Sono felice di provare a condividere alcune informazioni sul mio flusso di lavoro e sulle migliori risorse che utilizzo.

Related posts

La lenta erosione: svelare i modi in cui le persone deperiscono nella loro carriera

La lenta erosione: svelare i modi in cui le persone deperiscono nella loro carriera

Nel mondo frenetico e competitivo di oggi, la propria carriera gioca un ruolo significativo nella crescita personale, nella stabilità finanziaria e nella soddisfazione generale della vita. Tuttavia, molte persone si trovano intrappolate in un ciclo inesorabile di stagnazione e insoddisfazione, che si esauriscono gradualmente nella loro vita professionale.

La persecuzione dei cristiani: il crimine d'odio di cui non parliamo

Dimentica l'islamofobia: i cristiani (e gli ebrei) sono le principali vittime dei crimini di odio religioso.

La persecuzione dei cristiani: il crimine d'odio di cui non parliamo

Qualsiasi mente razionale sa che i circoli politici e mediatici sono dominati dalla sinistra, anche dall'estrema sinistra, uno stato di cose che crea uno squilibrio nel discorso politico. Nel campo della religione, questo squilibrio è chiaramente visibile: giornali e reti di sinistra non si affrettano a difendere la fede cristiana.

Cosa puoi fare nella tua stagione di attesa (in attesa di ottenere il tuo primo lavoro nella tecnologia)

Cosa puoi fare nella tua stagione di attesa (in attesa di ottenere il tuo primo lavoro nella tecnologia)

Il passaggio a una nuova carriera può essere estremamente impegnativo se provi a farlo da solo. È importante trovare partner responsabili che abbiano il tuo stesso livello di apprendimento, che condividano obiettivi, tenacia e determinazione simili.

Niente più password: come le passkey sostituiranno la tua password

Niente più password: come le passkey sostituiranno la tua password

Per evitare ambiguità verranno utilizzati i seguenti termini; Autenticatore; Il telefono cellulare utilizzato per effettuare il login Sito web; Il sito Web o l'applicazione che l'utente sta utilizzando per effettuare la richiesta di accesso al Servizio; Il fornitore che fornisce il servizio dato, ad es