Prefecto + Dask

o: Cómo aprendí a dejar de preocuparme y amar la informática distribuida

Dado que Prefect fue de código abierto , una de las preguntas más comunes ha sido:

¿Cómo despliegue un flujo de prefecto?

El motor de Prefect tiene enlaces simples para configurar cualquier modelo de implementación que prefiera, y estamos trabajando mucho para facilitar aún más el almacenamiento, la implementación y la ejecución del flujo en entornos personalizados. Estos son exactamente los mismos ganchos que usamos en Prefect Cloud (¡regístrate para obtener la vista previa aquí !), Pero si quieres sumergirte en ti mismo, puedes aprovecharlos hoy .

Para ayudarlo a comenzar, voy a escribir una serie de publicaciones para responder sus preguntas relacionadas con la implementación, comenzando con:

¿Cómo ejecuto Prefect en un clúster distribuido de Dask ?

Prefecto + Dask

Nos encanta Dask , ¡y tú también deberías!

Dask es un sistema de computación distribuida que se escala sin problemas desde su computadora portátil a inmensos clústeres. Prefect fue diseñado para Dask y es el ejecutor predeterminado en Prefect Cloud. Cuando se ejecutan en Dask, las tareas de Prefect pueden iniciarse de forma asincrónica, con una latencia de milisegundos, y ejecutarse en paralelo (hasta la cantidad de trabajadores que tenga). De hecho, una vez que haya utilizado Prefect con Dask, ejecutar los flujos de trabajo de cualquier otra forma se sentirá ... prehistórico.

Lanzamiento de un clúster Dask

Para comenzar con Dask de inmediato, simplemente inicie un clúster con dos trabajadores en su máquina local (todo lo que necesita viene instalado con Prefect ):

Configuración de prefecto

Configurar Prefect para que se ejecute con Dask es tan simple como configurar dos variables de entorno, una que habilita el ejecutor de Dask y otra que apunta al clúster:

¡Ahora puede activar Prefect, y cualquier flujo que ejecute se ejecutará en su clúster!

Otras lecturas

Consulte el tutorial completo de Dask en nuestros documentos para obtener más información, que incluye:

  • código para todos los ejemplos
  • cómo guardar flujos en scripts y ejecutarlos desde la línea de comando
  • cómo ejecutar automáticamente los flujos en un horario

Suggested posts

Cómo ejecutar los complementos de ChatGPT de forma gratuita usando Langchain

Cómo ejecutar los complementos de ChatGPT de forma gratuita usando Langchain

Debe haber oído hablar de todos los complementos nuevos y potentes de ChatGPT, como el navegador, el intérprete de código, etc. Pero hay un problema, el acceso a los complementos está limitado a una lista de espera y, por lo tanto, muchos no tienen acceso a ellos.

Mis recursos de codificación más utilizados

Mis recursos de codificación más utilizados

Esta semana, recibí un correo electrónico de un miembro de la lista de correo electrónico diaria. Querían saber: ¿Qué recursos visita diariamente, semanalmente y mensualmente? ¡Gran pregunta! Estoy feliz de intentar compartir algunas ideas sobre mi flujo de trabajo y los principales recursos que uso.

Related posts

Recopilación de OSINT para la caza de amenazas

Recopilación de OSINT para la caza de amenazas

¡Hola, entusiastas cibernéticos! Bienvenido de nuevo a la serie OSINT para la caza de amenazas. En el primer artículo, le di una descripción general de OSINT y su importancia en la caza de amenazas.

VIDA ILIMITADA

Cuando creces, tiendes a que te digan que el mundo es como es y que tu vida es solo vivir tu vida dentro del mundo, nunca arriesgar tu vida, solo sigue un camino establecido y muere al final, y trata de no hacerlo. golpea demasiado las paredes. Pero esa es una vida muy limitada.

La persecución de los cristianos: el crimen de odio del que no hablamos

Olvídate de la islamofobia: los cristianos (y los judíos) son las principales víctimas de los delitos de odio religioso.

La persecución de los cristianos: el crimen de odio del que no hablamos

Cualquier mente racional sabe que los círculos políticos y mediáticos están dominados por la izquierda, incluso por la extrema izquierda, una situación que crea un desequilibrio en el discurso político. En el campo de la religión, este desequilibrio es claramente visible: los periódicos y las redes de izquierda no se apresuran a defender la fe cristiana.

Conversaciones peligrosas

Conversaciones peligrosas

Si queremos seguir prosperando en este planeta, vamos a tener que tener conversaciones peligrosas. Aquellas que desafían lo que hemos hecho, lo que estamos haciendo y lo que actualmente vamos a seguir haciendo (o planeamos hacer).