Prefeito + Dask

ou: Como aprendi a parar de me preocupar e amar a computação distribuída

Desde que o Prefect foi de código aberto , uma das perguntas mais comuns tem sido:

Como implantar um fluxo de Prefect?

O mecanismo Prefect tem ganchos simples para configurar qualquer modelo de implantação de sua preferência e estamos trabalhando muito para tornar o armazenamento, a implantação e a execução de fluxo em ambientes personalizados ainda mais fáceis. Esses são exatamente os mesmos ganchos que usamos no Prefect Cloud (inscreva-se para a prévia aqui !), Mas se você quiser mergulhar, pode aproveitá-los hoje .

Para ajudá-lo a começar, vou escrever uma série de postagens para responder às suas perguntas relacionadas à implantação, começando com:

Como executo o Prefect em um cluster Dask distribuído ?

Prefeito + Dask

Nós amamos o Dask e você também deveria!

Dask é um sistema para computação distribuída que se expande perfeitamente desde seu laptop até imensos clusters. Prefect foi projetado para Dask, e é o executor padrão no Prefect Cloud. Ao executar no Dask, as tarefas Prefect podem ser iniciadas de forma assíncrona, com latência de milissegundos, e executadas em paralelo (até o número de trabalhadores que você tem). Na verdade, depois de usar o Prefect com Dask, executar fluxos de trabalho de qualquer outra forma parecerá ... pré-histórico.

Lançamento de um cluster Dask

Para começar a usar o Dask imediatamente, basta iniciar um cluster com dois trabalhadores em sua máquina local (tudo que você precisa vem instalado com o Prefect ):

Configurando o Prefeito

Configurar o Prefect para ser executado com Dask é tão simples quanto definir duas variáveis ​​de ambiente, uma habilitando o executor Dask e outra apontando para o cluster:

Agora você pode ativar o Prefect, e qualquer fluxo que você executar será executado em seu cluster!

Leitura Adicional

Confira o tutorial completo do Dask em nossos documentos para saber mais, incluindo:

  • código para todos os exemplos
  • como salvar fluxos em scripts e executá-los a partir da linha de comando
  • como executar fluxos automaticamente em uma programação

Suggested posts

Como executar plugins ChatGPT gratuitamente usando Langchain

Como executar plugins ChatGPT gratuitamente usando Langchain

Você deve ter ouvido falar sobre todos os novos plug-ins poderosos do ChatGPT, como navegador, intérprete de código, etc. Mas há um problema, o acesso aos plug-ins é limitado a uma lista de espera e, portanto, muitos não têm acesso a ela.

Meus recursos de codificação mais usados

Meus recursos de codificação mais usados

Esta semana, recebi um e-mail de um membro da lista de e-mails diários. Eles queriam saber: quais recursos você visita diariamente, semanalmente e mensalmente? Ótima pergunta! Fico feliz em tentar compartilhar algumas ideias sobre meu fluxo de trabalho e os principais recursos que uso.

Related posts

Financiando a remoção de carbono no FY24

A divisão das solicitações de apropriações da Carbon180 em todos os caminhos

Financiando a remoção de carbono no FY24

Por Alyson Lee, consultor administrativo de assuntos governamentais O processo de apropriações anuais do governo federal é fundamental para nossos esforços para financiar a remoção de dióxido de carbono (CDR). Todos os anos, a Carbon180 envia solicitações a vários escritórios do Congresso para ajudar a orientar para onde os dólares do próximo ano irão fluir.

A arte é sempre apolítica?

A arte é sempre apolítica?

Ontem, fechamos a porta do Festival Eurovisão da Canção deste ano com uma brilhante e caótica grand finale, onde a cantora sueca Loreen levou para casa o troféu, tornando-se a primeira mulher a vencer duas vezes e trazendo a coroa de volta para a Suécia 50 anos depois que o ABBA venceu a competição com “Waterloo”. Eles se tornaram um dos maiores artistas do cânone da música pop.

Dois anos em design - O bom, o mau e o feio…

Dois anos em design - O bom, o mau e o feio…

“Ei, Siri, toque Me Dive, de Olivia Dean.” Era maio de 2021 quando comecei meu estágio na Future Academy Africa em Akure, Nigéria.

pronomes são super assustadores

Isso me atinge De repente, como tantas vezes acontece É o meio do caminho tudo de novo <Não, não aquele no Pacífico, seu marrom, aquele no carnaval> Todas as manchetes em voz alta…..