Префект + Даск

или: Как я научился перестать беспокоиться и полюбил распределенные вычисления

Поскольку исходный код Prefect был открытым , одним из наиболее частых вопросов был:

Как развернуть поток префектов?

Механизм Prefect имеет простые хуки для настройки любой модели развертывания, которую вы предпочитаете, и мы делаем много работы, чтобы упростить хранение, развертывание и выполнение потоков в пользовательских средах. Это те же самые ловушки, которые мы используем в Prefect Cloud (подпишитесь на предварительную версию здесь !), Но если вы хотите погрузиться в себя, вы можете воспользоваться ими сегодня .

Чтобы помочь вам начать работу, я собираюсь написать серию сообщений, чтобы ответить на ваши вопросы, связанные с развертыванием, начиная с:

Как запустить Prefect в распределенном кластере Dask ?

Префект + Даск

Мы любим Dask , и вы тоже должны!

Dask - это система для распределенных вычислений, которая легко масштабируется от вашего ноутбука до огромных кластеров. Prefect был разработан для Dask и является исполнителем по умолчанию в Prefect Cloud. При работе в Dask задачи Prefect могут запускаться асинхронно с задержкой в ​​миллисекунды и выполняться параллельно (в зависимости от имеющегося у вас числа воркеров). Фактически, после того, как вы использовали Prefect с Dask, выполнение рабочих процессов любым другим способом будет казаться… доисторическим.

Запуск кластера Dask

Чтобы сразу начать работу с Dask, просто запустите кластер с двумя воркерами на вашем локальном компьютере (все, что вам нужно, устанавливается вместе с Prefect ):

Настройка префекта

Настроить Prefect для работы с Dask так же просто, как установить две переменные среды, одна из которых включает исполнителя Dask, а другая указывает на кластер:

Теперь вы можете запустить Prefect, и любой запускаемый поток будет выполняться в вашем кластере!

Дальнейшее чтение

Ознакомьтесь с полным руководством по Dask в нашей документации, чтобы узнать больше, в том числе:

  • код для всех примеров
  • как сохранять потоки в скриптах и ​​выполнять их из командной строки
  • как автоматически запускать потоки по расписанию

Suggested posts

Как бесплатно запускать плагины ChatGPT с помощью Langchain

Как бесплатно запускать плагины ChatGPT с помощью Langchain

Вы, должно быть, слышали обо всех новых мощных плагинах ChatGPT, таких как Browser, Code Interpreter и т. д. Но есть проблема: доступ к плагинам ограничен списком ожидания, и поэтому многие не имеют к нему доступа.

Мои наиболее используемые ресурсы кодирования

Мои наиболее используемые ресурсы кодирования

На этой неделе я получил электронное письмо от участника ежедневного списка рассылки. Они хотели знать: какие ресурсы вы посещаете ежедневно, еженедельно и ежемесячно? Отличный вопрос! Я рад поделиться некоторыми мыслями о моем рабочем процессе и основных ресурсах, которые я использую.

Related posts

Обучение на рабочей неделе важнее, чем вы думаете

Обучение на рабочей неделе важнее, чем вы думаете

Мы часто обнаруживаем, что изо всех сил пытаемся реализовать то, что, как мы знаем, полезно для нас. От того, чтобы сказать значимому другому, что мы любим его, до того, чтобы помнить, что нужно говорить как пират, всегда будут те, кто утверждает, что день, неделя или месяц событий не нужны, потому что они уже делают эти вещи.

Что делает подкаст влиятельным?

Что делает подкаст влиятельным?

На прошлой неделе я заметил пресс-релиз, разосланный через PressGazette (новостной веб-сайт британских СМИ). В статье сообщалось, что Acast, скандинавская компания по размещению и рекламе подкастов, возглавит консорциум «вероятно, самых влиятельных» издателей подкастинга.

Всегда ли искусство аполитично?

Всегда ли искусство аполитично?

Вчера мы закрыли двери конкурса песни «Евровидение» в этом году блестящим, хаотичным грандиозным финалом, в котором шведская певица Лорин забрала домой трофей, став первой женщиной, выигравшей дважды, и вернув корону Швеции спустя 50 лет после того, как ABBA выиграла конкурс. с «Ватерлоо». Они стали одним из крупнейших исполнителей в каноне поп-музыки.

Конкурс Goodreads Reading Challenge токсичен

Конкурс Goodreads Reading Challenge токсичен

Зуд в моей руке распространился, когда я торговалась с местным книгопродавцом за еще одну книгу. Эта книга, как и остальные, которые я купил недавно, займет свое место в моей стопке «Для чтения» (TBR); и тем не менее, я купил его.