지사 + Dask

또는 : 걱정을 멈추고 분산 컴퓨팅을 사랑하는 법을 배운 방법

Prefect가 오픈 소스 이기 때문에 가장 일반적인 질문 중 하나는 다음과 같습니다.

Prefect 흐름을 배포하려면 어떻게해야합니까?

Prefect 엔진에는 선호하는 배포 모델을 구성하기위한 간단한 후크가 있으며, 사용자 지정 환경에서 흐름 저장, 배포 및 실행을 훨씬 더 쉽게 만들기 위해 많은 작업을 수행하고 있습니다. 이것은 Prefect Cloud에서 사용하는 것과 똑같은 후크입니다 ( 여기 에서 미리보기에 등록 하십시오 !). 직접 경험하고 싶다면 지금 바로 활용할 수 있습니다 .

시작하는 데 도움이되도록 다음으로 시작하는 배포 관련 질문에 답변하는 일련의 게시물을 작성하겠습니다.

분산 Dask 클러스터 에서 Prefect를 어떻게 실행 합니까?

지사 + Dask

우리는 Dask를 사랑 합니다.

Dask는 랩톱에서 대규모 클러스터로 원활하게 확장되는 분산 컴퓨팅 용 시스템입니다. Prefect는 Dask 용으로 설계되었으며 Prefect Cloud의 기본 실행자입니다. Dask에서 실행할 때 Prefect 작업은 밀리 초 지연 시간으로 비동기식으로 시작되고 병렬로 실행될 수 있습니다 (최대 작업자 수까지). 실제로 Dask와 함께 Prefect를 사용하고 나면 다른 방식으로 워크 플로를 실행하면 선사 시대의 느낌이 듭니다.

Dask 클러스터 시작

Dask를 즉시 시작하려면 로컬 머신에서 작업자 2 개로 클러스터를 시작하기 만하면됩니다 (필요한 모든 것이 Prefect와 함께 설치됨 ).

지사 구성

Dask와 함께 실행되도록 Prefect를 구성하는 것은 두 가지 환경 변수를 설정하는 것만 큼 간단합니다. 하나는 Dask 실행기를 활성화하고 다른 하나는 클러스터를 가리 킵니다.

이제 Prefect를 실행할 수 있으며 실행하는 모든 흐름이 클러스터에서 실행됩니다!

추가 읽기

다음을 포함한 자세한 내용은 문서에서 전체 Dask 자습서 를 확인하십시오 .

  • 모든 예제에 대한 코드
  • 스크립트에 흐름을 저장하고 명령 줄에서 실행하는 방법
  • 일정에 따라 흐름을 자동으로 실행하는 방법

Suggested posts

Langchain을 사용하여 ChatGPT 플러그인을 무료로 실행하는 방법

Langchain을 사용하여 ChatGPT 플러그인을 무료로 실행하는 방법

브라우저, 코드 해석기 등과 같은 새롭고 강력한 ChatGPT 플러그인에 대해 들어보셨을 것입니다. 그러나 문제가 있습니다. 플러그인에 대한 액세스는 대기자 명단으로 제한되어 있으므로 많은 사람들이 액세스할 수 없습니다.

내가 가장 많이 사용하는 코딩 리소스

내가 가장 많이 사용하는 코딩 리소스

이번 주에 저는 일일 이메일 목록의 회원으로부터 이메일을 받았습니다. 그들은 알고 싶어했습니다. 매일, 매주, 매월 어떤 리소스를 방문합니까? 좋은 질문입니다! 제 작업 흐름과 제가 사용하는 주요 리소스에 대한 통찰력을 공유하게 되어 기쁩니다.

Related posts

위험한 대화

위험한 대화

우리가 이 행성에서 계속 번성하고 싶다면 위험한 대화를 해야 할 것입니다. 우리가 한 것, 우리가 하고 있는 것, 그리고 현재 우리가 계속하기로 설정한 것(또는 할 계획인 것)에 도전하는 것들.

더 이상 암호가 없습니다. 암호가 암호를 대체하는 방법

더 이상 암호가 없습니다. 암호가 암호를 대체하는 방법

모호함을 피하기 위해 다음 용어가 사용됩니다. 인증자; 로그인 웹사이트를 만드는 데 사용되는 휴대폰 사용자가 로그인 요청 서비스를 만들기 위해 사용하는 웹사이트 또는 애플리케이션 주어진 서비스를 제공하는 벤더 예.

무한한 삶

당신이 자라면 세상은 있는 그대로이고 당신의 삶은 단지 세상 안에서 당신의 삶을 사는 것이며, 결코 당신의 생명을 위험에 빠뜨리지 않고, 정해진 길을 따르고 결국 죽고, 벽을 너무 세게 치세요.하지만 그것은 매우 제한된 삶입니다.

조던 닐리의 살인과 "애국적" 인종차별의 문제

미국은 인종차별적 행동을 좋은 미국인이 되는 것과 동일시하지 않는 필수적인 조치를 취할 수 있습니까?

조던 닐리의 살인과 "애국적" 인종차별의 문제

[방아쇠 경고: 이 에세이에는 Jordan Neely의 살인자를 칭찬하는 사람들의 스크린 샷이 포함되어 있습니다.] 법 집행관은 마침내 그리고 아마도 마지못해 죽을 때까지 Jordan Neely를 질식시킨 사람인 Daniel Penny를 살인 혐의로 기소했습니다.