Prefect + Dask

veya: Endişelenmeyi Durdurmayı ve Bilgisayarı Dağıtılmış Olarak Sevmeyi Nasıl Öğrendim

Prefect açık kaynaklı olduğundan , en yaygın sorulardan biri şu olmuştur:

Prefect akışını nasıl dağıtırım?

Prefect motoru, tercih ettiğiniz herhangi bir dağıtım modelini yapılandırmak için basit kancalara sahiptir ve özel ortamlarda akış depolamayı, dağıtımı ve yürütmeyi daha da kolaylaştırmak için çok fazla çalışma yapıyoruz. Bunlar, Prefect Cloud'da kullandığımız kancaların tamamen aynısıdır (önizleme için buradan kaydolun !), Ancak kendi kendinize dalmak istiyorsanız, bugün onlardan yararlanabilirsiniz .

Başlamanıza yardımcı olmak için, aşağıdakilerden başlayarak dağıtımla ilgili sorularınızı yanıtlamak için bir dizi gönderi yazacağım:

Prefect'i dağıtılmış bir Dask kümesinde nasıl çalıştırırım ?

Prefect + Dask

Dask'ı seviyoruz ve siz de sevmelisiniz !

Dask, dizüstü bilgisayarınızdan büyük kümelere sorunsuz bir şekilde ölçeklenen, dağıtılmış bilgi işlem için bir sistemdir. Prefect, Dask için tasarlandı ve Prefect Cloud'daki varsayılan uygulayıcıdır. Dask üzerinde çalışırken, Prefect görevleri zaman uyumsuz olarak, milisaniye gecikmeyle başlayabilir ve paralel olarak (sahip olduğunuz çalışan sayısına kadar) çalışabilir. Aslında, Prefect'i Dask ile bir kez kullandıktan sonra, iş akışlarını başka herhangi bir şekilde çalıştırmak ... tarih öncesi hissedecek.

Dask Kümesini Başlatma

Dask'ı hemen kullanmaya başlamak için, yerel makinenizde iki çalışanı olan bir küme başlatmanız yeterlidir (ihtiyacınız olan her şey Prefect ile birlikte gelir ):

Prefect'i Yapılandırma

Prefect'i Dask ile çalışacak şekilde yapılandırmak, biri Dask yürütücüsünü etkinleştirirken diğeri kümeyi işaret eden iki ortam değişkenini ayarlamak kadar basittir:

Artık Prefect'i ateşleyebilirsiniz ve çalıştırdığınız herhangi bir akış kümenizde yürütülecektir!

Daha fazla okuma

Aşağıdakiler dahil daha fazla bilgi edinmek için dokümanlarımızdaki Dask eğitiminin tamamına göz atın :

  • tüm örnekler için kod
  • akışlar komut dosyalarında nasıl kaydedilir ve komut satırından çalıştırılır
  • Bir programa göre akışların otomatik olarak nasıl çalıştırılacağı

Suggested posts

Langchain kullanarak ChatGPT eklentilerini ücretsiz çalıştırma

Langchain kullanarak ChatGPT eklentilerini ücretsiz çalıştırma

Tarayıcı, Kod Tercüman vb. tüm yeni güçlü ChatGPT eklentilerini duymuş olmalısınız. Ancak bir sorun var, eklentilere erişim bir bekleme listesiyle sınırlıdır ve bu nedenle birçoğunun buna erişimi yoktur.

En çok kullandığım kodlama kaynaklarım

En çok kullandığım kodlama kaynaklarım

Bu hafta, günlük e-posta listesinin bir üyesinden bir e-posta aldım. Bilmek istediler: Günlük, haftalık ve aylık olarak hangi kaynakları ziyaret ediyorsunuz? Harika soru! İş akışım ve kullandığım en önemli kaynaklar hakkında bazı bilgileri paylaşmaya çalışmaktan mutluluk duyuyorum.

Related posts

Sadece Bir Telefon Numarasıyla Herkesi Takip Edin | OSINT Soruşturması

Sadece Bir Telefon Numarasıyla Herkesi Takip Edin | OSINT Soruşturması

Bir OSINT Araştırmacısı, CTF Oyuncusu veya yalnızca istenmeyen aramalar alan biri olabilirsiniz. Bir reklamda gördüğünüz numarayı doğrulamaya çalışan biri.

"Mariana Çukuru Ortaya Çıktı: Uçurumun Korkunç Gizli Gerçeklerini Ortaya Çıkarmak"

"Mariana Çukuru Ortaya Çıktı: Uçurumun Korkunç Gizli Gerçeklerini Ortaya Çıkarmak"

Giriş: Cesur okuyucular, bizi gezegenimizin en karanlık derinliklerine götürecek bir yolculuğa hoş geldiniz. Bu blogda, Mariana Çukuru'nun esrarengiz dünyasına dalıyor, onun gizli sırlarını açığa çıkarıyor ve yüzeyinin altında yatan tüyler ürpertici gerçekleri ortaya çıkarıyoruz.

Artık parola yok — geçiş anahtarları parolanızın yerini nasıl alacak?

Artık parola yok — geçiş anahtarları parolanızın yerini nasıl alacak?

Belirsizliği önlemek için aşağıdaki terimler kullanılacaktır; Doğrulayıcı; Web sitesine giriş yapmak için kullanılan cep telefonu; Kullanıcının oturum açma isteği Hizmetini yapmak için kullandığı web sitesi veya uygulama; Verilen hizmeti sağlayan satıcı, örn.

MY24'te karbon gideriminin finanse edilmesi

Yollar boyunca Carbon180'in ödenek taleplerinin dökümü

MY24'te karbon gideriminin finanse edilmesi

Alyson Lee, yönetici devlet işleri danışmanı Federal hükümetin yıllık ödenek süreci, karbon dioksit giderimini (CDR) finanse etme çabalarımızın merkezinde yer alır. Carbon180 her yıl, gelecek yılın dolarının nereye akacağını yönlendirmeye yardımcı olmak için çeşitli kongre ofislerine talepler sunar.