知事+ Dask

または:分散コンピューティングを心配するのをやめ、愛することをどのように学んだか

Prefectはオープンソースであったため、最も一般的な質問の1つは次のとおりです。

Prefectフローをデプロイするにはどうすればよいですか?

Prefectエンジンには、任意のデプロイモデルを構成するためのシンプルなフックがあり、カスタム環境でのフローストレージ、デプロイ、および実行をさらに簡単にするために多くの作業を行っています。これらは、Prefect Cloudで使用しているものとまったく同じフックです(ここでプレビューにサインアップしてください!)が、自分で飛び込みたい場合は、今日それらを利用できます。

開始を支援するために、展開に関連する質問に答えるための一連の投稿を作成します。

分散DaskクラスターでPrefectを実行するにはどうすればよいですか?

知事+ Dask

Daskが大好きです。あなたもそうすべきです!

Daskは、ラップトップから巨大なクラスターまでシームレスに拡張できる分散コンピューティング用のシステムです。PrefectはDask用に設計されており、PrefectCloudのデフォルトのエグゼキュータです。Daskで実行する場合、Prefectタスクはミリ秒のレイテンシで非同期に起動し、並行して実行できます(最大数のワーカーが存在します)。実際、Prefect with Daskを使用すると、他の方法でワークフローを実行すると、先史時代のように感じられます。

Daskクラスターの起動

Daskをすぐに使い始めるには、ローカルマシンで2人のワーカーを含むクラスターを起動するだけです(必要なものはすべてPrefectにインストールされています)。

知事の設定

Daskで実行するようにPrefectを構成するのは、2つの環境変数を設定するのと同じくらい簡単です。1つはDaskエグゼキューターを有効にし、もう1つはクラスターを指します。

これで、Prefectを起動でき、実行するすべてのフローがクラスターで実行されます。

参考文献

詳細については、ドキュメントのDaskチュートリアル全体を確認してください。

  • すべての例のコード
  • スクリプトにフローを保存し、コマンドラインから実行する方法
  • スケジュールに従ってフローを自動的に実行する方法

提案された投稿

Langchain を使用して ChatGPT プラグインを無料で実行する方法

Langchain を使用して ChatGPT プラグインを無料で実行する方法

ブラウザ、コード インタープリターなどの新しい強力な ChatGPT プラグインについては聞いたことがあるはずです。しかし、問題があります。プラグインへのアクセスは待機リストに制限されているため、多くの人がアクセスできません。

私が最もよく使用するコーディング リソース

私が最もよく使用するコーディング リソース

今週、毎日のメールリストのメンバーからメールを受け取りました。彼らは次のことを知りたかったのです。毎日、毎週、毎月どのリソースにアクセスしていますか? 素晴らしい質問です!私のワークフローと使用している主なリソースについての洞察を共有したいと思います。

関連記事

アートは政治的ではないのでしょうか?

アートは政治的ではないのでしょうか?

昨日、私たちは今年のユーロビジョン・ソング・コンテストの幕を閉じました。きらびやかでカオスなグランドフィナーレでスウェーデンの歌手ローリーンがトロフィーを持ち帰り、女性として初めて2回優勝し、ABBAがコンテストで優勝してから50年目にその栄冠をスウェーデンに持ち帰りました。 「ワーテルロー」で。彼らはポップ ミュージックの規範において最大のアーティストの 1 つになりました。

「マリアナ海溝の公開: 深淵の恐るべき隠された真実を明らかにする」

「マリアナ海溝の公開: 深淵の恐るべき隠された真実を明らかにする」

はじめに:勇敢な読者の皆さん、地球の最も暗い深みへ私たちを導く旅へようこそ。このブログでは、マリアナ海溝の謎に満ちた世界を掘り下げ、その隠された秘密を明らかにし、その表面の下にある骨も凍るような真実を明らかにします。

カウボーイの嘘

巨大企業はいかにしてアメリカ国民にひどい嘘を売ったのか

カウボーイの嘘

西のなだらかな丘陵地帯では、太陽の最初の光が平原の曇った草を照らす、まばゆいばかりの金色の朝です。真っ黒で巨大な穏やかなアンガス牛の群れが日の出を背景にシルエットを描き、誰もがよく知っている場所へ人里離れた道を進んでいます。朝食バー。

無限の命

大人になると、世界はそういうもので、あなたの人生はただ世界の中で生きていくだけで、決して命を危険にさらすことはなく、決められた道をたどって最後には死ぬだけで、失敗しないように努めるのだと言われがちです。壁を打ちすぎてはいけません。しかし、それは非常に限られた人生です。