Azure Databricks + MagicOrange

MagicOrange は、統合されたクラウド分析および AI プラットフォームである Databricks を利用しています

Lakehouse アーキテクチャと、データエンジニアリング、データサイエンス、データインジェスト、機械学習、データウェアハウス/レイクハウス、データ分析のための単一プラットフォーム。
データのセキュリティと Azure AD との統合。
Azure Databricks コネクタを使用した Power BI との統合。
クラスターと Databricks ランタイムを備えたスケーラブルなアーキテクチャ。Apache-Spark の機能を提供し、Spark 構成の管理の複雑さを取り除きます。
Databricks ワークスペースとノートブックを使用したインタラクティブな開発経験により、Python、R、SQL、Scala、Java (.jars) などの複数言語のサポートという利点が追加されました。
ジョブ/ワークフローによるオーケストレーション、および最近はデルタライブテーブルを使用しています。
最も重要なこと — コスト効率— Databricks のおかげで、クラウドデータと分析プラットフォームを大規模に構築して実行でき、コストを予算内に十分に抑えることができました。たとえば、ETL ワークロードをクラウドネイティブ ETL ツールから Azure Databricks に移行した後、ETL ジョブだけで月あたり最大 400% の節約が見られました。料金は使った分だけ支払うので、小規模から始めて、ニーズに応じて拡張することができました。
データは Delta Lake 形式であり、Azure Data Lake Storage Containers に Parquet ファイルの形式で保存されるため、ストレージとコンピューティングは分離されており、ストレージコストが節約されます。

Microsoft Azure Databricks 上の MagicOrange Lakehouse アーキテクチャ

Azure Databricks は幅広いデータソースをシームレスに統合するため、ソリューションを迅速に構築して拡張するのに役立ちます。
データエンジニアリングワークスペース UI は開発者にとって使いやすく、ノートブック、ジョブを備えたパイプライン環境、ワークフロー、デルタライブテーブル、スケジュール/オーケストレーション、障害通知などのネイティブ機能を備えています。これにより、同じタスクを実行するために別のツールを維持する必要がなくなり、データエンジニアリングチームは ETL タスクの解決に集中できるようになりました。
Databricks Lakehouse が登場する前は、クラウドネイティブ ETL ツールを使用して複雑な ETL パイプラインが開発されていました。 Databricks Lakehouse への移行は、複数の言語をサポートする PySpark と Spark-SQL を使用することで比較的簡単に行え、これによりデータエンジニアリングチームは複雑な ETL 要件を迅速に実現できるようになりました。
スケーラブルなクラスターとノートブックを使用して Databricks Lakehouse に移行して以来、ETL タスクはより速く完了し、コストも削減されています。

MagicOrange Lakehouse — Unity カタログの実装

MagicOrange はマルチテナント SaaS サービスです。データセキュリティと顧客データの分離は最優先事項であり、Azure Databricks は ISO 27001、SOC 2、HIPAA などのいくつかの業界標準および規制標準に準拠しているため、MagicOrange による安全なソリューションの構築に役立ちます。
Azure Databricks は Azure AD と強力に統合されているため、多くのセキュリティ上の懸念が解消され、RBAC (ロールベースのアクセス制御) を活用して Databricks ワークスペースやその他のリソースへのアクセスを制御できます。
Unity-Catalog の実装により、データ環境全体の安全性が高まりました。Databricks は以前の制限を取り除くのに役立ち、開発データと運用データの分離ポリシーを達成できるようになりました。
外部ストレージの場所や SQL GRANT ステートメントのサポートなどの Unity カタログ機能は、顧客カタログごとのより優れたアクセス制御の実装に役立ちました。
ネットワーク分離、データ暗号化などのすぐに使えるセキュリティ機能や、データを保護し、セキュリティ要件を満たすのに役立つさまざまなセキュリティ機能があります。

Databricks SQL ウェアハウス/エンドポイントは、Azure Databricks コネクタを使用して Power BI と簡単に統合でき、Delta Lake データへのダイレクトクエリモードをサポートしているため、顧客向けの Power BI レポートとダッシュボードを構築できます。
Photon を使用したサーバーレス SQL ウェアハウスは非常に強力で、Power BI で大規模なデータセット (1 億行以上) を視覚化するのに役立ちます。
Databricks SQL ダッシュボードは、Databricks 内で単純な SQL クエリを作成し、ダッシュボードを構築することにより、データアナリストとカスタマーサクセスチームが非常に大規模なデータセットを迅速に分析するのに役立ちました。

MagicOrange Lakehouse — デルタシェアリングの実装

デルタシェアリングは、元のソースから外部および内部の消費者とデータを安全に共有するために使用されるオープンスタンダードです。
デルタシェアリングは、データを民主化し、MagicOrange の顧客と外部かつ安全にデータを共有するのに役立ちました。顧客オンボーディングの一環として、各顧客は専用の共有リンクと受信者リンクを取得します。
デルタ共有コネクタは一般的な BI ツールでサポートされているため、データを安全に共有するために社内で何かを構築する必要がなくなります。

MagicOrange はデータドリブンな企業であり、お客様が複雑なデータから洞察を得るのを支援する革新的なソリューションの作成に常に努めています。MagicOrange 製品ロードマップの一環として、顧客が複雑なデータからより多くの洞察を簡単に引き出せるようにする ML/AI ベースのデータ製品を構築する計画があります。Databricks Lakehouse プラットフォームを使用すると、MagicOrange の ML/AI プラクティスの構築と拡張に役立ちます。
Databricks Lakehouse Architecture と Dolly 2.0 を活用して、 MagicOrange の顧客により多くの価値をもたらすML/AI ベースのデータ製品を構築する予定です。

このブログでは、Lakehouse アーキテクチャの実装が MagicOrange のスケーラブルなデータおよび分析プラットフォームの構築にどのように役立ったかについて、いくつかの洞察を共有しました。クラウドアーキテクトおよびデータアーキテクトとして働いている私は、Azure Databricks を使用すると、少ない予算で開始して多くの機能を拡張できるため、非常に費用対効果が高いと感じています。私の見方では、Databricks は、単一の統合プラットフォームを使用して、ほとんどの組織のデータ、分析、AI 要件を満たすのに役立ちますが、これは他のクラウドデータウェアハウスでは実現できませんでした。
ここ数年、私は Databricks が進化し、新しい機能やコンセプトを追加して、この分野でユニークなものになっているのを見てきました。また、Databricks チームは常に改善するための継続的な努力を行っています。専門知識とベストプラクティスを提供する Databricks ソリューションアーキテクトによる優れたサポートシステムがあり、お好みのクラウドプロバイダーへの Databricks の実装を迅速化します。
DatabricksとMicrosoftには、このブログで言及されている機能を試して実装するために利用できるドキュメントが大量にあります。組織で Databricks を理解して実装することに熱心な場合は、これらのドキュメントを確認することをお勧めします。

提案された投稿

連想記憶の実装

Shashata Sawmya および Harveer Singh 著大規模なニューラルネットワークの出現と、現在の手法を絶対的な限界まで押し上げる技術の進歩により、あらゆることを実行することを目的とした包括的なツールの作成に焦点が当てられています。ただし、ほとんどのタスクでは、信じられないほど集中的なディープネットワークは必要ありませんが、それでも基本的な数学モデルよりも汎用性の高いものが必要です。