Azure Databricks + MagicOrange
- Lakehouse-Architektur und einzelne Plattform für Data Engineering, Data Science, Datenaufnahme, maschinelles Lernen, Data Warehouse/Lakehouse, Datenanalyse.
- Datensicherheit und Integration mit Azure AD.
- Integration mit Power BI über Azure Databricks Connector.
- Skalierbare Architektur mit Clustern und Databricks Runtime, die die Leistung von Apache-Spark bietet und die Komplexität bei der Verwaltung jeder Spark-Konfiguration verringert.
- Interaktive Entwicklungserfahrung mit Databricks Workspace und Notebooks, zusätzlicher Vorteil der Unterstützung mehrerer Sprachen wie Python, R, SQL, Scala, Java (.jars).
- Orchestrierung mit Jobs/Workflows und seit Kurzem auch mit Delta Live Tables.
- Das Wichtigste – Kosteneffektiv – Databricks ermöglichte es uns, eine skalierbare Cloud-Daten- und Analyseplattform aufzubauen und zu betreiben und dabei unsere Kosten deutlich unter dem Budget zu halten. Nach der Migration unserer ETL-Arbeitslast von einem Cloud-nativen ETL- Tool zu Azure Databricks konnten wir allein bei ETL-Jobs Einsparungen von bis zu 400 % pro Monat verzeichnen. Wir konnten klein anfangen und je nach Bedarf skalieren, da wir nur für das bezahlen, was wir auch nutzen.
- Speicher und Rechenleistung sind getrennt, was Speicherkosten spart, da die Daten im Delta-Lake-Format vorliegen und in Form von Parquet-Dateien in Azure Data Lake-Speichercontainern gespeichert werden.
- Azure Databricks integriert nahtlos eine Vielzahl von Datenquellen, was uns dabei geholfen hat, unsere Lösungen schnell zu erstellen und zu skalieren.
- Die Benutzeroberfläche von Data Engineering Workspace ist entwicklerfreundlich und verfügt über native Funktionen wie Notebooks, Pipeline-Umgebung mit Jobs, Workflows, Delta Live Tables, Planung/Orchestrierung und Fehlerbenachrichtigungen. Dadurch entfällt die Notwendigkeit, unterschiedliche Tools zur Ausführung derselben Aufgaben zu verwalten, und das Data Engineering-Team kann sich weiterhin auf die Lösung von ETL-Aufgaben konzentrieren.
- Vor Databricks Lakehouse wurden komplexe ETL-Pipelines mit cloudnativen ETL-Tools entwickelt. Die Migration zum Databricks Lakehouse war mit PySpark und Spark-SQL relativ einfach, da mehrere Sprachen unterstützt wurden und unsere Data Engineering-Teams dadurch komplexe ETL-Anforderungen schnell erfüllen konnten.
- Seit der Migration zum Databricks Lakehouse mit skalierbaren Clustern und Notebooks werden ETL-Aufgaben schneller und kostengünstiger erledigt.
- MagicOrange ist ein mandantenfähiges SaaS-Angebot. Datensicherheit und Isolierung von Kundendaten haben höchste Priorität. Da Azure Databricks mehreren Branchen- und Regulierungsstandards entspricht, darunter ISO 27001, SOC 2 und HIPAA, hilft es MagicOrange beim Aufbau sicherer Lösungen.
- Azure Databricks verfügt über eine starke Integration mit Azure AD, wodurch viele Sicherheitsbedenken beseitigt werden und die Nutzung von RBAC (Role Based Access Control) zur Steuerung des Zugriffs auf Databricks Workspace und andere Ressourcen unterstützt wird.
- Die Implementierung von Unity-Catalog hat uns geholfen, die gesamte Datenlandschaft sicherer zu machen. Databricks hat uns geholfen, frühere Einschränkungen zu beseitigen und uns die Möglichkeit gegeben, unsere Entwicklungs- und Produktionsdatenisolationsrichtlinie umzusetzen.
- Unity Catalog-Funktionen wie externer Speicherort und Unterstützung für SQL GRANT-Anweisungen trugen zur Implementierung einer besseren Zugriffskontrolle pro Kundenkatalog bei.
- Es gibt sofort einsatzbereite Sicherheitsfunktionen wie Netzwerkisolierung, Datenverschlüsselung und eine Reihe von Sicherheitsfunktionen, die uns dabei geholfen haben, unsere Daten zu schützen und unsere Sicherheitsanforderungen zu erfüllen.
- Databricks SQL Warehouses/Endpoints können über den Azure Databricks Connector problemlos in Power BI integriert werden und unterstützen den Direct Query-Modus für Delta Lake Data, wodurch wir kundenorientierte Power BI-Berichte und -Dashboards erstellen konnten.
- Serverlose SQL-Warehouses mit Photon sind immens leistungsstark und helfen uns, große Datensätze (mehr als 100 Millionen Zeilen) in Power BI zu visualisieren.
- Databricks SQL Dashboards haben unserem Datenanalysten- und Kundenerfolgsteam dabei geholfen, sehr große Datensätze schnell zu analysieren, indem wir einfache SQL-Abfragen geschrieben und Dashboards in Databricks erstellt haben.
- Delta Sharing ist ein offener Standard, den wir verwenden, um Daten aus ihrer ursprünglichen Quelle sicher mit externen und internen Verbrauchern zu teilen.
- Delta Sharing hat uns geholfen, Daten zu demokratisieren und Daten extern und sicher mit MagicOrange-Kunden zu teilen. Im Rahmen des Kunden-Onboardings erhält jeder Kunde einen eigenen Freigabe- und Empfängerlink.
- Delta-Sharing-Konnektoren werden in gängigen BI-Tools unterstützt, wodurch die Notwendigkeit entfällt, etwas intern zu entwickeln, um Daten sicher zu teilen.
- MagicOrange ist ein datengesteuertes Unternehmen, das stets versucht, innovative Lösungen zu entwickeln, um unseren Kunden dabei zu helfen, Einblicke in ihre komplexen Daten zu gewinnen. Als Teil der MagicOrange-Produkt-Roadmap ist die Entwicklung von ML/KI-basierten Datenprodukten geplant, die es Kunden ermöglichen, auf einfache Weise mehr Erkenntnisse aus komplexen Daten zu gewinnen. Die Verwendung der Databricks Lakehouse-Plattform wird MagicOrange dabei helfen, unsere ML/KI-Praxis aufzubauen und zu skalieren.
- Wir planen, Databricks Lakehouse Architecture und Dolly 2.0 zu nutzen , um ML/KI-basierte Datenprodukte zu entwickeln, die MagicOrange-Kunden einen Mehrwert bieten können.
- In diesem Blog habe ich einige Einblicke darüber gegeben, wie die Implementierung der Lakehouse-Architektur MagicOrange beim Aufbau einer skalierbaren Daten- und Analyseplattform geholfen hat. Als Cloud-Architekt und Datenarchitekt finde ich Azure Databricks sehr kosteneffektiv, da es uns ermöglicht hat, mit einem kleinen Budget zu beginnen und mit vielen Funktionen zu skalieren. Meiner Ansicht nach kann Databricks dazu beitragen, die Daten-, Analyse- und KI-Anforderungen der meisten Unternehmen mithilfe einer einzigen einheitlichen Plattform zu erfüllen, was wir mit anderen Cloud-Data-Warehouses nicht erreichen konnten.
- In den letzten Jahren habe ich miterlebt, wie sich Databricks weiterentwickelt und neue Funktionen und Konzepte hinzufügt, was es in diesem Bereich einzigartig macht. Das Databricks-Team ist außerdem ständig bestrebt, sich ständig zu verbessern. Es gibt ein großartiges Supportsystem von Databricks Solution Architects, die Fachwissen und Best Practices einbringen und die Implementierung von Databricks bei Ihrem bevorzugten Cloud-Anbieter beschleunigen.
- Es gibt eine Menge Dokumentation zu Databricks und Microsoft , mit der Sie die in diesem Blog erwähnten Funktionen ausprobieren und implementieren können. Ich empfehle Ihnen, sich diese Dokumente anzusehen, wenn Sie Databricks in Ihrem Unternehmen verstehen und implementieren möchten.
Suggested posts
Assoziatives Gedächtnis implementieren
Geschrieben von Shashata Sawmya und Harveer Singh Mit dem Aufkommen großer neuronaler Netze und den ständig zunehmenden technologischen Fortschritten, die aktuelle Methoden an ihre absoluten Grenzen bringen, liegt der Schwerpunkt auf der Entwicklung eines Allround-Tools, das alles kann. Allerdings würden die meisten Aufgaben nicht die unglaublich intensiven tiefen Netzwerke erfordern, sondern dennoch etwas Vielseitigeres als grundlegende mathematische Modelle.
So führen Sie ChatGPT-Plugins kostenlos mit Langchain aus
Sie haben sicher schon von allen neuen leistungsstarken ChatGPT-Plugins wie Browser, Code Interpreter usw. gehört. Es gibt jedoch ein Problem: Der Zugriff auf Plugins ist auf eine Warteliste beschränkt und viele haben daher keinen Zugriff darauf.
Related posts
Die Goodreads Reading Challenge ist giftig
Der Juckreiz in meiner Hand breitete sich aus, als ich mit dem örtlichen Buchhändler um ein weiteres Buch verhandelte. Dieses Buch würde wie die anderen, die ich kürzlich gekauft habe, seinen Thron auf meinem Stapel „To Be Read“ (TBR) finden; und trotzdem habe ich es gekauft.
3 bewährte Möglichkeiten, Ihre Schreibfähigkeiten zu verbessern
Die Vorteile des Schreibens und Strategien, die Ihnen dabei helfen
Im Jahr 2022, mit der Veröffentlichung von GPT-3, scheinen Schreibfähigkeiten an Bedeutung zu verlieren. Mit KI können auch Menschen mit schlechten Schreibkenntnissen hochwertiges Personal hervorbringen.
Finanzierung der CO2-Entfernung im Geschäftsjahr 24
Die Aufschlüsselung der Mittelanträge von Carbon180 nach Pfaden
Von Alyson Lee, geschäftsführende Beraterin für Regierungsangelegenheiten Der jährliche Bewilligungsprozess der Bundesregierung ist von zentraler Bedeutung für unsere Bemühungen zur Finanzierung der Kohlendioxidentfernung (CDR). Jedes Jahr reicht Carbon180 Anfragen an verschiedene Kongressbüros ein, um zu bestimmen, wohin die Dollars im nächsten Jahr fließen werden.
Die „Learning at Work Week“ ist wichtiger als Sie denken
Es fällt uns oft schwer, das umzusetzen, von dem wir wissen, dass es gut für uns ist. Von der Aussage, dass wir einen Lebensgefährten lieben, bis hin zur Erinnerung daran, wie ein Pirat zu reden – es wird immer diejenigen geben, die behaupten, dass ein Tag, eine Woche oder ein Monat voller Ereignisse nicht nötig sei, weil sie diese Dinge bereits tun.