Azure Databricks + MagicOrange
- Architettura Lakehouse e piattaforma unica per Data Engineering, Data Science, Data Ingestion, Machine Learning, Data Warehouse/Lakehouse, Data Analytics.
- Sicurezza dei dati e integrazione con Azure AD.
- Integrazione con Power BI tramite il connettore Azure Databricks.
- Architettura scalabile con cluster e Databricks Runtime, che offre la potenza di Apache-Spark ed elimina la complessità per la gestione di qualsiasi configurazione Spark.
- L'esperienza di sviluppo interattivo con Databricks Workspace and Notebooks ha aggiunto il vantaggio del supporto per più linguaggi come Python, R, SQL, Scala, Java (.jars).
- Orchestrazione con lavori/flussi di lavoro e recentemente utilizzo di Delta Live Tables.
- La cosa più importante — Conveniente — Databricks ci ha permesso di creare ed eseguire una piattaforma Cloud Data and Analytics su larga scala e mantenere i nostri costi ben al di sotto del budget. Ad esempio, dopo aver migrato il nostro carico di lavoro ETL da uno strumento ETL nativo del cloud ad Azure Databricks, abbiamo registrato risparmi fino al 400% al mese solo sui processi ETL. Siamo stati in grado di iniziare in piccolo e scalare in base alle nostre esigenze, poiché paghiamo solo per ciò che utilizziamo.
- L'archiviazione e il calcolo sono separati, il che consente di risparmiare sui costi di archiviazione, poiché i dati sono in formato Delta Lake e vengono archiviati sotto forma di file parquet nei contenitori di archiviazione di Azure Data Lake.
- Azure Databricks integra perfettamente un'ampia gamma di origini dati che ci ha aiutato a creare e ridimensionare rapidamente le nostre soluzioni.
- L'interfaccia utente di Data Engineering Workspace è intuitiva per gli sviluppatori, con funzionalità native come notebook, ambiente pipeline con processi, flussi di lavoro, Delta Live Tables, pianificazione/orchestrazione e notifiche di errore. Ciò elimina la necessità di mantenere strumenti diversi per svolgere le stesse attività e ha consentito al team di ingegneria dei dati di concentrarsi sulla risoluzione delle attività ETL.
- Prima di Databricks Lakehouse, le pipeline ETL complesse venivano sviluppate utilizzando strumenti ETL nativi del cloud. La migrazione a Databricks Lakehouse è stata relativamente semplice utilizzando PySpark e Spark-SQL, con il supporto per più lingue e questo ha consentito ai nostri team di ingegneria dei dati di fornire rapidamente requisiti ETL complessi.
- Dalla migrazione a Databricks Lakehouse, utilizzando cluster e notebook scalabili, le attività ETL vengono completate più velocemente e sono meno costose.
- MagicOrange è un'offerta SaaS multi-tenant. La sicurezza dei dati e l'isolamento dei dati dei clienti sono priorità assolute e poiché Azure Databricks è conforme a diversi standard di settore e normativi, tra cui ISO 27001, SOC 2 e HIPAA, aiuta MagicOrange a creare soluzioni sicure.
- Azure Databricks ha una forte integrazione con Azure AD, che elimina molti problemi di sicurezza e consente di sfruttare RBAC (controllo degli accessi in base al ruolo) per controllare l'accesso a Databricks Workspace e ad altre risorse.
- L'implementazione di Unity-Catalog ci ha aiutato a rendere più sicuro il panorama generale dei dati. Databricks ci ha aiutato a rimuovere le limitazioni precedenti e ci ha dato la possibilità di rispettare i nostri criteri di isolamento dei dati di sviluppo e produzione.
- Le funzionalità di Unity Catalog, come la posizione di archiviazione esterna e il supporto per le istruzioni SQL GRANT, hanno contribuito a implementare un migliore controllo degli accessi per Customer Catalog.
- Esistono funzionalità di sicurezza pronte all'uso come l'isolamento della rete, la crittografia dei dati e una gamma di funzionalità di sicurezza che ci hanno aiutato a proteggere i nostri dati e soddisfare i nostri requisiti di sicurezza.
- Databricks SQL Warehouse/Endpoint può essere facilmente integrato con Power BI usando Azure Databricks Connector e supporta la modalità Direct Query su Delta Lake Data, che ci ha consentito di creare report e dashboard di Power BI rivolti ai clienti.
- Gli SQL Warehouse serverless con Photon sono estremamente potenti e ci aiutano a visualizzare set di dati di grandi dimensioni (più di 100 milioni di righe) in Power BI.
- Databricks SQL Dashboards ha aiutato il nostro team di analisti di dati e successo dei clienti ad analizzare rapidamente set di dati molto grandi, scrivendo semplici query SQL e creando dashboard all'interno di Databricks.
- Delta Sharing è uno standard aperto che utilizziamo per condividere in modo sicuro i dati con consumatori interni ed esterni dalla loro fonte originale.
- Delta Sharing ci ha aiutato a democratizzare i dati e a condividerli esternamente e in modo sicuro con i clienti MagicOrange. Come parte dell'onboarding del cliente, ogni cliente riceve una condivisione dedicata e un link del destinatario.
- I connettori di condivisione Delta sono supportati nei più diffusi strumenti di BI, il che ha eliminato la necessità di creare qualcosa internamente per condividere i dati in modo sicuro.
- MagicOrange è un'azienda basata sui dati, che cerca sempre di creare soluzioni innovative per aiutare i nostri clienti a ricavare informazioni dai loro dati complessi. Come parte della roadmap del prodotto MagicOrange, ci sono piani per creare prodotti dati basati su ML/AI che possono consentire ai clienti di trarre facilmente maggiori informazioni da dati complessi. L'utilizzo della piattaforma Databricks Lakehouse aiuterà MagicOrange a creare e ridimensionare la nostra pratica ML/AI.
- Abbiamo in programma di sfruttare Databricks Lakehouse Architecture e Dolly 2.0 per creare prodotti dati basati su ML/AI, che possono portare più valore ai clienti MagicOrange.
- In questo blog, ho condiviso alcune intuizioni su come l'implementazione dell'architettura Lakehouse ha aiutato MagicOrange a creare una piattaforma scalabile di dati e analisi. Lavorando come Cloud Architect e Data Architect, trovo che Azure Databricks sia molto conveniente, in quanto ci ha permesso di iniziare con un budget ridotto e scalare con molte funzionalità. Dal mio punto di vista, Databricks può aiutare a soddisfare i requisiti di dati, analisi e intelligenza artificiale della maggior parte delle organizzazioni utilizzando un'unica piattaforma unificata, cosa che non potremmo ottenere su altri data warehouse cloud.
- Negli ultimi anni, ho visto Databricks evolversi, aggiungendo nuove funzionalità e concetti, che lo rendono unico in questo spazio. C'è anche uno sforzo continuo da parte del team di Databricks per migliorare sempre. Esiste un ottimo sistema di supporto da Databricks Solution Architects, che apportano esperienza e best practice, accelerando l'implementazione di Databricks nel tuo provider cloud preferito.
- C'è un sacco di documentazione disponibile su Databricks e Microsoft per provare a implementare qualsiasi funzionalità menzionata in questo blog, ti consiglio di consultare questi documenti se desideri comprendere e implementare Databricks nella tua organizzazione.
Suggested posts
Implementazione della memoria associativa
Scritto da Shashata Sawmya e Harveer Singh Con l'avvento delle grandi reti neurali e i sempre crescenti progressi tecnologici che spingono i metodi attuali al loro limite assoluto, l'attenzione si è concentrata sulla creazione di uno strumento universale che mira a fare tutto. Tuttavia, la maggior parte delle attività non richiederebbe le reti profonde incredibilmente intense, ma comunque qualcosa di più versatile dei modelli matematici di base.
Come eseguire i plug-in ChatGPT gratuitamente utilizzando Langchain
Devi aver sentito parlare di tutti i nuovi potenti plug-in ChatGPT come Browser, Code Interpreter ecc. Ma c'è un problema, l'accesso ai plug-in è limitato a una lista di attesa e quindi molti non hanno accesso ad essa.
Related posts
L'apprendimento alla settimana lavorativa conta più di quanto pensi
Spesso ci troviamo a lottare per implementare ciò che sappiamo essere buono per noi. Dal dire a un altro significativo che li amiamo al ricordare di parlare come un pirata, ci saranno sempre quelli che affermeranno che un giorno, una settimana o un mese di eventi non è necessario perché stanno già facendo quelle cose.
La persecuzione dei cristiani: il crimine d'odio di cui non parliamo
Dimentica l'islamofobia: i cristiani (e gli ebrei) sono le principali vittime dei crimini di odio religioso.
Qualsiasi mente razionale sa che i circoli politici e mediatici sono dominati dalla sinistra, anche dall'estrema sinistra, uno stato di cose che crea uno squilibrio nel discorso politico. Nel campo della religione, questo squilibrio è chiaramente visibile: giornali e reti di sinistra non si affrettano a difendere la fede cristiana.
Il primo libro per sballarsi di un bambino
(Attenzione: questa è satira, destinata ad essere allegramente sovversiva, sicuramente non per bambini) Hai visto tua madre e tuo padre nascondersi in cucina e fumare quelle sigarette puzzolenti. Ti dicono.