Azure Databricks + MagicOrange
- Architecture Lakehouse et plate-forme unique pour l'ingénierie des données, la science des données, l'ingestion de données, l'apprentissage automatique, l'entrepôt de données/Lakehouse, l'analyse des données.
- Sécurité des données et intégration avec Azure AD.
- Intégration avec Power BI à l'aide du connecteur Azure Databricks.
- Architecture évolutive avec clusters et Databricks Runtime, donnant la puissance d'Apache-Spark et éliminant la complexité de la gestion de toute configuration Spark.
- Expérience de développement interactif avec Databricks Workspace et Notebooks, ajouté l'avantage de la prise en charge de plusieurs langages tels que Python, R, SQL, Scala, Java (.jars).
- Orchestration avec Jobs/Workflows et récemment utilisation de Delta Live Tables.
- Le plus important - Rentable - Databricks nous a permis de créer et d'exécuter une plate-forme de données et d'analyse cloud à grande échelle et de maintenir nos coûts bien en deçà du budget. Par exemple, après avoir migré notre charge de travail ETL d'un outil ETL natif cloud vers Azure Databricks, nous avons constaté des économies allant jusqu'à 400 % par mois sur les seules tâches ETL. Nous avons pu commencer petit et à grande échelle en fonction de nos besoins, car nous ne payons que ce que nous utilisons.
- Le stockage et le calcul sont séparés, ce qui réduit les coûts de stockage, car les données sont au format Delta Lake et sont stockées sous forme de fichiers Parquet sur Azure Data Lake Storage Containers.
- Azure Databricks intègre de manière transparente un large éventail de sources de données, ce qui nous a aidés à créer et à faire évoluer nos solutions rapidement.
- L'interface utilisateur de Data Engineering Workspace est conviviale pour les développeurs, avec des fonctionnalités natives telles que des blocs-notes, un environnement de pipeline avec des tâches, des flux de travail, des tables Delta Live, une planification/orchestration et des notifications d'échec. Cela élimine le besoin de maintenir différents outils pour effectuer les mêmes tâches et a permis à l'équipe d'ingénierie des données de se concentrer sur la résolution des tâches ETL.
- Avant Databricks Lakehouse, des pipelines ETL complexes étaient développés à l'aide d'outils ETL cloud natifs. La migration vers Databricks Lakehouse a été relativement facile avec PySpark et Spark-SQL, avec la prise en charge de plusieurs langues, ce qui a permis à nos équipes d'ingénierie des données de répondre rapidement aux exigences ETL complexes.
- Depuis la migration vers Databricks Lakehouse, à l'aide de clusters et de notebooks évolutifs, les tâches ETL s'exécutent plus rapidement et sont moins coûteuses.
- MagicOrange est une offre SaaS multi-tenant. La sécurité des données et l'isolement des données client sont des priorités absolues, et comme Azure Databricks est conforme à plusieurs normes industrielles et réglementaires, notamment ISO 27001, SOC 2 et HIPAA, il aide MagicOrange à créer des solutions sécurisées.
- Azure Databricks a une forte intégration avec Azure AD, ce qui élimine de nombreux problèmes de sécurité et aide à tirer parti du RBAC (Role Based Access Control) pour contrôler l'accès à Databricks Workspace et à d'autres ressources.
- La mise en œuvre de Unity-Catalog nous a aidés à rendre le paysage global des données plus sécurisé. Databricks nous a aidés à supprimer les limitations précédentes et nous a donné la possibilité d'appliquer notre politique d'isolement des données de développement et de production.
- Les fonctionnalités du catalogue Unity, telles que l'emplacement de stockage externe et la prise en charge des instructions SQL GRANT, ont contribué à la mise en œuvre d'un meilleur contrôle d'accès par catalogue client.
- Il existe des fonctionnalités de sécurité prêtes à l'emploi telles que l'isolation du réseau, le cryptage des données et une gamme de fonctionnalités de sécurité qui nous ont aidés à protéger nos données et à répondre à nos exigences de sécurité.
- Databricks SQL Warehouses/Endpoints peut être facilement intégré à Power BI à l'aide du connecteur Azure Databricks et prend en charge le mode de requête directe vers Delta Lake Data, ce qui nous a permis de créer des rapports et des tableaux de bord Power BI destinés aux clients.
- Les entrepôts SQL sans serveur avec Photon sont extrêmement puissants et nous aident à visualiser de grands ensembles de données (plus de 100 millions de lignes) dans Power BI.
- Les tableaux de bord Databricks SQL ont aidé notre équipe d'analystes de données et de réussite client à analyser rapidement de très grands ensembles de données, en écrivant des requêtes SQL simples et en créant des tableaux de bord dans Databricks.
- Delta Sharing est une norme ouverte que nous utilisons pour partager en toute sécurité des données avec des consommateurs externes et internes à partir de leur source d'origine.
- Delta Sharing nous a aidés à démocratiser les données et à partager des données en externe et en toute sécurité avec les clients MagicOrange. Dans le cadre de l'intégration des clients, chaque client reçoit un lien de partage et de destinataire dédié.
- Les connecteurs Delta Sharing sont pris en charge dans les outils de BI populaires, ce qui a éliminé le besoin de créer quelque chose en interne pour partager des données en toute sécurité.
- MagicOrange est une entreprise axée sur les données, essayant toujours de créer des solutions innovantes pour aider nos clients à tirer des enseignements de leurs données complexes. Dans le cadre de la feuille de route des produits MagicOrange, il est prévu de créer des produits de données basés sur ML/AI qui peuvent permettre aux clients de tirer facilement plus d'informations à partir de données complexes. L'utilisation de la plate-forme Databricks Lakehouse aidera MagicOrange à développer et à faire évoluer notre pratique ML/AI.
- Nous prévoyons de tirer parti de l'architecture Databricks Lakehouse et de Dolly 2.0 pour créer des produits de données basés sur ML/AI, qui peuvent apporter plus de valeur aux clients de MagicOrange.
- Dans ce blog, j'ai partagé quelques idées sur la façon dont la mise en œuvre de l'architecture Lakehouse a aidé MagicOrange à créer une plate-forme de données et d'analyse évolutive. En tant qu'architecte cloud et architecte de données, je trouve Azure Databricks très rentable, car il nous a permis de démarrer avec un petit budget et une échelle avec de nombreuses fonctionnalités. De mon point de vue, Databricks peut aider à répondre aux exigences de la plupart des organisations en matière de données, d'analyse et d'IA à l'aide d'une seule plate-forme unifiée, ce que nous ne pourrions pas réaliser sur d'autres entrepôts de données cloud.
- Au cours des dernières années, j'ai vu Databricks évoluer - en ajoutant de nouvelles fonctionnalités et de nouveaux concepts, ce qui le rend unique dans cet espace. L'équipe Databricks déploie également des efforts continus pour toujours s'améliorer. Il existe un excellent système de support de la part des architectes de solutions Databricks, qui apportent leur expertise et leurs meilleures pratiques, accélérant la mise en œuvre de Databricks dans votre fournisseur Cloud préféré.
- Il existe une tonne de documentation disponible sur Databricks et Microsoft pour essayer d'implémenter toute fonctionnalité mentionnée dans ce blog, je vous recommande de consulter ces documents si vous souhaitez comprendre et implémenter Databricks dans votre organisation.
Suggested posts
Mise en œuvre de la mémoire associative
Écrit par Shashata Sawmya et Harveer Singh Avec l'avènement des grands réseaux de neurones et les progrès technologiques toujours croissants qui poussent les méthodes actuelles à leur limite absolue, l'accent a été mis sur la création d'un outil fourre-tout qui vise à tout faire. Cependant, la plupart des tâches n'auraient pas besoin des réseaux profonds incroyablement intensifs, mais toujours de quelque chose de plus polyvalent que les modèles mathématiques de base.
Comment exécuter gratuitement les plugins ChatGPT avec Langchain
Vous devez avoir entendu parler de tous les nouveaux plugins ChatGPT puissants comme le navigateur, l'interpréteur de code, etc. Mais il y a un problème, l'accès aux plugins est limité à une liste d'attente et donc beaucoup n'y ont pas accès.
Related posts
Le premier livre d'un enfant sur la défonce
(Attention - Ceci est une satire, destinée à être joyeusement subversive - Certainement pas pour les enfants) Vous avez vu votre mère et votre père se cacher dans la cuisine et fumer ces cigarettes malodorantes. Ils vous disent.
Qu'est-ce qui rend un podcast influent ?
La semaine dernière, j'ai remarqué un communiqué de presse, envoyé via PressGazette (un site Web d'information britannique). L'article annonçait qu'Acast, la société d'hébergement et de publicité de podcasts de Scandi, dirigerait un consortium d'éditeurs "probablement les plus influents" du podcasting.
Le défi de lecture Goodreads est toxique
La démangeaison dans ma main s'est propagée alors que je négociais avec le libraire local pour un autre livre. Ce livre, comme les autres que j'ai achetés récemment, trouverait son trône sur ma pile «À lire» (TBR); et pourtant, je l'ai acheté.
"La fosse des Mariannes dévoilée : dévoiler les terrifiantes vérités cachées de l'abîme"
Introduction :Bienvenue, courageux lecteurs, dans un voyage qui nous emmènera dans les profondeurs les plus sombres de notre planète. Dans ce blog, nous plongeons dans le monde énigmatique de la fosse des Mariannes, découvrant ses secrets cachés et découvrant les vérités effrayantes qui se cachent sous sa surface.