Azure Databricks + MagicOrange
- Architektura Lakehouse i pojedyncza platforma do inżynierii danych, nauki o danych, pozyskiwania danych, uczenia maszynowego, hurtowni danych/Lakehouse, analizy danych.
- Bezpieczeństwo danych i integracja z usługą Azure AD.
- Integracja z Power BI przy użyciu Azure Databricks Connector.
- Skalowalna architektura z klastrami i Databricks Runtime, zapewniająca moc Apache-Spark i eliminująca złożoność zarządzania dowolną konfiguracją Spark.
- Interaktywne środowisko programistyczne z Databricks Workspace i Notebooks dodało korzyść obsługi wielu języków, takich jak Python, R, SQL, Scala, Java (.jars).
- Orkiestracja z zadaniami/przepływami pracy, a ostatnio przy użyciu Delta Live Tables.
- Co najważniejsze — efektywność kosztowa — Datakostki umożliwiły nam zbudowanie i uruchomienie platformy Cloud Data and Analytics na dużą skalę i utrzymanie kosztów znacznie poniżej budżetu. Na przykład po migracji naszego obciążenia ETL z natywnego narzędzia ETL w chmurze do Azure Databricks zaobserwowaliśmy oszczędności do 400% miesięcznie na samych zadaniach ETL. Mogliśmy zacząć na małą skalę w oparciu o nasze potrzeby, ponieważ płacimy tylko za to, czego używamy.
- Magazyn i obliczenia są oddzielne, co pozwala zaoszczędzić na kosztach magazynowania, ponieważ dane są w formacie Delta Lake i są przechowywane w postaci plików Parquet w kontenerach Azure Data Lake Storage.
- Usługa Azure Databricks bezproblemowo integruje szeroką gamę źródeł danych, co pomogło nam szybko tworzyć i skalować nasze rozwiązania.
- Interfejs Data Engineering Workspace jest przyjazny dla programistów, z natywnymi funkcjami, takimi jak notatniki, środowisko potokowe z zadaniami, przepływami pracy, tabelami Delta Live Tables, planowaniem/aranżacją i powiadomieniami o błędach. Eliminuje to potrzebę utrzymywania różnych narzędzi do wykonywania tych samych zadań i umożliwia zespołowi inżynierii danych skupienie się na rozwiązywaniu zadań ETL.
- Przed usługą Databricks Lakehouse złożone potoki ETL były opracowywane przy użyciu natywnych narzędzi ETL w chmurze. Migracja do Databricks Lakehouse była stosunkowo łatwa przy użyciu PySpark i Spark-SQL, z obsługą wielu języków, co umożliwiło naszym zespołom inżynierii danych szybkie dostarczanie złożonych wymagań ETL.
- Od czasu migracji do usługi Databricks Lakehouse przy użyciu skalowalnych klastrów i notesów zadania ETL wykonują się szybciej i są tańsze.
- MagicOrange to wielodostępna oferta SaaS. Bezpieczeństwo danych i izolacja danych klientów to najważniejsze priorytety, a ponieważ Azure Databricks jest zgodny z kilkoma standardami branżowymi i regulacyjnymi, w tym ISO 27001, SOC 2 i HIPAA, pomaga firmie MagicOrange w tworzeniu bezpiecznych rozwiązań.
- Usługa Azure Databricks ma silną integrację z usługą Azure AD, co eliminuje wiele problemów związanych z bezpieczeństwem i pomaga wykorzystać RBAC (Kontrola dostępu oparta na rolach) do kontrolowania dostępu do obszaru roboczego Datakostki i innych zasobów.
- Wdrożenie Unity-Catalog pomogło nam zwiększyć bezpieczeństwo całego środowiska danych. Datakostki pomogły nam usunąć wcześniejsze ograniczenia i dały nam możliwość osiągnięcia naszych zasad izolacji danych deweloperskich i produkcyjnych.
- Funkcje Unity Catalog, takie jak zewnętrzna lokalizacja magazynu i obsługa instrukcji SQL GRANT, pomogły we wdrożeniu lepszej kontroli dostępu do katalogu klienta.
- Istnieją gotowe funkcje bezpieczeństwa, takie jak izolacja sieci, szyfrowanie danych oraz szereg funkcji bezpieczeństwa, które pomogły nam chronić nasze dane i spełnić nasze wymagania dotyczące bezpieczeństwa.
- Databricks SQL Warehouses/Endpoints można łatwo zintegrować z usługą Power BI przy użyciu łącznika Azure Databricks i obsługiwać tryb zapytań bezpośrednich do Delta Lake Data, co umożliwiło nam tworzenie raportów i pulpitów nawigacyjnych usługi Power BI przeznaczonych dla klientów.
- Bezserwerowe magazyny SQL z Photonem są niezwykle wydajne i pomagają nam wizualizować duże zbiory danych (ponad 100 milionów wierszy) w usłudze Power BI.
- Pulpity nawigacyjne SQL Datakostki pomogły naszemu zespołowi analityków danych i zespołu ds. sukcesu klienta szybko analizować bardzo duże zestawy danych, pisząc proste zapytania SQL i budując pulpity nawigacyjne w kostkach danych.
- Delta Sharing to otwarty standard, którego używamy do bezpiecznego udostępniania danych konsumentom zewnętrznym i wewnętrznym z ich pierwotnego źródła.
- Delta Sharing pomogła nam zdemokratyzować dane i bezpiecznie udostępniać je na zewnątrz klientom MagicOrange. W ramach onboardingu każdy klient otrzymuje dedykowany link udostępniania i odbiorcy.
- Złącza Delta Sharing są obsługiwane w popularnych narzędziach BI, co wyeliminowało potrzebę samodzielnego budowania czegoś w celu bezpiecznego udostępniania danych.
- MagicOrange to firma oparta na danych, zawsze stara się tworzyć innowacyjne rozwiązania, aby pomóc naszym klientom uzyskać wgląd w ich złożone dane. W ramach planu działania produktu MagicOrange planowane jest zbudowanie produktów opartych na danych ML/AI, które umożliwią klientom łatwe wyciąganie większej ilości informacji ze złożonych danych. Korzystanie z Databricks Lakehouse Platform pomoże MagicOrange zbudować i skalować naszą praktykę ML/AI.
- Planujemy wykorzystać Databricks Lakehouse Architecture i Dolly 2.0 do tworzenia produktów danych opartych na ML/AI, które mogą przynieść większą wartość klientom MagicOrange.
- Na tym blogu podzieliłem się spostrzeżeniami na temat tego, jak wdrożenie architektury Lakehouse pomogło firmie MagicOrange zbudować skalowalną platformę danych i analiz. Pracując jako architekt chmury i architekt danych, uważam, że usługa Azure Databricks jest bardzo opłacalna, ponieważ pozwoliła nam zacząć z niewielkim budżetem i skalować z wieloma funkcjami. Z mojej perspektywy Datakostki mogą pomóc w spełnieniu większości wymagań organizacji w zakresie danych, analiz i sztucznej inteligencji przy użyciu jednej ujednoliconej platformy, czego nie moglibyśmy osiągnąć w przypadku innych hurtowni danych w chmurze.
- W ciągu ostatnich kilku lat obserwowałem ewolucję Datakostek — dodając nowe funkcje i koncepcje, co czyni je wyjątkowymi w tej przestrzeni. Istnieje również ciągły wysiłek ze strony zespołu Datakostki, aby zawsze ulepszać. Istnieje świetny system wsparcia Databricks Solution Architects, którzy wnoszą wiedzę i najlepsze praktyki, przyspieszając wdrażanie Databricks u preferowanego dostawcy chmury.
- Dostępnych jest mnóstwo dokumentacji dotyczącej kostek danych i firmy Microsoft , aby spróbować wdrożyć dowolną funkcję wymienioną w tym blogu. Polecam zapoznanie się z tymi dokumentami, jeśli chcesz zrozumieć i wdrożyć kosteczki danych w swojej organizacji.
Suggested posts
Implementacja pamięci asocjacyjnej
Napisane przez: Shashata Sawmya i Harveer Singh Wraz z pojawieniem się dużych sieci neuronowych i stale rosnącym postępem technologicznym, który doprowadza obecne metody do granic możliwości, skupiono się na stworzeniu uniwersalnego narzędzia, którego celem jest zrobienie wszystkiego. Jednak większość zadań nie wymagałaby niesamowicie intensywnych głębokich sieci, ale wciąż czegoś bardziej wszechstronnego niż podstawowe modele matematyczne.
Jak bezpłatnie uruchamiać wtyczki ChatGPT za pomocą Langchain
Na pewno słyszałeś o wszystkich nowych, potężnych wtyczkach ChatGPT, takich jak przeglądarka, interpreter kodu itp. Ale jest problem, dostęp do wtyczek jest ograniczony do listy oczekujących, przez co wielu nie ma do nich dostępu.
Related posts
Zabójstwo Jordana Neely'ego i problem „patriotycznego” rasizmu
Czy Stany Zjednoczone mogą zrobić zasadniczy krok, by nie utożsamiać zachowania rasistowskiego z byciem dobrym Amerykaninem?
[Ostrzeżenie: ten esej zawiera zrzuty ekranowe ludzi wychwalających mordercę Jordana Neely'ego.] Funkcjonariusze organów ścigania w końcu - i być może niechętnie - oskarżyli Daniela Penny'ego, człowieka, który dusił Jordana Neely'ego aż do śmierci, o to zabójstwo.
Finansowanie usuwania dwutlenku węgla w RO24
Podział wniosków o środki Carbon180 na różne ścieżki
Autor: Alyson Lee, doradca zarządzający ds. spraw rządowych Coroczny proces przyznawania środków przez rząd federalny ma kluczowe znaczenie dla naszych wysiłków na rzecz sfinansowania usuwania dwutlenku węgla (CDR). Każdego roku Carbon180 przesyła prośby do różnych biur kongresowych, aby pomóc wskazać, gdzie będą płynąć dolary w przyszłym roku.
Dlaczego niektórzy freelancerzy udają swoje życie
Niedawno byłem na Linkedin, największej profesjonalnej sieci społecznościowej na świecie, i znalazłem posty obserwowanych przeze mnie niezależnych projektantów, którzy przykuli moją uwagę. Wszyscy zamieszczali zdjęcia z samolotów, na plaży z laptopami, z basenów i biur z niesamowitymi widokami.