Azure Databricks + MagicOrange

MagicOrange funciona con Databricks: plataforma de inteligencia artificial y análisis de nube unificada

Arquitectura Lakehouse y plataforma única para ingeniería de datos, ciencia de datos, ingesta de datos, aprendizaje automático, almacén de datos/Lakehouse, análisis de datos.
Seguridad de datos e integración con Azure AD.
Integración con Power BI mediante Azure Databricks Connector.
Arquitectura escalable con clústeres y Databricks Runtime, que otorga la potencia de Apache-Spark y elimina la complejidad para administrar cualquier configuración de Spark.
La experiencia de desarrollo interactivo con Databricks Workspace y Notebooks agregó el beneficio de la compatibilidad con varios lenguajes como Python, R, SQL, Scala, Java (.jars).
Orquestación con trabajos/flujos de trabajo y recientemente usando Delta Live Tables.
Lo más importante: rentable : los ladrillos de datos nos permitieron crear y ejecutar una plataforma de análisis y datos en la nube a escala y mantener nuestros costos muy por debajo del presupuesto. Por ejemplo, después de migrar nuestra carga de trabajo de ETL de una herramienta de ETL nativa en la nube a Azure Databricks, vimos ahorros de hasta un 400 % por mes solo en trabajos de ETL. Pudimos comenzar de a poco y escalar según nuestras necesidades, ya que solo pagamos por lo que usamos.
El almacenamiento y la computación están separados, lo que ahorra costos de almacenamiento, ya que los datos están en formato Delta Lake y se almacenan en forma de archivos Parquet en Azure Data Lake Storage Containers.

Arquitectura MagicOrange Lakehouse en Microsoft Azure Databricks

Azure Databricks integra a la perfección una amplia gama de fuentes de datos que nos ha ayudado a construir y escalar nuestras soluciones rápidamente.
La interfaz de usuario de Data Engineering Workspace es fácil de usar para los desarrolladores, con características nativas como cuadernos, entorno de canalización con trabajos, flujos de trabajo, Delta Live Tables, programación/orquestación y notificaciones de fallas. Esto elimina la necesidad de mantener diferentes herramientas para realizar las mismas tareas y ha permitido que el equipo de ingeniería de datos mantenga su enfoque en resolver las tareas de ETL.
Antes de Databricks Lakehouse, las canalizaciones ETL complejas se desarrollaban con herramientas ETL nativas de la nube. La migración a Databricks Lakehouse fue relativamente fácil con PySpark y Spark-SQL, con compatibilidad con varios idiomas, lo que permitió a nuestros equipos de ingeniería de datos cumplir rápidamente con los complejos requisitos de ETL.
Desde la migración a Databricks Lakehouse, mediante el uso de clústeres y portátiles escalables, las tareas de ETL se completan más rápido y son menos costosas.

MagicOrange Lakehouse: implementación del catálogo de Unity

MagicOrange es una oferta de SaaS para múltiples inquilinos. La seguridad de los datos y el aislamiento de los datos del cliente son las principales prioridades, y dado que Azure Databricks cumple con varios estándares regulatorios y de la industria, incluidos ISO 27001, SOC 2 e HIPAA, ayuda a MagicOrange a crear soluciones seguras.
Azure Databricks tiene una sólida integración con Azure AD, lo que elimina muchos problemas de seguridad y ayuda a aprovechar RBAC (Control de acceso basado en roles) para controlar el acceso a Databricks Workspace y otros recursos.
La implementación de Unity-Catalog nos ayudó a hacer más seguro el panorama general de datos. Databricks nos ayudó a eliminar las limitaciones anteriores y nos dio la capacidad de lograr nuestra política de aislamiento de datos de desarrollo y producción.
Las funciones de Unity Catalog, como la ubicación de almacenamiento externo y la compatibilidad con declaraciones SQL GRANT, ayudaron a implementar un mejor control de acceso por catálogo de clientes.
Hay funciones de seguridad listas para usar, como Aislamiento de red, Cifrado de datos y una variedad de funciones de seguridad que nos ayudaron a proteger nuestros datos y cumplir con nuestros requisitos de seguridad.

Databricks SQL Warehouse/Endpoints se puede integrar fácilmente con Power BI mediante Azure Databricks Connector y admitir el modo de consulta directa a Delta Lake Data, lo que nos permitió crear informes y paneles de Power BI orientados al cliente.
Los almacenes SQL sin servidor con Photon son inmensamente poderosos y nos ayudan a visualizar grandes conjuntos de datos (más de 100 millones de filas) en Power BI.
Los paneles SQL de Databricks han ayudado a nuestro equipo de analistas de datos y éxito del cliente a analizar rápidamente conjuntos de datos muy grandes, escribiendo consultas SQL simples y creando paneles dentro de Databricks.

MagicOrange Lakehouse — Implementación de DeltaSharing

Delta Sharing es un estándar abierto que utilizamos para compartir datos de forma segura con consumidores externos e internos desde su fuente original.
Delta Sharing nos ha ayudado a democratizar los datos y compartirlos de forma externa y segura con los clientes de MagicOrange. Como parte de la incorporación de clientes, cada cliente obtiene un enlace compartido y de destinatario dedicado.
Los conectores Delta Sharing son compatibles con las herramientas de BI populares, lo que ha eliminado la necesidad de crear algo interno para compartir datos de forma segura.

MagicOrange es una empresa impulsada por los datos, que siempre trata de crear soluciones innovadoras para ayudar a nuestros clientes a obtener información sobre sus datos complejos. Como parte de la hoja de ruta del producto MagicOrange, hay planes para crear productos de datos basados en ML/AI que pueden permitir a los clientes obtener fácilmente más información a partir de datos complejos. El uso de Databricks Lakehouse Platform ayudará a MagicOrange a construir y escalar nuestra práctica de ML/IA.
Planeamos aprovechar Databricks Lakehouse Architecture y Dolly 2.0 para crear productos de datos basados en ML/AI, que pueden aportar más valor a los clientes de MagicOrange.

En este blog, he compartido algunas ideas sobre cómo la implementación de Lakehouse Architecture ha ayudado a MagicOrange a construir una plataforma de datos y análisis escalable. Al trabajar como arquitecto de la nube y arquitecto de datos, considero que Azure Databricks es muy rentable, ya que nos ha permitido comenzar con un presupuesto pequeño y escalar con muchas funciones. Desde mi punto de vista, Databricks puede ayudar a cumplir con los requisitos de datos, análisis e inteligencia artificial de la mayoría de las organizaciones mediante una sola plataforma unificada, algo que no pudimos lograr en otros almacenes de datos en la nube.
En los últimos años, he visto evolucionar a Databricks, agregando nuevas características y conceptos, lo que lo hace único en este espacio. También hay un esfuerzo continuo del equipo de Databricks para mejorar siempre. Hay un excelente sistema de soporte de Databricks Solution Architects, que aporta experiencia y mejores prácticas, lo que acelera la implementación de Databricks en su proveedor de nube preferido.
Hay una gran cantidad de documentación disponible en Databricks y Microsoft para probar e implementar cualquier función mencionada en este blog. Le recomiendo que consulte estos documentos si está interesado en comprender e implementar Databricks en su organización.

Implementación de memoria asociativa

Escrito por Shashata Sawmya y Harveer Singh Con el advenimiento de las grandes redes neuronales y los avances tecnológicos cada vez mayores que llevan los métodos actuales a su límite absoluto, el enfoque ha sido crear una herramienta general que apunta a hacer todo. Sin embargo, la mayoría de las tareas no necesitarían redes profundas increíblemente intensivas, sino algo más versátil que los modelos matemáticos básicos.

Cómo ejecutar los complementos de ChatGPT de forma gratuita usando Langchain

Debe haber oído hablar de todos los complementos nuevos y potentes de ChatGPT, como el navegador, el intérprete de código, etc. Pero hay un problema, el acceso a los complementos está limitado a una lista de espera y, por lo tanto, muchos no tienen acceso a ellos.

3 formas comprobadas de mejorar su habilidad de escritura

Los beneficios de escribir y estrategias para ayudarte a hacerlo

En 2022, con el lanzamiento de GPT-3, la habilidad de escritura parece perder importancia. Con IA, las personas con mala escritura también pueden generar personal de calidad.

La revolución del lugar de trabajo: los mejores expertos hablan sobre el trabajo híbrido y remoto

En el panorama empresarial en rápida evolución actual, el concepto de trabajo híbrido y remoto ha ganado un impulso sin precedentes. A medida que las empresas continúan adaptándose a las necesidades y expectativas cambiantes de sus empleados, expertos de varios campos se han reunido para analizar los beneficios, los desafíos y el futuro de esta forma transformadora de trabajar.

La mentira del vaquero

Cómo las megacorporaciones vendieron a los estadounidenses una falsedad fornida

Es una mañana brillantemente dorada en las ondulantes colinas del oeste, mientras los primeros rayos del sol iluminan la hierba escarchada de las llanuras. Una manada de ganado Angus plácido, negro azabache y enorme, se recorta contra el amanecer mientras avanzan por un sendero trillado hacia un lugar que todos conocen bien; la barra de desayuno