A Qumulo e a Databricks concluíram uma integração conjunta que permite que os lakehouses corporativos abranjam todo o patrimônio de dados de uma organização. Independentemente de onde os dados estejam armazenados — no local, na borda ou em qualquer grande nuvem —, o Databricks agora pode lê-los, gravá-los e gerenciá-los por meio do armazenamento Qumulo. (Saiba mais sobre o anúncio do Databricks aqui.)
O “lakehouse” tornou-se a base da análise moderna de dados ao combinar a abertura de um data lake com a governança e a confiabilidade de um data warehouse. As organizações a adotam para evitar a dependência de fornecedores, reduzir custos e unificar suas análises e IA em uma única plataforma. Mas, até agora, as lakehouses têm se limitado, em grande parte, a um único local ou ao armazenamento de objetos de um provedor de nuvem em uma única região. Isso tem atendido bem ao setor, mas a maioria das empresas possui seus dados brutos e de nível “bronze” espalhados por toda parte: sensores de fábricas, dados de filiais, imagens médicas, logs de aplicativos, registros transacionais — todos gerados e retidos em data centers, locais de borda e múltiplas nuvens. A IDC projeta que os dados não estruturados das empresas crescerão a uma taxa composta anual (CAGR) de aproximadamente 16% até 2028, atingindo 10,5 ZB, impulsionados pela proliferação de sensores, pela IoT e pelas cargas de trabalho de IA. Trazer o “lakehouse” para todos A integração desses dados, independentemente de onde estejam armazenados, é o próximo passo em termos de arquitetura.
O Qumulo é uma plataforma de dados definida por software que opera em ambientes locais, na borda e na nuvem como um único espaço de nomes global. Juntamente com o Databricks, ele permite que o lakehouse se estenda por todo o patrimônio de dados sem a necessidade de copiar ou consolidar os dados em um único bucket na nuvem. As mesmas tabelas regulamentadas podem ser consultadas pelo Databricks em uma região, por um trabalho de treinamento no local e por uma ferramenta de BI em outra nuvem, com base em uma única fonte de verdade.
Esta publicação apresenta três padrões de integração validados entre o Databricks e o Qumulo para possibilitar diferentes arquiteturas de lakehouse: (1) executar análises e IA do Databricks diretamente nos dados do Qumulo, sem necessidade de mudança de plataforma ou migração; (2) colocar as tabelas residentes no Qumulo sob a governança do Unity Catalog, para obter uma visão única e governada, independentemente de onde os dados estejam armazenados; e (3) compartilhar dados do Qumulo, somente para leitura, com outros espaços de trabalho do Databricks, outras nuvens e ferramentas que não sejam do Databricks por meio do OpenSharing. Para obter orientações passo a passo sobre a implantação, consulte o Nota sobre a integração entre o Qumulo e o Databricks.
Figura 1. Arquitetura de alto nível dos padrões de integração entre o Qumulo e o Databricks
Benefícios para as equipes da Databricks
Esses padrões proporcionam três resultados para as organizações que adotam o Databricks:
Resultados mais rápidos. Os dados existentes no Qumulo, provenientes de logs brutos, imagens, telemetria, genômica e registros de aplicativos, são lidos pelo Databricks no próprio local, eliminando os custos e o tempo de migração em massa, bem como as cobranças por solicitação da API do S3. Em testes de carga de validação, o Qumulo observou uma redução de 60% ou mais nos custos de armazenamento relacionados à API e uma redução de 40% ou mais no tempo até os primeiros resultados, em comparação com fluxos de trabalho equivalentes que primeiro armazenavam os dados em um armazenamento de objetos na nuvem.
Um exemplar, muitos consumidores. Os mesmos dados são utilizados simultaneamente pelo Databricks na nuvem, por tarefas de treinamento no local, por aplicativos de borda e por outras ferramentas de análise e IA. Todos trabalham com base em uma única fonte de verdade, em vez de versões que se divergem entre os diferentes ambientes.
Governança unificada sem migração em massa. As tabelas no Qumulo são gerenciadas por meio do Unity Catalog, com permissões, auditoria e rastreabilidade aplicadas de maneira consistente a analistas e equipes de BI em notebooks e painéis.
Três padrões validados
Cada padrão posiciona os dados e a governança de maneira diferente, e a maioria das implantações em produção combina ambos. É importante observar que os clientes podem implantar uma combinação dessas integrações.
Padrão A. O Qumulo armazena dados brutos e históricos, enquanto o Databricks armazena as tabelas organizadas. O Databricks Compute lê os dados de origem no Qumulo, aplica as transformações Silver e Gold e grava as tabelas Delta organizadas no armazenamento gerenciado do Unity Catalog. Os data warehouses SQL sem servidor consultam as tabelas Gold para fins de BI e análises. Ideal para quando uma organização está começando a usar o Databricks e deseja que sua primeira camada selecionada seja gerenciada nativamente pelo Unity Catalog.
Padrão B. Todos os níveis de medalhão (Bronze, Prata, Ouro) são armazenados no Qumulo como tabelas Delta. As tabelas estão registradas em um Hive Metastore que a Databricks integra ao Unity Catalog. O All-Purpose Compute realiza leituras e gravações por meio desse caminho; os data warehouses SQL sem servidor realizam consultas por meio do Unity Catalog. Ideal quando uma organização deseja que todo o seu “lakehouse” permaneça no Qumulo, sem deixar de se beneficiar da governança, do histórico de dados e da auditoria do Unity Catalog.
Padrão C: Com o OpenSharing, o Qumulo pode disponibilizar tabelas Delta somente para leitura ao Unity Catalog e a outros usuários. O Databricks e outras ferramentas obtêm acesso de curta duração por meio do protocolo OpenSharing, sem que nenhum dado seja copiado para o consumidor. Essa é a melhor opção para compartilhar dados do Qumulo entre vários consumidores (outros espaços de trabalho do Databricks, Snowflake, ferramentas de BI) e entre várias nuvens.
Os procedimentos passo a passo para os três modelos estão no Nota sobre a integração entre o Qumulo e o Databricks.