Visão geral técnica

Execute em qualquer lugar, amplie em qualquer lugar

O Cloud Data Fabric da Qumulo permite que você amplie ou integre facilmente suas aplicações em qualquer ambiente, em qualquer local e em qualquer plataforma. Ele oferece a única solução globalmente unificada e independente de plataforma para dados não estruturados que dá suporte a todos os seus fluxos de trabalho corporativos, de nuvem híbrida e de multinuvem. O sistema de arquivos escalável da Qumulo e suas poderosas ferramentas WebUI e CLI simplificam o gerenciamento de dados, seja para seus fluxos de trabalho mais exigentes ou para um armazenamento de arquivo em nuvem com ótimo custo-benefício. Nossa arquitetura exclusiva e nativa da nuvem libera você das restrições de plataforma e localização, permitindo que você acesse dados de qualquer lugar, seja no seu data center ou na nuvem.

Nosso objetivo na Qumulo é tornar o armazenamento de dados não estruturados simples, escalável e global para a empresa moderna. Facilitamos a proteção dos seus dados. Facilitamos a execução dos seus fluxos de trabalho mais exigentes, seja no local ou na nuvem. Simplificamos o armazenamento em nuvem híbrida.

Arquitetura de software da Qumulo

Desenvolvemos nossa plataforma de armazenamento para que seja um serviço escalável e pronto para a nuvem, capaz de dar suporte a qualquer fluxo de trabalho baseado em arquivos, em qualquer lugar. Criamos uma plataforma extensível globalmente. Também oferecemos APIs robustas para proporcionar gerenciamento automatizado e visibilidade em tempo real do uso do sistema e dos dados. Nossas soluções de armazenamento atendem aos requisitos de segurança e proteção de dados de empresas da Fortune 500.

Esta página oferece uma visão geral da arquitetura, dos componentes e dos serviços da solução de dados não estruturados da Qumulo. Ela mostra como nosso produto atende a uma ampla variedade de casos de uso, desde mídia e entretenimento até saúde e ciências da vida, passando pela computação de alto desempenho baseada em nuvem até o armazenamento econômico de arquivos em nuvem para longo prazo. Também mostraremos como nossa exclusiva Cloud Data Fabric pode unificar dados críticos entre plataformas, locais e nuvens para oferecer acesso em tempo real a dados remotos, otimizar a colaboração entre equipes amplamente dispersas e acelerar o desenvolvimento de negócios em praticamente qualquer setor.

Arquitetura do Qumulo

A arquitetura modular do Qumulo pode ser dividida em uma série de camadas, com controles de serviço e recursos específicos agrupados em cada uma delas. Essas camadas atuam em conjunto para garantir a escalabilidade, o desempenho, a segurança e a confiabilidade dos dados não estruturados em uma instância do Qumulo, bem como do próprio sistema Qumulo.

Noções básicas do Qumulo

Antes de nos aprofundarmos nos componentes individuais da arquitetura da Qumulo, há vários princípios fundamentais que é importante enumerar:

1.  A Qumulo oferece um sistema de arquivos distribuído 100% definido por software que apresenta um único namespace. Um cluster da Qumulo no local consiste em uma agregação de nós independentes, sem compartilhamento de recursos, em que cada nó contribui para a capacidade e o desempenho gerais do cluster. Os nós individuais mantêm-se em coordenação constante entre si. Qualquer cliente pode se conectar a qualquer nó e ler e gravar em todo o namespace.

2. As instâncias do Qumulo baseadas em nuvem utilizam armazenamento de objetos (seja o AWS S3 ou o armazenamento de blobs do Microsoft Azure, dependendo de onde estão implantadas) para a camada de dados, na qual os blocos associados a qualquer arquivo são abstraídos e distribuídos por uma coleção lógica de objetos discretos.

   •  Essa arquitetura nativa da nuvem elimina a relação tradicional entre computação, armazenamento e taxa de transferência, criando um serviço de armazenamento de arquivos totalmente elástico, capaz de escalar a capacidade para centenas de petabytes e a taxa de transferência para mais de 100 GBps.

   • Com a completa desagregação entre computação e armazenamento que a arquitetura nativa da nuvem da Qumulo possibilita, os clientes têm a flexibilidade de escolher os níveis específicos de taxa de transferência e capacidade de que precisam, independentemente um do outro. Um cliente pode até mesmo implantar uma instância do Qumulo com um consumo de computação inicialmente baixo e, em seguida, dimensionar temporariamente a alocação de computação do serviço para aumentar drasticamente a taxa de transferência por um breve período, reduzindo-a novamente depois, sem precisar, em nenhum momento, implantar capacidade adicional.

3.  O Qumulo foi projetado para escalar. Garantimos que todos os aspectos do nosso produto sejam capazes de suportar, com facilidade, de petabytes a exabytes de dados, trilhões de arquivos, milhões de operações e milhares de usuários em dezenas de locais, regiões e implantações.

4. O Qumulo foi projetado para distribuição geográfica, permitindo que equipes amplamente dispersas colaborem em conjuntos de dados compartilhados sem risco de corrupção ou perda de dados.

5. O Qumulo se auto-otimiza para obter o máximo desempenho. Cada instância do Qumulo monitora o acesso aos dados por meio de um mapa de calor para identificar blocos de dados acessados com frequência. Esses blocos são movidos de forma proativa por um algoritmo interno de pré-busca: os blocos de dados em mídias de armazenamento de longo prazo são transferidos para o armazenamento flash à medida que sua pontuação de calor aumenta. Se a pontuação de calor continuar a subir, os dados que já estão no armazenamento flash são movidos proativamente para a memória do sistema, a fim de proporcionar um acesso ainda mais rápido. Em nível global, em todas as instâncias do Qumulo para todos os clientes do Qumulo, a taxa de acertos no cache é de aproximadamente 95% de todas as solicitações de leitura.

6. O Qumulo é altamente disponível e estritamente consistente, projetado para suportar falhas de componentes na infraestrutura e, ao mesmo tempo, continuar a fornecer um serviço confiável aos clientes. Conseguimos isso por meio do uso de abstração de software, codificação de apagamento, tecnologias avançadas de rede e testes rigorosos. Quando os dados são gravados no sistema de arquivos do Qumulo, a operação de gravação não é confirmada ao serviço, ao usuário ou ao cliente até que os dados tenham sido gravados no armazenamento persistente. Assim, qualquer solicitação de leitura subsequente resultará em uma visão coerente dos dados (em oposição aos modelos de consistência eventual).

7. A Qumulo oferece serviços de arquivos independentes de plataforma para nuvem pública, privada e híbrida. O software da Qumulo faz poucas suposições sobre a plataforma na qual é executado. Ele abstrai os recursos de hardware físicos ou virtuais subjacentes para aproveitar o melhor da infraestrutura de nuvem pública e privada. Isso nos permite aproveitar a rápida inovação em tecnologias de computação, rede e armazenamento impulsionada pelos provedores de nuvem e pelo ecossistema de fabricantes de componentes.

8. O modelo de gerenciamento da Qumulo é baseado na abordagem “API-first”. Cada funcionalidade criada pela Qumulo é desenvolvida inicialmente como um endpoint de API. Em seguida, disponibilizamos um conjunto selecionado desses endpoints em nossa interface de linha de comando (CLI) e na WebUI, nossa interface visual. Isso inclui a criação do sistema, o gerenciamento de dados, a análise de desempenho e capacidade, a autenticação e o acesso aos dados.

9. A Qumulo lança novos softwares com rapidez e regularidade. Lançamos novas versões do nosso software a cada poucas semanas. Isso nos permite responder rapidamente aos comentários dos clientes, promover melhorias constantes em nosso produto e exigir que nossas equipes produzam código com qualidade de produção.

10. A arquitetura baseada em contêineres da Qumulo permite um processo de atualização exclusivo que minimiza as interrupções para os usuários e os fluxos de trabalho. De forma gradual, nó por nó, o novo software operacional é implantado em um contêiner paralelo à versão antiga. Assim que a nova instância é inicializada, o ambiente antigo é desligado de forma controlada, e a atualização prossegue para o próximo nó até que todo o cluster tenha sido atualizado.

11. A equipe de Sucesso do Cliente da Qumulo é altamente ágil, conectada e responsiva. A Qumulo tem a capacidade de monitorar remotamente todas as implantações da Qumulo por meio do nosso serviço Mission Qontrol, baseado em nuvem, que nos permite rastrear passivamente a telemetria de armazenamento e serviços (não temos a capacidade de visualizar ou acessar dados do sistema de arquivos em nenhuma implantação de clientes da Qumulo). Nossa equipe de Sucesso do Cliente utiliza esses dados para auxiliar os clientes na resolução de incidentes, fornecer insights sobre o uso do produto e alertar os clientes quando seus sistemas apresentam falhas em componentes. Essa combinação de suporte inteligente e rápida inovação de produto resulta em uma pontuação NPS líder do setor, superior a 80.

O Sistema de Arquivos Qumulo

Todos os dados não estruturados armazenados em um sistema de arquivos Qumulo são organizados em um único namespace. Esse namespace está em conformidade com a norma POSIX para oferecer suporte a clientes NFS3, além de ser compatível com o padrão de Lista de Controle de Acesso (ACL) utilizado pelos protocolos NFSv4.1 e SMB.

O Qumulo se destaca por vários recursos importantes: sua capacidade de escalar um único namespace para praticamente qualquer tamanho, a integração perfeita da análise de sistemas e dados às operações do sistema de arquivos, o suporte a S3 e a protocolos tradicionais como NFS e SMB, e sua abordagem inovadora para o gerenciamento de permissões multiprotocolo.

Operações no sistema de arquivos

O sistema de arquivos da Qumulo foi projetado desde o início para escalar de forma integrada até uma capacidade superior a um exabyte em um único namespace, capaz de hospedar trilhões de arquivos que podem ser compartilhados por meio dos protocolos padrão NFS e SMB. Além disso, o sistema de arquivos foi projetado com a capacidade de monitorar com eficiência as atualizações e ações do sistema de arquivos, bem como agregar estatísticas e operações baseadas em metadados, permitindo análises do sistema e dos dados em tempo real sem recorrer a varreduras de árvores que consomem muitos recursos e tempo.

Escalabilidade do sistema de arquivos

Uma única instância do Qumulo pode escalar até exabytes de capacidade e 2⁶⁴ nós (~18,4 quintilhões de arquivos) sem nenhum dos problemas comuns a outras plataformas, como esgotamento de inodes, queda no desempenho e longos tempos de recuperação após falhas de componentes.

Agregação de metadados

A arquitetura exclusiva da Qumulo rastreia metadados em tempo real à medida que arquivos e diretórios são criados ou modificados. Diferentes campos de metadados são resumidos para criar um índice virtual. À medida que ocorrem alterações, novos metadados agregados são coletados e propagados dos arquivos individuais até a raiz do sistema de arquivos. Todas as operações em arquivos e diretórios são registradas, e as alterações resultantes são imediatamente incorporadas às análises do sistema. Os resultados, agregados em todo o sistema de arquivos, são exibidos por meio do mecanismo de análise integrado da Qumulo, proporcionando visibilidade de dados acionáveis sem a necessidade de análises dispendiosas da estrutura da plataforma de dados de arquivos.

O Armazenamento em Blocos Escalável

Por trás do sistema de arquivos do Qumulo, há uma camada protegida e modular que atua como interface entre bilhões (ou mais) de arquivos e diretórios e o suporte físico de dados no qual eles estão armazenados. Na arquitetura modular do Qumulo, a camada Scalable Block Store desempenha essa função.

Sistema global de transações

Como o Qumulo utiliza uma arquitetura distribuída do tipo “shared-nothing” que garante consistência imediata, cada nó do serviço precisa ter uma visão globalmente consistente de todos os dados em todos os momentos. O Scalable Block Store utiliza uma abordagem transacional global para garantir que, quando uma operação de gravação envolver mais de um bloco, a operação grave todos os blocos relevantes ou nenhum deles. Para obter desempenho ideal, o sistema maximiza o paralelismo e a computação distribuída, ao mesmo tempo em que mantém a consistência transacional das operações de E/S.

Essa abordagem minimiza a quantidade de bloqueios necessários para operações de E/S transacionais e permite que qualquer implantação do Qumulo seja escalonada para centenas de nós.

NeuralCache e pré-busca inteligente

O software da Qumulo incorpora uma série de recursos integrados e controles configuráveis, todos projetados para proteger os dados no cluster.

1.  Todos os metadados, que são os dados mais frequentemente acessados em qualquer conjunto de dados, residem permanentemente no nível flash da instância de armazenamento.

2. Os blocos virtuais lidos com frequência (conforme medido por um “índice de calor” proprietário) são armazenados em memória flash, enquanto os blocos virtuais lidos com pouca frequência são transferidos para mídias de menor acesso, ou seja, o nível de HDD do sistema (se disponível).

3. À medida que os dados são lidos, a instância do Qumulo monitora o comportamento do cliente e pré-carrega de forma inteligente os novos dados na memória do sistema no nó mais próximo do cliente, a fim de acelerar os tempos de acesso.

Implantações físicas do Qumulo (clusters)

Em um cluster físico do Qumulo, o Scalable Block Store atua como interface entre o sistema de arquivos e os meios de armazenamento subjacentes, que podem ser dispositivos flash de estado sólido (SSDs) ou unidades de disco rígido (HDDs). Essa camada é responsável principalmente por garantir a consistência dos dados em todos os nós de um cluster físico, assegurando desempenho ideal tanto para solicitações de leitura quanto de gravação, além de proporcionar segurança, integridade e resiliência dos dados contra falhas de componentes.

Blocos virtuais protegidos

A capacidade de armazenamento de um cluster físico do Qumulo é conceitualmente organizada em um espaço de endereços virtuais protegido. Cada endereço nesse espaço armazena um bloco de dados de 4K ou um hash de codificação de apagamento de 4K, que pode ser usado para reconstruir quaisquer blocos de dados perdidos devido a falha de hardware. A proporção entre blocos de dados e blocos de codificação de apagamento é determinada pelo tamanho do cluster físico — à medida que mais nós são adicionados, a proporção se ajusta para proporcionar maior eficiência geral, ao mesmo tempo em que continua a oferecer proteção contra falhas tanto de disco quanto de nó.

Além da proteção oferecida pela codificação de apagamento, o sistema de blocos virtuais também inclui um algoritmo de detecção de deterioração de bits para proteger contra a corrupção de dados no disco.

Instâncias do Qumulo baseadas na nuvem

Para instâncias do Qumulo implantadas no Azure, muitas das funções fornecidas localmente pela camada de Armazenamento em Blocos Escalável, como criptografia em disco, codificação de apagamento, detecção de deterioração de bits e gerenciamento de blocos, são oferecidas como recursos essenciais do serviço subjacente de Armazenamento de Blobs do Azure.

Criptografia em repouso

Em clusters físicos do Qumulo, o Scalable Block Store inclui um algoritmo baseado em software AES de 256 bits que criptografa todos os dados do sistema de arquivos antes de gravá-los na camada de dados. Esse algoritmo é inicializado como parte do processo inicial de construção do cluster e abrange todos os dados e metadados do sistema de arquivos no nível de bloco durante todo o ciclo de vida do cluster.

Os clusters do Qumulo na nuvem contam com criptografia em nível de bloco na camada subjacente de armazenamento de objetos, implementada e mantida pelo provedor de serviços em nuvem. Isso garante que todos os dados em repouso em qualquer instância do Qumulo baseada na nuvem estejam totalmente criptografados.

Para as empresas que assim o exigirem, o algoritmo de criptografia integrado do Qumulo, utilizado em todos os clusters físicos, está em conformidade com as normas FIPS 140-2, assim como os serviços de criptografia oferecidos pelos armazenamentos de objetos do Azure e da AWS.

Serviços de Dados

A camada de Serviços de Dados inclui cinco recursos de gerenciamento: instantâneos, replicação, cotas, registro de acesso e auditoria, além de análises de sistema e de dados.

Instantâneos

Os instantâneos em um cluster do Qumulo podem ser utilizados de várias maneiras para proteger os dados do cluster:

•  Eles podem ser usados localmente para proteção e recuperação rápida e eficiente de dados.

• Um instantâneo dos dados em tempo real de um cluster do Qumulo pode ser replicado para uma instância secundária do Qumulo, como uma instância do serviço Qumulo Cold nativo do Azure, o que permitiria uma transição imediata dos serviços de dados de arquivos em caso de uma interrupção sistêmica no local primário.

• Os snapshots do Qumulo também podem ser combinados com softwares de backup de terceiros para oferecer proteção eficaz a longo prazo (com um controle de versão mais robusto para arquivos alterados) contra a perda de dados.

É possível criar instantâneos a qualquer momento, seja de acordo com uma programação fixa ou sob demanda, conforme necessário. Cada instantâneo preserva tudo o que está no sistema de arquivos — dados dos arquivos, entradas de diretório, horários de criação e modificação, permissões etc. Uma vez criado, o instantâneo inicialmente não ocupa espaço. À medida que os arquivos dentro do instantâneo sofrem alterações ao longo do tempo, novos dados são gravados junto com a versão original, e novas entradas são gravadas no sistema de arquivos identificando cada versão do mesmo arquivo.

Bloqueio de instantâneos

Para oferecer proteção adicional contra ataques de ransomware ou a exclusão prematura de instantâneos críticos por meio de uma conta de administrador comprometida, os instantâneos podem ser “bloqueados” criptograficamente, impedindo a alteração ou a exclusão prematura de um instantâneo, mesmo por um usuário com privilégios administrativos.

O uso de snapshots bloqueados requer um par de chaves criptográficas assimétricas, com a chave pública instalada diretamente na instância do Qumulo e a chave privada armazenada externamente, de acordo com as práticas de gerenciamento de chaves estabelecidas pela própria organização.

Cotas

As cotas permitem que os usuários controlem o crescimento de qualquer subconjunto de um namespace do Qumulo. As cotas funcionam como limites independentes para o tamanho de qualquer diretório, impedindo o crescimento dos dados quando o limite de capacidade é atingido. Ao contrário do que ocorre em outras plataformas e serviços, as cotas do Qumulo entram em vigor instantaneamente, permitindo que os administradores identifiquem cargas de trabalho indesejadas por meio de nossas análises de capacidade em tempo real e interrompam imediatamente o uso descontrolado de capacidade. As cotas acompanham até mesmo a parte do namespace que abrangem quando os diretórios são movidos ou renomeados.

Registro e auditoria de acesso

O registro de auditoria oferece um mecanismo para rastrear eventos do sistema de arquivos do Qumulo e operações de gerenciamento. À medida que os clientes conectados enviam solicitações ao cluster, as mensagens do registro de eventos descrevem cada operação tentada. Essas mensagens de registro são então enviadas pela rede para uma instância remota designada do syslog, por exemplo, uma plataforma de Gerenciamento de Informações e Eventos de Segurança (SIEM) padrão do setor, como o Splunk.

Detecção em tempo real de invasões e ransomware

A Qumulo firmou parceria com os fornecedores terceirizados Superna e Varonis para possibilitar o monitoramento em tempo real de registros de eventos e acesso, a fim de identificar e responder a ataques cibernéticos. Para saber mais sobre a Varonis em conjunto com nossa solução Qumulo nativa do Azure, acesse nosso Integração do Varonis com o ANQ página. Há informações disponíveis sobre o Superna Ransomware Defender aqui.

Replicação

O serviço de replicação integrado do Qumulo permite copiar dados em grande escala entre quaisquer duas instâncias de armazenamento do Qumulo. Além de proteger os dados contra ataques cibernéticos, um local secundário com outro cluster do Qumulo também pode servir como armazenamento de failover no caso de uma interrupção no nível do local.

Como todas as instâncias do Qumulo oferecem os mesmos recursos de replicação e prestam os mesmos serviços, independentemente da localização, a replicação pode ser configurada para ocorrer em qualquer direção entre quaisquer dois pontos finais do Qumulo, seja no ambiente local, na AWS ou no Azure.

Replicação contínua

Essa forma de replicação simplesmente captura um instantâneo dos dados no cluster Qumulo de origem e os copia para um diretório no cluster de destino. Enquanto a relação de replicação estiver ativa, o sistema verifica todos os arquivos modificados para identificar e copiar apenas as alterações específicas para o destino, sobrescrevendo quaisquer versões anteriores dos dados.

Replicação baseada em instantâneos

Na replicação baseada em instantâneos, também são criados instantâneos do diretório de destino no cluster secundário. Assim que uma tarefa de replicação é concluída, é criado um novo instantâneo do diretório de destino, garantindo a consistência dos dados em ambos os clusters e, ao mesmo tempo, mantendo um registro de alterações e um histórico de versões para cada arquivo no destino.

Análise de sistemas e dados

A pilha de software da Qumulo foi projetada para oferecer insights em tempo real sobre as métricas do sistema e dos serviços, incluindo capacidade e desempenho, em todas as instâncias da Qumulo. Isso permite que os clientes solucionem problemas em aplicativos, gerenciem o consumo de capacidade e planejem estratégias de expansão (ou arquivamento). As análises da Qumulo são alimentadas pela agregação de alterações nos metadados em todo o sistema de arquivos à medida que elas ocorrem.

A interface web inclui ferramentas de monitoramento em tempo real para acompanhar o desempenho do sistema, o uso da capacidade e a atividade atual na instância local do Qumulo. Para empresas que desejam exportar essas informações para uma solução de monitoramento externa, o Qumulo oferece suporte ao padrão de API OpenMetrics para exportação e compilação de dados syslog.

Gerenciamento de instâncias e serviços de dados

Como um serviço de armazenamento de dados em arquivos que segue os padrões do setor, o Qumulo é compatível com todos os protocolos de acesso a dados não estruturados: SMB, NFS e NFSv4.1. Ele também oferece suporte ao acesso a objetos por meio do padrão de protocolo S3. Além disso, o Qumulo permite o acesso via FTP e API REST a determinados tipos de dados.

Gerenciamento do sistema

Qualquer instância do Qumulo, seja no local ou na nuvem, pode ser gerenciada usando as mesmas ferramentas padrão: uma interface de usuário web integrada para gerenciamento interativo de armazenamento e dados, uma biblioteca de comandos baseada em CLI ou um conjunto de ferramentas de gerenciamento baseadas em API.

Interface de usuário da Web

A Qumulo oferece uma interface de gerenciamento baseada em navegador, acessada diretamente da própria instância de armazenamento, sem a necessidade de uma VM ou serviço separado. A interface de usuário web intuitiva está organizada em seis seções de navegação de nível superior: Painel, Análises, Compartilhamento, Cluster, API e Ferramentas e Suporte.

Interface de Linha de Comando (CLI)

A CLI do Qumulo é compatível com a maior parte (mas não com toda) da biblioteca de API e está voltada para a administração do sistema. A CLI oferece um método de interação programável para trabalhar com uma instância do Qumulo. Uma lista completa de comandos pode ser encontrada em nossa Base de Conhecimento (care.qumulo.com).

API REST

A API REST é um superconjunto de todos os recursos da plataforma de dados Qumulo. Por meio da API, os administradores podem:

•  Criar um namespace

• Configurar todos os aspectos de um sistema (desde a segurança, como serviços de identidade e funções de gerenciamento do sistema, até o gerenciamento e a proteção de dados, incluindo cotas, políticas de instantâneos e/ou replicação de dados)

• Reunir informações sobre a instância do Qumulo em questão (incluindo a utilização da capacidade e os pontos críticos de desempenho)

• Acessar dados (incluindo operações de leitura e gravação)

• A API é “autodocumentada”, o que facilita aos desenvolvedores e administradores explorar cada endpoint (e ver exemplos de resultados). A Qumulo mantém uma coleção de exemplos de uso da nossa API no GitHub (https://qumulo.github.io/).

Para obter mais informações sobre como usar a biblioteca da API do Qumulo, a CLI e o portal de gerenciamento na web, acesse o portal de documentação do Qumulo (https://docs.qumulo.com).

Qumulo Nexus

À medida que os clientes da Qumulo migram cada vez mais para operações empresariais multicloud e com vários locais, eles precisam reduzir a complexidade do monitoramento da disponibilidade e das métricas de serviço de cada instância da Qumulo por meio de interfaces de gerenciamento separadas. Com o Qumulo Nexus, os clientes podem consolidar as operações de monitoramento de todas as suas instâncias do Qumulo — sejam elas no local, na periferia ou na nuvem — em um único portal de gerenciamento que oferece as mesmas análises em tempo real e visibilidade de dados que a interface web local.

Segurança e gerenciamento de acesso

O software da Qumulo incorpora diversos recursos integrados e controles configuráveis, todos projetados para proteger o acesso aos dados no cluster.

Recursos de segurança de dados do Qumulo

Cada instância do Qumulo, seja no local ou na nuvem, utiliza um conjunto de controles que garantem que todos os dados no sistema de arquivos estejam protegidos contra corrupção, perda ou invasão no nível do armazenamento de dados.

Integração com o Active Directory

O modelo de acesso de segurança da Qumulo foi projetado para aproveitar o Microsoft Active Directory (AD) tanto para direitos e permissões administrativas quanto para os usuários. Além dos benefícios óbvios de se ter uma única fonte de registro para todas as contas de usuário, o uso do AD para o gerenciamento de privilégios e permissões está alinhado às melhores práticas do setor nos seguintes aspectos:

•  Integração perfeita com protocolos de autenticação e gerenciamento de identidade baseados em Kerberos

• Integração com provedores de acesso SSO e MFA

• O uso de permissões baseadas em Listas de Controle de Acesso (ACL) para clientes SMB e NFSv4.1 em relação aos dados do sistema de arquivos

Criptografia de dados transmitidos por rede

Mesmo com as configurações adequadas de segurança de compartilhamentos e de dados em vigor, algumas empresas precisam de uma camada adicional de segurança para proteger os dados contra acesso não autorizado. Para esses ambientes, o Qumulo também oferece criptografia de dados durante a transmissão de e para clientes compatíveis.

Para compartilhamentos SMB3, o Qumulo oferece suporte tanto à criptografia em todo o cluster quanto à criptografia por compartilhamento, quando necessário. As exportações NFSv4.1 que exigem segurança aprimorada podem ser configuradas para usar assinaturas de pacotes krb5i, que garantem a integridade dos dados, ou criptografia de pacotes baseada em krb5p, a fim de impedir a interceptação durante o trânsito.

Todo o tráfego baseado em objetos é criptografado automaticamente por meio dos padrões de criptografia TLS/HTTPS.

Autenticação e controle de acesso

O acesso aos dados no sistema de arquivos Qumulo, bem como o acesso ao sistema de armazenamento Qumulo, utilizam protocolos de autenticação e acesso padrão do setor, garantindo gerenciamento de acesso, controle de identidade e capacidade de auditoria de nível empresarial.

Segurança Administrativa

Os direitos e privilégios no nível do sistema são concedidos com base na pertença a um ou mais grupos locais na instância individual do Qumulo. Os direitos administrativos são concedidos a todas as contas locais e de domínio que sejam membros do grupo “Administradores” integrado ao cluster.

Usuários administrativos no nível do domínio

A maioria das políticas de segurança corporativas exige que a administração e o gerenciamento de sistemas críticos da empresa sigam a política de “um usuário, uma conta”, a fim de garantir registros precisos do acesso ao sistema e do uso de privilégios. O método mais simples para cumprir essa política é adicionar as contas de usuário relevantes do Active Directory ao grupo local de Administradores do cluster.

Usuários administrativos locais

Cada instância do Qumulo vem com uma conta padrão, chamada admin, ao qual é automaticamente atribuída a participação no grupo local de Administradores e que possui direitos e privilégios administrativos plenos sobre o cluster.

Acesso único com autenticação multifatorial

O login único (SSO) elimina a necessidade de um administrador ter que digitar novamente suas credenciais de login para acessar o sistema. As empresas buscam o SSO não apenas porque ele agiliza o processo de login, tornando a autenticação mais conveniente para os administradores, mas também porque reduz o risco de roubo de contas por meio de keyloggers ou interceptação enquanto a tentativa de login atravessa a rede.

A autenticação multifatorial (MFA) adiciona mais uma camada de segurança ao processo de login. Ela exige que os usuários administradores obtenham um código de uso único por meio de um token físico ou de uma solicitação de desafio em um dispositivo separado, nenhum dos quais estaria nas mãos de um invasor.

A solução de SSO da Qumulo se integra ao Active Directory por meio da Security Assertion Markup Language (SAML) 2.0. Para a autenticação multifatorial (MFA), os clientes podem utilizar qualquer provedor de identidade (IdP) que se integre ao domínio do AD registrado no cluster, incluindo, entre outros, OneLogin, Okta, Duo e Azure AD.

Tokens de acesso

Para simplificar o processo de armazenamento automatizado e gerenciamento de dados por meio da funcionalidade da API da Qumulo, a Qumulo oferece aos administradores a opção de gerar um token de API de longa duração que pode ser usado indefinidamente por fluxos de trabalho automatizados até que a chave seja revogada ou excluída. O token é gerado por um administrador por meio da CLI e pode ser associado a cada fluxo de trabalho baseado em API, o que agora permite que sejam feitas chamadas de API autenticadas sem a necessidade de fazer login.

Para fins de auditoria, cada token está vinculado a uma conta específica do AD ou do cluster. Se a conta de usuário associada for excluída ou desativada, o token de acesso deixará de funcionar.

Controle de acesso baseado em funções

O controle de acesso baseado em funções (RBAC) permite que os administradores atribuam privilégios detalhados a usuários ou grupos não administrativos que necessitem de direitos elevados no cluster para tarefas específicas de gerenciamento. O uso do modelo RBAC permite a delegação segura de privilégios conforme a necessidade, sem a necessidade de conceder direitos administrativos plenos. Ele também permite que as empresas concedam os privilégios de sistema necessários, garantindo, ao mesmo tempo, uma trilha de auditoria verificável do acesso e do uso dos privilégios.

Gerenciamento de acesso a dados

A Qumulo utiliza o mesmo modelo de segurança para gerenciar o acesso aos dados do sistema de arquivos, empregando práticas, protocolos e ferramentas padrão do setor para gerenciar e monitorar o acesso a todos os arquivos e diretórios do sistema.

Listas de Controle de Acesso

Para cargas de trabalho compartilhadas via SMB e NFSv4, o Qumulo oferece suporte à autenticação por meio do Active Directory e às Listas de Controle de Acesso (ACLs) no estilo do Windows, que podem ser compartilhadas entre os dois protocolos.

Aprimoramentos no Kerberos

Todas as solicitações de dados SMB e NFSv4.1, caso sejam originadas de um cliente Windows ou Linux que esteja associado ao mesmo domínio do cluster Qumulo (ou a um domínio confiável), são autenticadas por meio do gerenciamento de identidade de usuário baseado em Kerberos.

Suporte a permissões multiprotocolo

O Qumulo permite que os mesmos dados no sistema de arquivos fiquem disponíveis simultaneamente por meio de vários protocolos. Em muitos casos, um compartilhamento SMB no cluster também pode ser configurado como uma exportação NFSv3, uma exportação NFSv4.1 e um contêiner de armazenamento de objetos. Embora isso maximize a flexibilidade do cluster, há algumas considerações que precisam ser levadas em conta no que diz respeito ao gerenciamento de permissões.

Tanto o SMB quanto o NFSv4.1 utilizam o mesmo modelo de permissões baseado em ACL, no qual o acesso é concedido ou negado ao usuário em função da pertença da conta do usuário no Active Directory a um ou mais grupos cujo acesso foi configurado no nível dos dados.

Para cargas de trabalho mistas SMB/NFSv3, no entanto, pode haver uma incompatibilidade entre as permissões ACL de um determinado arquivo ou diretório e suas configurações POSIX. Uma instância do Qumulo pode ser configurada para operações em modo misto, nas quais as permissões SMB e POSIX são mantidas separadamente para arquivos e diretórios compartilhados entre os dois protocolos.

Para cargas de trabalho com protocolos mistos, o modelo proprietário de permissões multiprotocolo (MPP) da Qumulo preserva as ACLs do SMB e a herança, mesmo que as permissões do NFS sejam modificadas.

Permissões de acesso a objetos

Se um diretório no cluster for compartilhado por meio do protocolo S3, ele será tratado como um bucket do S3, e todos os subdiretórios e arquivos contidos nesse diretório serão tratados como objetos dentro do bucket.

Quando um usuário ou fluxo de trabalho tenta acessar um objeto, o sistema utiliza a chave de acesso fornecida pelo cliente para identificar o ID de usuário do Active Directory ou local mapeado à chave e, em seguida, verifica esse ID em relação à lista de controle de acesso SMB/NFSv4.1 do objeto.

Gestão das restrições de tráfego

Além de utilizar a autenticação baseada em SSO e MFA para contas administrativas designadas, a Qumulo também oferece suporte a políticas de segurança que exigem a restrição do acesso de nível administrativo a redes ou VLANs especificamente designadas, permitindo o bloqueio de portas TCP específicas em nível de cada VLAN.

Dessa forma, uma instância do Qumulo pode ser configurada para separar o tráfego de gerenciamento — por exemplo, API, SSH, interface de usuário da web e tráfego de replicação — do tráfego de clientes, como SMB, NFS e acesso a objetos.

Cloud Data Fabric

Em um mundo interconectado e com múltiplas nuvens, as equipes e os aplicativos geograficamente dispersos precisam ter a capacidade de colaborar em conjuntos de dados compartilhados sem a latência de uma conexão WAN ou a longa espera para replicar dados em grande escala entre locais.

O Cloud Data Fabric (CDF) da Qumulo estende o sistema de arquivos escalável da Qumulo por duas ou mais instâncias da Qumulo, permitindo que equipes e fluxos de trabalho geograficamente dispersos compartilhem um único conjunto de dados em tempo real. O CDF não apenas oferece acesso de baixa latência a dados críticos entre instâncias locais, de borda e na nuvem da Qumulo; em muitos casos, ele elimina totalmente a necessidade de replicação em grande escala em fluxos de trabalho compartilhados.

O CDF unifica um ou mais conjuntos de dados compartilhados entre locais, nuvens, plataformas e regiões geográficas, disponibilizando os dados para equipes, aplicativos e organizações que precisam colaborar em tempo real. O uso do CDF permite que as empresas minimizem o tráfego de WAN ao mesmo tempo em que simplificam o gerenciamento de dados e de segurança entre locais.

Espaço de nomes global

O Cloud Data Fabric da Qumulo possibilita um namespace verdadeiramente global, no qual conjuntos de dados críticos são compartilhados entre instâncias da Qumulo em qualquer lugar: no data center, na nuvem e na borda. O Namespace Global da Qumulo utiliza recursos exclusivamente inovadores que, combinados, permitem a visibilidade dos dados em tempo real e a colaboração mundial em dados compartilhados.

Sincronização de metadados

Em vez de sincronizar imediatamente os dados de arquivos e pastas entre todas as instâncias que compartilham um determinado conjunto de dados, a implementação do Espaço de Nomes Global da Qumulo replica inicialmente apenas os metadados entre os terminais da Qumulo, permitindo que os clientes remotos visualizem toda a estrutura de arquivos e pastas dos conjuntos de dados remotos com um atraso de apenas alguns milissegundos.

Bloqueio distribuído

Para garantir a integridade dos dados em um ambiente distribuído, no qual qualquer arquivo pode ser modificado por qualquer usuário ou aplicativo em vários locais, o CDF utiliza um algoritmo de bloqueio que coordena o acesso aos arquivos em todos os terminais. Isso garante que cada transação de dados seja autorizada, registrada e estritamente consistente com todas as ações anteriores.

Segurança de dados

A replicação dos metadados do sistema de arquivos entre terminais também replica as ACLs (SMB e NFSv4.1) e as permissões POSIX. Se todos os usuários do portal compartilharem a mesma fonte de autenticação, o acesso aos dados é automaticamente transferido entre os terminais.

Se um portal for excluído, os links para todos os pontos finais dos spokes serão encerrados, e todos os dados armazenados em cache localmente serão excluídos de cada spoke. A menos que o compartilhamento ou a exportação subjacente também seja excluído, os dados permanecerão na instância do Qumulo que serviu como ponto final do hub.

Portais de dados

A abordagem exclusiva do Cloud Data Fabric para o acesso unificado aos dados baseia-se em portais de dados. Os portais são publicados no nível de cada compartilhamento SMB ou exportação NFS (ou ambos, já que o Qumulo também oferece compartilhamento de dados multiprotocolo). A criação de um portal CDF torna os dados contidos nesse compartilhamento ou exportação disponíveis para uma ou mais instâncias adicionais do Qumulo.

Os portais CDF podem suportar tanto casos de uso somente de leitura quanto bidirecionais.

Pontos de extremidade do portal

Os portais do Cloud Data Fabric são construídos utilizando uma topologia hub-and-spoke, na qual uma instância do Qumulo (o “hub”) atua como proprietário oficial dos dados do portal e coordena todas as operações de acesso aos dados em todos os pontos finais do portal. Cada portal possui um único hub, com um ou mais pontos finais “spoke” atuando como extensões do namespace do portal.

Para criar um novo portal, o administrador identifica o compartilhamento ou a exportação específica no hub a ser publicada, atribui pelo menos um endpoint adicional do Qumulo como spoke e define o novo portal como somente leitura ou bidirecional. Instâncias adicionais do Qumulo podem ser adicionadas ao portal como spokes, conforme necessário.

Cada endpoint em um portal CDF também pode funcionar como uma instância independente de armazenamento do Qumulo, hospedando compartilhamentos e/ou exportações adicionais restritos ao uso exclusivo por clientes locais.

Registro em diário

Todas as operações do sistema de arquivos dentro de um determinado portal são rastreadas por meio de um mecanismo de registro distribuído. Cada evento de acesso aos dados (criação, leitura, modificação, exclusão etc.) é registrado no log compartilhado e replicado para todos os outros pontos finais do portal.

Acompanhamento lógico do tempo

O uso de um deslocamento de tempo lógico compartilhado para coordenar eventos entre os terminais, em vez de um carimbo de data e hora físico absoluto, garante que as transações de dados sejam aplicadas na ordem correta em todos os nós de todos os terminais, sem a necessidade de reconciliar diferenças de fuso horário ou deslocamentos de tempo entre as diferentes instâncias do Qumulo.

Registro lógico e recuperação

Se um “spoke” do portal perder a conectividade com o hub, os dados do portal ficarão indisponíveis para todos os clientes desse “spoke”. Nos demais terminais do portal, o arquivo de log distribuído continua a rastrear as alterações nos dados dentro do portal.

Após a reconexão, o spoke afetado reproduzirá os eventos do log na sequência correta para sincronizar seus dados armazenados em cache localmente com o restante dos endpoints do portal.

Otimização de transferências

O Cloud Data Fabric foi projetado para aproveitar ao máximo a largura de banda limitada, oferecendo acesso de alto desempenho e baixa latência a dados remotos em grande escala, mesmo em empresas amplamente distribuídas. Isso é feito aguardando que os clientes solicitem os dados específicos do portal de que precisam, armazenando em cache apenas os dados relevantes localmente em cada terminal e replicando apenas os blocos de dados alterados entre os terminais, em vez de arquivos inteiros ou conjuntos de dados completos.

Armazenamento em cache local

O primeiro acesso aos dados de um terminal remoto faz com que o arquivo ou pasta solicitado seja “baixado” pela rede e armazenado em cache no terminal local do Qumulo. Supondo que não haja alterações nos dados após o primeiro acesso, todas as solicitações de acesso subsequentes aos mesmos dados serão atendidas a partir do cache local.

Sistemas de arquivos esparsos

Cada spoke cria um sistema de arquivos “shadow”, independente de quaisquer outros dados de arquivos que hospede localmente, contendo os metadados do portal, bem como quaisquer dados do portal armazenados em cache localmente. A instância local utiliza um mapa de calor, semelhante ao sistema de armazenamento em cache inteligente — que otimiza o desempenho de leitura do sistema de arquivos local, mas é independente dele —, para monitorar a frequência com que os dados armazenados em cache são acessados.

O tamanho desse sistema de arquivos esparso varia de acordo com a capacidade de armazenamento disponível da instância específica do Qumulo. À medida que novos dados do portal são solicitados e o sistema de arquivos esparso fica cheio, os dados mais antigos são removidos do cache para garantir o desempenho ideal para os novos dados que chegam.

Armazenamento em cache preditivo

À medida que arquivos e pastas são acessados por clientes e aplicativos locais, cada terminal monitora quais dados do portal são adicionados passivamente ao cache do sistema de arquivos esparso ao longo do tempo e começa a identificar padrões no comportamento dos clientes e aplicativos. O CDF usa esses padrões de acesso para antecipar quais blocos de dados provavelmente serão solicitados em seguida e, de forma preventiva, pré-busca esses blocos para o cache do sistema de arquivos esparso antes que sejam solicitados.

Hardware do servidor

O software da Qumulo roda em praticamente qualquer hardware padrão de nível empresarial baseado em x86-64; no entanto, os clientes que buscam disponibilidade e desempenho ideais devem consultar diretamente a Qumulo antes de escolher a configuração de hardware adequada.

O sistema operacional Linux subjacente está restrito, permitindo apenas as operações necessárias para executar as tarefas de suporte exigidas pelo ambiente de software da Qumulo. Outros serviços padrão do Linux foram desativados a fim de reduzir ainda mais a superfície de risco a um ataque.

Pilha de software totalmente nativa

Embora o Linux inclua componentes de código aberto para fornecer serviços de cliente e servidor tanto para NFS quanto para SMB (por exemplo, Samba, Ganesha etc.), esses serviços não estão incluídos na imagem reforçada do Ubuntu que oferece suporte ao ambiente de software da Qumulo. A Qumulo desenvolve e controla todo o código utilizado para os protocolos de acesso a dados NFS, SMB, FTP e S3 – no ambiente operacional da Qumulo.

Atualizações instantâneas

O processo de desenvolvimento iterativo da Qumulo é simples e ágil, com novas atualizações de software lançadas regularmente. Isso permite uma inovação rápida no desenvolvimento e na implementação de novos recursos, além de promover uma plataforma de armazenamento mais segura.

A Qumulo projetou o processo de atualização para que fosse rápido e fácil. A pilha de software Qumulo Core é totalmente contêinerizada, permitindo a atualização de um cluster inteiro em 20 segundos, independentemente do tamanho. A necessidade de reversões é eliminada, uma vez que a funcionalidade e a estabilidade da versão atualizada podem ser totalmente validadas antes que a versão anterior seja desativada.