Migração para o Serviço de Arquivos Escalável Qumulo Nativo do Azure com o Komprise

Este artigo descreve uma solução que utiliza o Komprise para migrar dados de arquivos de sistemas NAS de terceiros para o Azure Native Qumulo (ANQ). O Komprise oferece serviços de migração de arquivos independentes de plataforma em grande escala em ambientes NAS heterogêneos.

Migração para o Serviço de Arquivos Escalável Qumulo Nativo do Azure com o Komprise

A migração de arquivos entre diferentes plataformas de armazenamento e arquiteturas de sistema de arquivos pode ser um processo complexo. Este artigo descreve uma solução que utiliza o Komprise para migrar dados de arquivos de sistemas NAS de terceiros para o Azure Native Qumulo (ANQ). O Komprise oferece serviços de migração de arquivos independentes de plataforma em grande escala em ambientes NAS heterogêneos. Essa solução facilita a migração contínua de dados de arquivos entre plataformas de armazenamento mistas, proporcionando transferência de dados de alto desempenho, garantindo a integridade dos dados e permitindo que você conclua com sucesso projetos de migração de dados do seu NAS legado para uma instância do ANQ.

Benefícios da migração para o ANQ com a Komprise

Arquitetura

A solução é implantada no Azure com opções de desempenho configuráveis e combina a plataforma de dados em arquivos em escala de exabytes do Qumulo Native para Azure com o Komprise, conforme ilustrado no diagrama a seguir.

Clique aqui para baixar um diagrama do Visio em alta resolução da solução.

Arquitetura da solução

Essa solução é implantada em um tenant do cliente no Azure, em uma única região do Azure, juntamente com os recursos do cliente, incluindo um gateway de rede virtual.
A Komprise se destaca por sua análise dinâmica de dados, arquivamento transparente e recursos de migração direta de dados, que permitem o acesso ininterrupto a dados ativos e às atividades dos usuários. A tecnologia HyperTransfer da Komprise amplia ainda mais esses recursos, garantindo transferências de dados em alta velocidade, essenciais para migrações em grande escala e tarefas de gerenciamento de dados.
A Komprise também mantém a disponibilidade e a confiabilidade dos dados durante uma migração ativa, trabalhando em conjunto com as plataformas de armazenamento para comparar continuamente o armazenamento de origem e o de destino, identificando as alterações a serem aplicadas, além de incluir um mecanismo de hash para validar se os dados foram armazenados e recuperados corretamente à medida que são transferidos.
O gerenciamento com o Komprise é feito por meio do Komprise Director, um console de gerenciamento que coordena as atividades de movimentação de dados. Ele oferece controle centralizado, permitindo que os usuários gerenciem, analisem, migrem e monitorem atividades em todo o ambiente de armazenamento do cliente, incluindo um ou vários locais.
No centro da arquitetura da Komprise estão os Observers e os Proxies da Komprise. Esses são os mecanismos de movimentação de dados que podem ser posicionados estrategicamente para garantir alto desempenho durante as operações de gerenciamento e migração de dados. Normalmente, os Observers são posicionados próximos aos sistemas de armazenamento legados para permitir um acesso local rápido, beneficiando as migrações locais. Para a migração para o cluster ANQ do Azure, o Komprise HyperTransfer utiliza os Proxies hospedados no tenant do Azure para lidar com a gravação e a validação de dados localmente no Azure. Essa arquitetura permite a transferência eficiente de dados pela WAN, reduzindo significativamente a latência em comparação com ferramentas comuns de migração. Observação: os dados transitam apenas por redes que são protegidas e gerenciadas diretamente pelo cliente.
A instância do ANQ está implantada no tenant do Qumulo no Azure.
O acesso ao cluster ANQ é habilitado por meio da injeção de VNet a partir de uma sub-rede dedicada no locatário do Azure do cliente, que se conecta ao serviço ANQ do cliente no locatário da Qumulo. Todos os dados no ANQ são acessíveis apenas por meio das interfaces de rede na sub-rede delegada do cliente. Observação: a Qumulo não tem acesso a nenhum dado em nenhuma instância do serviço ANQ.
A tecnologia HyperTransfer integrada ao pacote Komprise é fundamental para acelerar o processo de movimentação de dados. Ela otimiza o uso da rede para transferir grandes conjuntos de dados rapidamente, reduzindo significativamente o tempo necessário para migrações e sincronizações de dados. Essa eficiência é essencial para organizações que buscam minimizar o tempo de inatividade e aproveitar rapidamente a escalabilidade e a flexibilidade da nuvem.

Fluxo de trabalho da solução

Um projeto de migração consiste em 5 etapas:

Etapa 1: Analisando seus dados

A Komprise oferece insights rápidos sobre seus dados não estruturados em todas as plataformas de armazenamento, por meio dos recursos de Análise de Plano e Análise Aprofundada. A Análise de Plano fornece imediatamente resultados resumidos por meio dos Gráficos de Uso e das páginas de Atividades de Análise, que destacam problemas importantes no sistema de arquivos que os clientes vão querer conhecer antes de transferir os dados. A Análise Aprofundada permite que os clientes aprofundem a compreensão de seus dados com recursos de consulta personalizados e gráficos para localizar conjuntos de dados específicos, arquivos órfãos e muito mais.

A página “Atividade de Análise” da ferramenta Komprise ajuda a identificar possíveis problemas antecipadamente, antes da transferência dos dados. Os possíveis problemas a serem observados antes de iniciar a sequência de migração podem incluir:

Conhecer as estatísticas de arquivos e diretórios e identificar eventuais restrições de acesso ou problemas de resolução
Existem nomes de caminho e de arquivo excessivamente longos? Eles contêm caracteres inválidos?
Identifique um número excessivamente grande de arquivos minúsculos, caso haja um grande número de diretórios vazios
Identificar ações com potencial de baixo desempenho
Verifique antecipadamente se há arquivos esparsos ou links simbólicos cíclicos que conectam diretórios entre si

Etapa 2: Avaliação do desempenho da rede e do armazenamento

As migrações ocorrem apenas na velocidade que a infraestrutura permite. É fundamental conhecer o desempenho combinado da rede e dos sistemas de armazenamento. Medir o desempenho da rede e do armazenamento separadamente pode não revelar limitações ocultas nas configurações das portas, no roteamento, na sobrecarga do sistema de arquivos e em outros aspectos.

As migrações podem impor uma carga de trabalho atípica e muito pesada à rede do cliente. A Komprise sabe da importância de avaliar o desempenho combinado da rede e do armazenamento para identificar quaisquer problemas de conectividade entre o sistema NAS legado e a instância ANQ antes de transferir os dados.

A ferramenta Komprise Assessment of Customer Environment (ACE) é fácil de implantar e executar. A ferramenta simula uma série de cenários de movimentação de dados entre compartilhamentos NAS legados locais de origem e a instância ANQ de destino. Ela realiza um conjunto de operações de leitura, gravação e soma de verificação, além de coletar os números gerais de desempenho resultantes. Esses resultados podem destacar possíveis riscos de desempenho e gargalos na infraestrutura que devem ser investigados para garantir que a topologia de rede esteja pronta.

Etapa 3: Migração: Sincronização inicial

O processo de migração tem início com a Komprise realizando uma análise abrangente do conjunto de dados a ser migrado e executando a transferência inicial dos dados do sistema NAS legado para o destino ANQ. Essa primeira iteração estabelece uma linha de base fundamental e é essencial para a transferência inicial e substancial de dados, que ocorre sem interromper o acesso dos usuários aos dados de origem. A Komprise utiliza a tecnologia HyperTransfer para garantir um processo de transferência otimizado, ajustando dinamicamente a paralelização com base nos recursos disponíveis do Observer e do Proxy, bem como na largura de banda de rede disponível.

Etapa 4: Migração: iterações incrementais

Nesta fase, os algoritmos inteligentes da Komprise entram em ação para rastrear e transferir apenas as alterações feitas nos dados de origem desde a última sincronização. Essa abordagem é essencial para manter o armazenamento de destino atualizado com o mínimo de interrupção na rede. Ela reflete uma compreensão aprimorada da atividade dos dados e garante um processo de sincronização mais preciso e eficiente. Encare essa iteração como um teste para a migração definitiva. Você sabe exatamente em que ponto está, graças à verificação completa da comparação de arquivos do sistema, que mostra eventuais erros, o tempo total de transferência, a quantidade de dados movidos e muito mais. Essas informações ajudam a planejar quando agendar a migração definitiva e sua duração.

Etapa 5: Migração: Iteração final (transição)

Essa fase crucial marca a conclusão da migração, com o Komprise transferindo todos os dados restantes para o armazenamento de destino. Para garantir uma replicação exata da fonte no momento da transição, o acesso de gravação ao NAS de origem é temporariamente suspenso para uma última verificação do sistema de arquivos. Essa etapa ressalta a importância de um planejamento e uma coordenação minuciosos para minimizar o impacto nas operações.

Recursos do Komprise

A seguir, apresentamos alguns itens que a Komprise inclui em todas as migrações.

O Komprise Cloud Director supervisiona a implantação e o gerenciamento dos processos de gerenciamento de dados da Komprise. Essa interface única de gerenciamento ajuda os clientes a gerenciar múltiplas operações de migração em toda a organização. A partir de um único console, é possível iniciar migrações, agendar migrações para um horário posterior, visualizar um acompanhamento claro do status, mostrando a programação e a movimentação de dados entre sistemas NAS legados e o ANQ, acompanhar o andamento, coletar relatórios de progresso, analisar problemas e planejar transições.
O Komprise agrupa recursos de forma inteligente para distribuir a carga de trabalho geral e oferecer redundância, aumentando a taxa de transferência e a eficiência — fatores essenciais para reduzir o tempo necessário para migrar grandes conjuntos de dados. O Komprise pode ampliar dinamicamente os recursos existentes, bem como expandir horizontalmente, adicionando Observers e Proxies adicionais.
Oferece suporte a transferências seguras de dados com criptografia em trânsito e utilizando a conectividade do cliente entre ambientes locais e recursos baseados no Azure, facilitadas por meio do Azure VPN Gateway ou do ExpressRoute. Isso, combinado com a tecnologia HyperTransfer da Komprise, garante transferências seguras e aceleradas, além de um movimento eficiente de dados.
O Komprise deve ser executado usando um usuário do Active Directory tanto no sistema NAS legado quanto na instância do ANQ, a fim de garantir acesso total a todos os arquivos nos compartilhamentos SMB e assegurar a transferência das permissões NTFS e ACL.
Se o sistema NAS de origem incluir dados tanto no formato SMB quanto no NFS, é possível migrar conjuntos de dados que contenham permissões NTFS e POSIX. Ao lidar com sistemas NAS legados que contenham dados tanto no formato SMB quanto no NFS, o Komprise pode gerenciar as migrações preservando as permissões NTFS e POSIX.
As permissões entre protocolos, nas quais um único conjunto de dados é compartilhado tanto por meio de permissões POSIX quanto de ACL, podem exigir uma etapa adicional para que a migração seja bem-sucedida. Para a sincronização inicial, a abordagem “NFS primeiro” (e a migração da estrutura de permissões POSIX dos dados) costuma ser o método mais rápido devido à menor sobrecarga do protocolo NFS. Posteriormente, é possível criar uma tarefa de migração adicional para aplicar as permissões NTFS aos mesmos dados.
O Komprise simplifica a seleção de diretórios de origem em sistemas NAS legados para migração para o ANQ, excluindo de forma inteligente diretórios específicos do sistema, tais como .snapshot ou .instantâneos para garantir uma transferência sem problemas.
A Komprise utiliza a paralelização para agilizar o processo de migração, criando múltiplos fluxos de dados simultâneos. Esse processo é otimizado pela tecnologia HyperTransfer, que se ajusta dinamicamente para maximizar o uso da largura de banda disponível e minimizar os intervalos de migração.
A Komprise garante a integridade dos dados ao longo de todo o processo de migração, utilizando algoritmos de hash adequados para verificar os dados sem comprometer o desempenho.

Componentes

A arquitetura da solução é composta pelos seguintes componentes:

Serviço de Arquivos Escalável Qumulo Nativo do Azure cluster para fornecer armazenamento consolidado de dados para todo o conteúdo criado por meio da solução
Komprise Cloud Director para migrar dados do armazenamento local para o ANQ.
- Observadores
- Servidores proxy – compostos pelos Serviços de Proxy da Komprise em execução no Windows Server com (CPU de no mínimo 16 núcleos, 32 GB de memória e rede de 10 GbE)
Azure ExpressRoute e/ou Gateway de VPN do Azure
Injeção na VNet do Azure
Rede Virtual do Azure
NAS de geração anterior (por exemplo, Dell EMC Isilon / PowerScale instalado no local)

Considerações

A migração de arquivos para o Serviço de Arquivos Escalável Qumulo Nativo do Azure com o Komprise deve levar em conta as seguintes considerações nos processos de planejamento e projeto.

Casos de uso potenciais

Migração de dados: A migração para a nuvem é o processo de transferência de aplicativos e dados de sistemas locais para uma nuvem pública. No entanto, as opções de NAS tradicionais disponíveis no mercado apresentam funcionalidade ou escalabilidade limitadas na nuvem pública. A ANQ oferece funcionalidade e escalabilidade aprimoradas no Azure. A Komprise facilita a migração de alto desempenho dos seus dados de arquivos para a ANQ, garantindo ao mesmo tempo a integridade dos dados.
Recuperação de desastres: O ANQ pode ser utilizado como um local secundário de recuperação de desastres (DR), permitindo que as organizações repliquem seus dados para a nuvem. No caso de um desastre que afete o local primário no local, as organizações podem alternar para os dados replicados no ANQ e continuar as operações com o mínimo de interrupção. O Komprise detecta rapidamente os arquivos a serem replicados a partir de um NAS legado de origem.
Classificação por níveis: Os recursos de classificação por camadas da Komprise oferecem uma solução integrada para gerenciar e otimizar o armazenamento de arquivos, analisando e transferindo de forma inteligente dados inativos ou pouco utilizados para o ANQ, com o uso da Tecnologia de Transferência Transparente (TMT) da Komprise. Essa tecnologia garante que os dados sejam transferidos sem interromper o acesso dos usuários, mantendo o acesso nativo aos arquivos e permitindo o acesso direto no ANQ. O valor diferenciado reside em sua capacidade de reduzir custos de armazenamento e backup, simplificar o gerenciamento de dados com painéis intuitivos e integração por API, além de oferecer um caminho flexível e sem dependência de fornecedores para a nuvem, tornando-a altamente útil para clientes que buscam gerenciar com eficiência o crescimento dos dados e os custos de armazenamento na nuvem.

Escalabilidade e desempenho

Ao planejar uma solução de migração de dados utilizando o Qumulo e o Komprise, os arquitetos corporativos e outras partes interessadas podem querer incluir os seguintes elementos na solução:

Capacidade e crescimento – O ANQ se adapta facilmente à demanda, permitindo que você adicione toda a capacidade necessária simplesmente criando ou migrando dados.
O Komprise permite migrar arquivos, pastas e dados de ACL de um NAS legado para o ANQ com automação total, balanceamento de carga e relatórios em nível macro e micro. Podemos ampliar o potencial de nossas ferramentas graças aos Observadores e Servidores Proxy do Komprise, que suportam múltiplos fluxos e múltiplas threads.
Largura de banda – O ANQ permite ajustar a largura de banda conforme a necessidade, em incrementos de 1 GB/s, para garantir que a largura de banda necessária esteja disponível o tempo todo.
Com o Komprise, as taxas de transferência entre o armazenamento de origem e o de destino podem se aproximar da velocidade de rede da conexão de ponta a ponta. O desempenho pode ser afetado pelo tipo e pela estrutura dos dados: um grande número de arquivos pequenos ou uma alta quantidade de diretórios dentro de um determinado conjunto de dados pode reduzir a taxa de transferência geral, aumentando a carga nas máquinas proxy. Além disso, o uso da tecnologia HyperTransfer da Komprise em toda a sua extensão contribui para acelerar as transferências de dados.

Segurança

O Serviço de Arquivos Escalável Qumulo Nativo do Azure (ANQ) se conecta ao seu ambiente do Azure por meio da injeção de VNet, que é totalmente roteável, segura e visível apenas para os seus recursos. Não é necessária nenhuma coordenação de espaço de IP entre o seu ambiente e o cluster ANQ.

É preciso ter cuidado durante o projeto e a implementação para garantir que a segurança da solução esteja em conformidade com as melhores práticas do setor, as políticas internas da empresa e quaisquer requisitos legais ou regulatórios aplicáveis.

Quanto a todos os demais aspectos da solução, os clientes são responsáveis pelo planejamento, implementação e manutenção da segurança da solução, a fim de atender a todos os requisitos legais e regulatórios aplicáveis ao seu setor e localização.

Otimização de custos

A otimização de custos refere-se à minimização de despesas desnecessárias e à maximização do valor dos custos efetivamente incorridos pela solução. Para obter mais informações, acesse o Visão geral do pilar de otimização de custos página.

O modelo de pagamento conforme o uso do Azure permite que você otimize os custos, dimensionando os recursos para utilizar a capacidade quando necessário. Isso ajuda a gerenciar os custos com eficiência, sem provisionar recursos em excesso.
O custo do Qumulo depende da quantidade de dados no Serviço de Arquivos Escalável do Qumulo Nativo do Azure e do nível de desempenho. Para obter mais detalhes, consulte Preços dos Serviços de Arquivos Escaláveis do Qumulo nativos do Azure.
A arquitetura da Komprise foi projetada para oferecer escalabilidade e fluxos de dados paralelizados. Quando você precisar de mais potência e melhor desempenho, basta adicionar outro Observer ou Proxy para atender às suas necessidades e levar em conta apenas os custos dos recursos dessas máquinas virtuais.

Disponibilidade

Diferentes organizações podem ter requisitos distintos de disponibilidade e recuperabilidade, mesmo para a mesma aplicação. O termo “disponibilidade” refere-se à capacidade da solução de fornecer o serviço de forma contínua no nível de desempenho para o qual foi projetada.

Disponibilidade de dados e armazenamento

A implantação do ANQ inclui redundância integrada no nível dos dados para garantir a disponibilidade dos dados em caso de falha do hardware subjacente. Para proteger os dados contra exclusão acidental, corrupção, malware ou outros ataques cibernéticos, o ANQ oferece a capacidade de criar instantâneos em qualquer nível do sistema de arquivos, a fim de gerar cópias de seus dados em um determinado momento, apenas para leitura.

O ANQ oferece suporte à replicação dos dados para uma instância secundária de armazenamento do Qumulo, que pode ser hospedada no Azure, em outra nuvem ou no local. O ANQ é compatível com soluções de backup baseadas em arquivos para permitir a proteção externa dos dados.

Estabilidade e continuidade do serviço

Dependendo do escopo e da criticidade dos dados a serem migrados, uma abordagem em fases pode ser adequada em algumas circunstâncias. Em vez de migrar todo o conteúdo do seu armazenamento legado em uma única operação, uma abordagem em fases envolveria a migração de um fluxo de trabalho por vez, utilizando conjuntos de dados menores e menos críticos para desenvolver e aperfeiçoar o processo antes de passar para dados maiores e mais importantes.

Uma vantagem adicional dessa abordagem é que quaisquer problemas que possam surgir durante uma operação de migração têm seu escopo limitado a um único fluxo de trabalho ou conjunto de dados.