Migração para o Qumulo nativo do Azure com o Atempo Miria

Essa solução facilita a migração contínua de dados de arquivos entre plataformas de armazenamento mistas, proporcionando uma transferência de dados de alto desempenho, garantindo a integridade dos dados e permitindo que você conclua com sucesso projetos de migração de dados do seu NAS legado para uma instância do ANQ.

Migração para o Serviço de Arquivos Escalável Qumulo Nativo do Azure com o Atempo Miria

A migração de arquivos entre diferentes plataformas de armazenamento e arquiteturas de sistema de arquivos pode ser um processo complexo. Este artigo descreve uma solução que utiliza o Atempo Miria para migrar dados de arquivos de sistemas NAS de terceiros para o Azure Native Qumulo (ANQ). O Atempo Miria oferece serviços de migração de arquivos independentes de plataforma em grande escala em ambientes NAS heterogêneos. Essa solução facilita a migração contínua de dados de arquivos entre plataformas de armazenamento mistas, proporcionando movimentação de dados de alto desempenho, garantindo a integridade dos dados e permitindo que você conclua com sucesso projetos de migração de dados do seu NAS legado para uma instância do ANQ.

Benefícios da migração para o ANQ com o Atempo Miria

Arquitetura

A solução é implantada no Azure com opções de desempenho configuráveis e combina a plataforma de dados em arquivos em escala de exabytes do Qumulo Native para Azure com o Atempo Miria, conforme ilustrado no diagrama a seguir.

Arquitetura da solução

Essa solução é implantada em um tenant do cliente no Azure, em uma única região do Azure, juntamente com os recursos do cliente, incluindo um gateway de rede virtual.
O Atempo Miria oferece diversos recursos importantes, incluindo transferência otimizada de dados, paralelização, multithreading, tecnologia FastScan para identificação rápida de modificações em objetos, migrações automáticas de arquivos, ciclos iterativos de migração, verificações de integridade e ajustes de desempenho. Além disso, o software mantém a confiabilidade dos dados por meio da comparação constante entre os armazenamentos de origem e de destino, bem como da capacidade de utilizar um mecanismo de hash durante a sincronização.
O Servidor Miria é o componente central de gerenciamento do processo de migração de dados.
Os Data Movers da Atempo Miria gerenciam a movimentação de dados e são componentes essenciais para o desempenho geral da operação de migração. Um conjunto de Data Movers é implantado ao lado do sistema NAS legado existente. Um segundo conjunto de Data Movers fica no tenant do Azure do cliente para garantir o desempenho ideal, permitindo que ele execute tarefas de pré-processamento e pós-processamento sem quaisquer problemas de latência.
O cluster ANQ utilizado na solução está implantado no tenant do Qumulo no Azure.
O acesso ao cluster ANQ é habilitado por meio da injeção de VNet a partir de uma sub-rede dedicada no locatário do Azure do cliente, que se conecta ao cluster ANQ dedicado do cliente no locatário da Qumulo. Todos os dados no cluster ANQ são acessíveis apenas por meio das interfaces de rede na sub-rede delegada do cliente. Observação: a Qumulo não tem acesso a nenhum dado em nenhuma instância do ANQ.

Qumulo: Arquitetura de referência para a migração para o Qumulo nativo do Azure 1

Clique aqui para baixar um diagrama do Visio em alta resolução da solução.

Fluxo de trabalho da solução

Um projeto de migração consiste em três etapas:

Passo 1: Primeira sincronização: iniciar a transferência inicial de dados e realizar um primeiro instantâneo da fonte. O instantâneo é usado como ponto de referência no tempo. A transferência, então, copia os dados do armazenamento de origem para o armazenamento de destino.

Etapa 2: Sincronização incremental: reproduz todas as modificações feitas no armazenamento de origem (desde a última sincronização incremental) no armazenamento de destino.

Etapa 3: Sincronização final (transição): concluir a migração de dados para o armazenamento de destino enquanto o acesso em produção aos dados na plataforma NAS de origem estiver suspenso.

Etapa opcional 4: Sincronizações programadas: Caso sistemas NAS legados continuem em uso para aplicações específicas em data centers locais, é essencial garantir a consistência dos dados entre o sistema NAS legado e o ANQ. O recurso de sincronização do Miria pode ser utilizado para garantir que quaisquer alterações nos dados em um sistema sejam sincronizadas com o outro.

Qumulo: Arquitetura de referência para a migração para o Qumulo nativo do Azure 2

O Servidor Miria gerencia os Data Movers da Miria implantados. As cargas de trabalho NFS e SMB exigem implantações diferentes do sistema operacional para os Data Movers. O próprio Servidor Miria pode ser implantado nos sistemas operacionais Linux ou Windows.
Os Data Movers podem ser combinados em pools do Linux ou do Windows para adicionar redundância (no caso de falha em um Data Mover), aumentar a taxa de transferência geral ou reduzir o tempo de migração de grandes conjuntos de dados.
O acesso entre os Data Movers locais e o ambiente baseado no Azure pode ser feito por meio do Azure VPN Gateway ou de uma conexão ExpressRoute.
O serviço Atempo Miria deve ser executado usando uma conta de administrador ou de usuário com privilégios de root tanto no sistema NAS legado quanto na instância do ANQ, a fim de garantir acesso total a todos os arquivos.
São necessárias conexões via API com sistemas NAS legados e armazenamento ANQ para habilitar o suporte ao FastScan, ao SnapStor e às opções integradas de gerenciamento de snapshots. () A integração avançada de armazenamento permite a replicação das exportações NFS ou compartilhamentos SMB e suas respectivas configurações do NAS legado para o cluster ANQ por meio da tarefa de sincronização. Além do Qumulo, os recursos do FastScan estão disponíveis na migração a partir de Isilon, OceanStor, NAS da Nutanix e sistemas de arquivos compartilhados GPFS.
Se o sistema NAS legado incluir dados tanto no formato SMB quanto no NFS, é possível migrar conjuntos de dados que contenham permissões NTFS e POSIX. Utilize os Data Movers de um pool do Windows ao transferir dados SMB. Para arquivos de origem compartilhados via NFS, os Data Movers devem ser selecionados de um pool do Linux. Permissões entre protocolos, nas quais um único conjunto de dados é compartilhado por meio de permissões POSIX e ACL, podem exigir uma etapa adicional para que a migração seja bem-sucedida. A sincronização inicial (e a migração da estrutura de permissões POSIX dos dados) pode ser realizada usando Data Movers de um pool do Linux. Devido à menor sobrecarga do protocolo NFS, a abordagem “NFS primeiro” costuma ser o método mais rápido. Posteriormente, uma tarefa adicional pode ser criada nos Data Movers de um pool do Windows para migrar as permissões NTFS dos mesmos dados.
Selecione um ou vários diretórios de origem no NAS antigo e defina seus destinos no ANQ. Tome o cuidado de excluir as definições dos diretórios .snapshot e .snapshots.
Tipo de sincronização – O Echo aplica a sincronização do diretório de origem ao diretório de destino.
A paralelização reduz o tempo de migração ao criar vários fluxos simultâneos para migrar os dados. Uma nova tarefa será iniciada sempre que um limite for atingido durante o processo de varredura. Um limite pode ser um prazo, um tamanho de seleção de arquivos, um número de arquivos ou uma combinação desses fatores.
Selecione o algoritmo de hash adequado para verificações de integridade, de acordo com as necessidades de desempenho e prevenção de colisões.
Teste a conectividade do cliente com os compartilhamentos SMB e/ou as exportações NFS no ANQ.
Tarefas são processos automáticos que você pode agendar ou iniciar manualmente. Uma tarefa define o escopo de um processo no Miria, a origem e o destino dos dados que ela processa, bem como sua programação. A programação define os horários em que as tarefas automáticas são iniciadas entre o sistema NAS legado e o ANQ.

Qumulo: Arquitetura de referência para a migração para o Qumulo nativo do Azure 3

Componentes

A arquitetura da solução é composta pelos seguintes componentes:

Serviço de Arquivos Escalável Qumulo Nativo do Azure cluster para fornecer armazenamento consolidado de dados para todo o conteúdo criado por meio da solução
Atempo Miria para migrar dados do armazenamento local para o ANQ.
- Serviço Miria
- Miria Data Movers (Agente) (CPU com no mínimo 16 núcleos, 32 GB de memória e rede de 10 GbE)
Azure ExpressRoute e/ou Gateway de VPN do Azure
Injeção na VNet do Azure
Rede Virtual do Azure
NAS de geração anterior (por exemplo, Dell EMC Isilon / PowerScale instalado no local)

Considerações

A migração de arquivos para o Serviço de Arquivos Escalável Qumulo Nativo do Azure com o Atempo Miria deve levar em conta as seguintes considerações nos processos de planejamento e projeto.

Casos de uso potenciais

Migração de dados: A migração para a nuvem é o processo de transferência de aplicativos e dados de sistemas locais para uma nuvem pública. No entanto, as opções de NAS tradicionais disponíveis no mercado apresentam funcionalidade ou escalabilidade limitadas na nuvem pública. O ANQ oferece funcionalidade e escalabilidade aprimoradas no Azure. O Atempo Miria facilita a migração de alto desempenho dos seus dados de arquivos para o ANQ, garantindo, ao mesmo tempo, a integridade dos dados.
Recuperação de desastres: O ANQ pode ser utilizado como um local secundário de recuperação de desastres (DR), permitindo que as organizações repliquem seus dados para a nuvem. No caso de um desastre que afete o local físico principal, as organizações podem migrar para os dados replicados no ANQ e continuar as operações com o mínimo de interrupção. O recurso Atempo Miria FastScan detecta rapidamente os arquivos a serem replicados a partir de um NAS legado de origem.

Escalabilidade e desempenho

Ao planejar uma solução de migração de dados utilizando o Qumulo e o Atempo Miria, os arquitetos corporativos e outras partes interessadas podem querer incluir os seguintes elementos na solução:

Capacidade e crescimento – O ANQ se adapta facilmente à demanda, permitindo que você adicione toda a capacidade necessária simplesmente criando ou migrando dados.
As ferramentas da Atempo permitem migrar arquivos, pastas e dados de ACL de um NAS legado para o ANQ com automação total, balanceamento de carga e relatórios em nível macro e micro. Podemos ampliar a capacidade de nossas ferramentas graças aos Atempo Miria Data Movers, que oferecem multistreaming e multithreading.
Largura de banda – O ANQ permite ajustar a largura de banda conforme a necessidade, em incrementos de 1 GB/s, para garantir a disponibilidade da largura de banda necessária a qualquer momento.
Com o software Miria, as taxas de transferência entre o armazenamento de origem e o de destino podem se aproximar da velocidade da rede da conexão de ponta a ponta. O desempenho pode ser afetado pelo tipo e pela estrutura dos dados: um grande número de arquivos pequenos ou uma contagem elevada de diretórios dentro de um determinado conjunto de dados pode reduzir a taxa de transferência geral, aumentando a carga sobre o Data Mover.

Segurança

O Serviço de Arquivos Escalável Qumulo Nativo do Azure (ANQ) se conecta ao seu ambiente do Azure por meio da injeção de VNet, que é totalmente roteável, segura e visível apenas para os seus recursos. Não é necessária nenhuma coordenação de espaço de IP entre o seu ambiente e o cluster ANQ.

É preciso ter cuidado durante o projeto e a implementação para garantir que a segurança da solução esteja em conformidade com as melhores práticas do setor, as políticas internas da empresa e quaisquer requisitos legais ou regulatórios aplicáveis.

Quanto a todos os demais aspectos da solução, os clientes são responsáveis pelo planejamento, implementação e manutenção da segurança da solução, a fim de atender a todos os requisitos legais e regulatórios aplicáveis ao seu setor e localização.

Otimização de custosA otimização de custos refere-se à minimização de despesas desnecessárias e à maximização do valor dos custos efetivamente incorridos pela solução. Para obter mais informações, acesse o Visão geral do pilar de otimização de custos página.

O modelo de pagamento conforme o uso do Azure permite que você otimize os custos, dimensionando os recursos para utilizar a capacidade quando necessário. Isso ajuda a gerenciar os custos com eficiência, sem provisionar recursos em excesso.
O custo do Qumulo depende da quantidade de dados no Serviço de Arquivos Escalável do Qumulo Nativo do Azure e do nível de desempenho. Para obter mais detalhes, consulte Preços dos Serviços de Arquivos Escaláveis do Qumulo nativos do Azure.
A arquitetura do Miria foi projetada para oferecer escalabilidade e fluxos de dados paralelizados. Quando você precisar de mais potência e melhor desempenho, basta adicionar outro Data Mover para atender às suas necessidades.

Disponibilidade

Diferentes organizações podem ter requisitos distintos de disponibilidade e capacidade de recuperação, mesmo para o mesmo aplicativo. O termo “disponibilidade” refere-se à capacidade da solução de fornecer o serviço de forma contínua no nível de desempenho para o qual foi projetada.

Disponibilidade de dados e armazenamento

A implantação do ANQ inclui redundância integrada no nível dos dados para garantir a disponibilidade dos dados em caso de falha do hardware subjacente. Para proteger os dados contra exclusão acidental, corrupção, malware ou outros ataques cibernéticos, o ANQ oferece a capacidade de criar instantâneos em qualquer nível do sistema de arquivos, a fim de gerar cópias de seus dados em um determinado momento, apenas para leitura.

O ANQ oferece suporte à replicação dos dados para uma instância secundária de armazenamento do Qumulo, que pode ser hospedada no Azure, em outra nuvem ou no local. O ANQ é compatível com soluções de backup baseadas em arquivos para permitir a proteção externa dos dados.

Estabilidade e continuidade do serviço

Dependendo do escopo e da criticidade dos dados a serem migrados, uma abordagem em fases pode ser adequada em algumas circunstâncias. Em vez de migrar todo o conteúdo do seu armazenamento legado em uma única operação, uma abordagem em fases envolveria a migração de um fluxo de trabalho por vez, utilizando conjuntos de dados menores e menos críticos para desenvolver e finalizar o processo antes de passar para dados maiores e mais importantes.

Uma vantagem adicional dessa abordagem é que quaisquer problemas que possam surgir durante uma operação de migração têm seu escopo limitado a um único fluxo de trabalho ou conjunto de dados.