Os dados foram o primeiro ponto de entrada para a nuvem. A Microsoft lançou o blob há mais de uma década. Por isso, é surpreendente que os dados na nuvem hoje sejam tão limitados.
O desafio é que a primitiva de armazenamento nativa da nuvem é o armazenamento de objetos (Azure Blob), mas a maior parte dos dados corporativos consiste em arquivos. E tentar armazenar esses arquivos na nuvem como arquivos é complicado — é extremamente caro e carece da verdadeira elasticidade da nuvem.
O desafio que enfrentamos foi como aproveitar as fantásticas propriedades de Armazenamento de blobs do Azure para dados de arquivos na nuvem. Foi um enorme desafio, e estou animado (e bastante orgulhoso) em anunciar que conseguimos atingir essa meta com sucesso!
Contexto
Os dados em arquivos estão isolados no ambiente local. Isso é um grande problema, já que a maior parte dos dados corporativos consiste em dados em arquivos. Isso é particularmente lamentável, pois esses dados constituem a base para IA/ML, e é fundamental transferi-los para a nuvem, uma vez que o ecossistema mundial de IA/ML está claramente concentrado nesse ambiente.
Para cargas de trabalho de IA/ML, o Microsoft Azure é a nuvem dominante, graças à sua visão de futuro ao estabelecer parcerias com OpenAI (GPT4) e Meta (LLama-2).
No entanto, o armazenamento de arquivos na nuvem é limitado. Os serviços de arquivos em nuvem existentes, quando comparados às opções locais, são caros, carecem de recursos empresariais, apresentam baixa escalabilidade e oferecem desempenho limitado. Pior ainda, o serviço de arquivos de cada provedor de nuvem é personalizado, com interoperabilidade mínima com outras nuvens ou ambientes locais.
As organizações são obrigadas a escolher entre opções pouco atraentes: pagar por serviços de arquivos em nuvem caros e restritivos ou abrir mão de sua infraestrutura de TI local e se submeter ao longo e dispendioso processo de migrar seus aplicativos de dados de arquivos para serviços de objetos em nuvem. A migração de suas aplicações de dados em arquivos para serviços de objetos na nuvem significa que leva entre 18 e 36 meses para que as empresas comecem a perceber o valor da nuvem.
Apresentando o Azure Native Qumulo (ANQ)
Em abril de 2023, anunciamos o disponibilidade geral do nosso serviço Qumulo Scale nativo do Azure, desenvolvido em parceria com a Microsoft. Essa foi uma inovação no setor e estava totalmente integrada ao portal do Azure. Isso permitiu que os clientes implantassem um sistema de arquivos corporativo seguro com capacidade de até 10 PB em apenas alguns minutos.
Mas isso foi só o começo. Hoje, tenho o prazer de anunciar, A partir desta terça-feira, 14 de novembro de 2023, está disponível ao público uma atualização significativa para o Serviço de arquivos escalável Qumulo nativo do Azure; um serviço de arquivos escalável, comprovado em ambiente corporativo e repleto de recursos, com um arquitetura nativa da nuvem, o que nos permite oferecer economia e desempenho imbatíveis para as aplicações mais exigentes. Os recursos elásticos e sob demanda da ANQ permitem que os clientes paguem apenas pela capacidade e pelo desempenho efetivamente utilizados.
Com o Azure Native Qumulo (ANQ), oferecemos às equipes que lidam com dados não estruturados:
Economia imbatível – Com preços a partir de US$ 30 por TB para fluxos de trabalho ativos, cobrados mensalmente pelo Azure Marketplace com base na capacidade consumida, o ANQ é quase 80% mais barato do que a alternativa mais próxima e tem custo comparável ao custo total do armazenamento de arquivos no local. Confira nosso Calculadora de TCO e veja por si mesmo.
Desempenho elástico ilimitado – Com 1 GBps de largura de banda incluída no custo básico de armazenamento e apenas US$ 0,00011 por GBps adicional de largura de banda / TB armazenado, medido por minuto e cobrado por hora pelo Azure Marketplace, o ANQ permite que os fluxos de trabalho consumam capacidade e desempenho independentemente um do outro, aumentando a flexibilidade e reduzindo os custos. Experimente nosso calculadora de preços Faça um teste para ver quanto custará a sua carga de trabalho.
Durabilidade de dados incomparável – Com base em Blob do Azure ZRS armazenar com durabilidade de dados de 12 9’s e, para a maioria dos clientes, o ANQ agora elimina a necessidade de uma segunda cópia dos dados, prática tão comum em ambientes locais.
Simplicidade e rapidez dos serviços em nuvem – Ao contrário da infraestrutura local, cuja aquisição, implantação e colocação em operação podem levar semanas, ou até meses, o ANQ pode ser configurado e implantado (e também desativado, no caso de cenários de uso pontual) diretamente a partir do Portal de serviços do Azure em questão de minutos.
Serviços avançados de dados corporativos – O amplo conjunto de serviços de dados da ANQ, como cotas, instantâneos, acesso multiprotocolo, integrações de segurança corporativa e análise de dados em tempo real, já foi comprovado por mais de 1.000 clientes em mais de 20 países e em centenas de fluxos de trabalho exigentes, que vão desde pipelines de IA / ML até casos de uso com foco em segurança e conformidade envolvendo dados da área da saúde e financeiros.
O ANQ possibilita diversos fluxos de trabalho
Atualmente, muitas organizações possuem cargas de trabalho que se beneficiariam da escalabilidade e da elasticidade da nuvem para suas cargas de trabalho de arquivos, mas enfrentam restrições devido às limitações das ofertas de armazenamento de arquivos na nuvem.
Saúde e Imagem Médica
O ANQ pode ser usado tanto como armazenamento primário para o PACS quanto para arquivamento com o PACS VNA. Confira o que Hospital Infantil de Dayton tem que o que dizem sobre o uso do ANQ para seus dados do PACSIA/ML
Já escrevi anteriormente sobre como a Qumulo ajuda os clientes com seu Cargas de trabalho de IA/ML em qualquer lugar com nossa plataforma Scale Anywhere™. As cargas de trabalho de IA/ML são baseado em dados, dados em sua maioria não estruturados, muitos dos quais estão armazenados como arquivos no local, enquanto o Azure é o epicentro da revolução em IA/ML. O ANQ preenche essa lacuna!Energia (Petróleo e Gás, Energias Renováveis)
O setor de energia, Seja no setor tradicional ou no de energias renováveis, há um volume enorme de dados envolvidos na exploração, produção e monitoramento. Esses casos de uso exigem alta capacidade de processamento para atender aos requisitos de velocidade de dados da exploração sísmica, das turbinas eólicas e das simulações de reservatórios.Mídia e Entretenimento
Edição de vídeo, Os fluxos de trabalho de pós-produção, animação e renderização, bem como as equipes envolvidas, estão cada vez mais distribuídos geograficamente e adotam modelos híbridos. É o ANQ que permite que esses cenários híbridos — entre infraestrutura local e nuvem — funcionem de maneira integrada. E, com o Qumulo Global Namespace, possibilitamos o trabalho de equipes distribuídas, especialmente no setor de mídia e entretenimento!Sequenciamento genômico
O sequenciamento genômico requer, inicialmente, armazenamento de alta performance (HPC) para capturar arquivos FASTQ gerados pelos sequenciadores em laboratórios e hospitais. Uma única execução pode gerar até alguns terabytes de dados. O sequenciamento exige grande capacidade computacional para alinhar os dados brutos em formatos de arquivo utilizáveis nas etapas posteriores do processo. Outro exemplo de um caso de uso com picos de demanda que se encaixa perfeitamente na elasticidade do ANQ.Recuperação de Desastres e Continuidade de Negócios
Esse é um caso de uso quase óbvio para nossos clientes. Por que você não aproveitaria o Azure para suas cargas de trabalho de continuidade de negócios (BC) e recuperação de desastres (DR), especialmente considerando as vantagens econômicas atraentes da ANQ?
Qumulo nativo do Azure (ANQ) – Armazenamento de baixa frequência
Também gostaria de anunciar que o Azure Native Qumulo Cold estará disponível para o público em geral em fevereiro de 2024.
Baseado no “cold blob” da LRS e com preço inferior a US$ 10 por TB por mês, o ANQ Cold é a síntese perfeita do sistema de arquivos corporativo da Qumulo, reconhecido como líder em Quadrante Mágico da Gartner para Armazenamento Distribuído de Arquivos e Objetos seis anos consecutivos, e o armazenamento de blobs “cold” do LRS do Azure, que oferece economia incomparável para a retenção de longo prazo de dados ativos, mas considerados “cold”.
Embora o armazenamento de blobs “cold” do Azure tenha um preço atraente para dados em repouso (US$ 3,60/TB/mês), o custo de acesso aos dados pode ser até 10 vezes maior.
O ANQ Cold faz com que isso não seja mais um problema!
Todos os metadados do sistema de arquivos são armazenados em cache para que você possa executar operações no namespace à vontade, sem incorrer nas temidas taxas de acesso. Além disso, para simplificar as coisas para nossos clientes, incluiremos acesso a dados de até 2,5% da capacidade armazenada sem custo adicional. É uma grande quantidade de dados que você pode acessar a partir do seu nível de armazenamento de arquivos “cold”
Por exemplo, com um petabyte no ANQ Cold, isso significa até 25 TB de leituras gratuitas por mês, um valor de cerca de US$ 750,00 por mês. Traduzindo isso em dados mais significativos, isso equivale a cerca de 25.000 imagens médicas de alta resolução, 5.000 filmes em HD na íntegra ou mais de um milhão de documentos em PDF.
Se você tiver interesse em uma prévia exclusiva do ANQ Cold, entre em contato conosco aqui.
Os clientes podem utilizar o ANQ e o ANQ Cold como serviços independentes ou integrá-los aos seus data centers e repositórios de dados não estruturados na borda por meio de Espaço de nomes global do Qumulo, O plano de dados unificado da Qumulo e Nexus, nosso plano de controle unificado, para oferecer um verdadeiro modelo operacional de TI híbrida e atender locais distribuídos globalmente a partir de uma única plataforma comum que se adapta a qualquer lugar.
Confira os links a seguir