Migration zu Azure Native Qumulo mit Atempo Miria

Diese Lösung ermöglicht die nahtlose Migration von Dateidaten zwischen unterschiedlichen Speicherplattformen, bietet eine leistungsstarke Datenübertragung, gewährleistet die Datenintegrität und versetzt Sie in die Lage, Datenmigrationsprojekte von Ihrem alten NAS auf eine ANQ-Instanz erfolgreich abzuschließen.

Migration zum nativen, skalierbaren Qumulo-Dateidienst auf Azure mit Atempo Miria

Die Dateimigration zwischen verschiedenen Speicherplattformen und Dateisystemarchitekturen kann ein komplexer Prozess sein. Dieser Artikel beschreibt eine Lösung, bei der Atempo Miria eingesetzt wird, um Dateidaten von NAS-Systemen von Drittanbietern auf Azure Native Qumulo (ANQ) zu migrieren. Atempo Miria bietet plattformunabhängige Dateimigrationsdienste in großem Maßstab für heterogene NAS-Umgebungen. Diese Lösung ermöglicht die nahtlose Migration von Dateidaten zwischen unterschiedlichen Speicherplattformen, sorgt für eine leistungsstarke Datenübertragung, gewährleistet die Datenintegrität und versetzt Sie in die Lage, Datenmigrationsprojekte von Ihrem alten NAS auf eine ANQ-Instanz erfolgreich abzuschließen.

Vorteile der Migration zu ANQ mit Atempo Miria

Architektur

Die Lösung wird auf Azure mit konfigurierbaren Leistungsoptionen bereitgestellt und kombiniert die Exabyte-fähige Dateidatenplattform von Azure Native Qumulo mit Atempo Miria, wie in der folgenden Abbildung dargestellt.

Lösungsarchitektur

Diese Lösung wird in einem Azure-Kunden-Tenant in einer einzigen Azure-Region zusammen mit den Ressourcen des Kunden, darunter ein virtuelles Netzwerk-Gateway, bereitgestellt.
Atempo Miria bietet mehrere wichtige Funktionen, darunter optimierte Datenübertragung, Parallelisierung, Multithreading, die FastScan-Technologie zur schnellen Erkennung von Objektänderungen, automatische Dateimigrationen, iterative Migrationszyklen, Integritätsprüfungen und Leistungsanpassungen. Zudem gewährleistet es die Datenzuverlässigkeit durch den ständigen Abgleich von Quell- und Zielspeicher sowie durch die Möglichkeit, während der Synchronisierung einen Hash-Mechanismus zu nutzen.
Der Miria-Server ist die zentrale Verwaltungskomponente für den Datenmigrationsprozess.
Atempo Miria Data Movers steuern den Datentransfer und sind Schlüsselkomponenten für die Gesamtleistung des Migrationsvorgangs. Ein Satz von Data Movers wird neben dem bestehenden Legacy-NAS-System bereitgestellt. Ein zweiter Satz von Data Movers befindet sich im Azure-Tenant des Kunden, um eine optimale Leistung zu gewährleisten, sodass Vor- und Nachbearbeitungsaufträge ohne Latenzprobleme ausgeführt werden können.
Der in der Lösung verwendete ANQ-Cluster wird im Azure-Tenant von Qumulo bereitgestellt.
Der Zugriff auf den ANQ-Cluster erfolgt über eine VNet-Injektion aus einem dedizierten Subnetz im Azure-Tenant des Kunden, das eine Verbindung zum dedizierten ANQ-Cluster des Kunden im Qumulo-Tenant herstellt. Auf alle Daten im ANQ-Cluster kann ausschließlich über die Netzwerkschnittstellen im delegierten Subnetz des Kunden zugegriffen werden. Hinweis: Qumulo hat keinerlei Zugriff auf Daten auf einer ANQ-Instanz.

Qumulo: Referenzarchitektur – Migration zu Azure Native Qumulo 1

Klicken Sie hier, um ein hochauflösendes Visio-Diagramm der Lösung herunterzuladen.

Ablauf der Lösung

Ein Migrationsprojekt umfasst drei Schritte:

Schritt 1: Erste Synchronisierung: Die anfängliche Datenübertragung wird gestartet und ein erster Snapshot der Quelle erstellt. Der Snapshot dient als zeitlicher Bezugspunkt. Anschließend werden im Rahmen der Übertragung die Daten aus dem Quellspeicher in den Zielspeicher kopiert.

Schritt 2: Inkrementelle Synchronisation: Überträgt alle Änderungen, die (seit der letzten inkrementellen Synchronisierung) am Quellspeicher vorgenommen wurden, auf den Zielspeicher.

Schritt 3: Abschließende Synchronisierung (Cutover): die Datenmigration auf den Zielspeicher abzuschließen, während der Produktionszugriff auf die Daten auf der Quell-NAS-Plattform unterbrochen ist.

Optionaler Schritt 4: Geplante Synchronisierungen: Wenn ältere NAS-Systeme für bestimmte Anwendungen im lokalen Rechenzentrum weiterhin im Einsatz sind, ist es unerlässlich, die Datenkonsistenz zwischen dem älteren NAS-System und ANQ sicherzustellen. Mit der Synchronisierungsfunktion von Miria lässt sich gewährleisten, dass alle Datenänderungen auf einem System mit dem anderen synchronisiert werden.

Qumulo: Referenzarchitektur – Migration zu Azure Native Qumulo 2

Der Miria-Server verwaltet die bereitgestellten Miria Data Movers. NFS- und SMB-Workloads erfordern unterschiedliche Betriebssysteminstallationen für die Data Movers. Der Miria-Server selbst kann unter Linux oder Windows bereitgestellt werden.
Data Mover können innerhalb von Linux- oder Windows-Pools kombiniert werden, um Redundanz zu schaffen (für den Fall, dass ein Data Mover ausfällt), den Gesamtdurchsatz zu steigern oder die Migrationszeit für große Datensätze zu verkürzen.
Der Zugriff zwischen den lokalen Data Movers und der Azure-basierten Umgebung kann über das Azure VPN-Gateway oder über eine ExpressRoute-Verbindung erfolgen.
Der Atempo Miria-Dienst sollte sowohl auf dem alten NAS-System als auch auf der ANQ-Instanz unter einem Administrator- oder Root-Benutzerkonto ausgeführt werden, um den uneingeschränkten Zugriff auf alle Dateien zu gewährleisten.
Für die Unterstützung von FastScan, SnapStor und den integrierten Snapshot-Verwaltungsoptionen sind API-Verbindungen zu älteren NAS- und ANQ-Speichersystemen erforderlich. () Die erweiterte Speicherintegration ermöglicht die Replikation der NFS-Exporte oder SMB-Freigaben sowie der entsprechenden Konfigurationseinstellungen vom älteren NAS-System in den ANQ-Cluster mithilfe der Synchronisierungsaufgabe. Neben Qumulo stehen die FastScan-Funktionen auch bei der Migration von Isilon, OceanStor, Nutanix-NAS und GPFS-gemeinsamen Dateisystemen zur Verfügung.
Wenn das alte NAS-System sowohl SMB- als auch NFS-Daten enthält, ist es möglich, Datensätze mit NTFS- und POSIX-Berechtigungen zu migrieren. Verwenden Sie beim Verschieben von SMB-Daten „Data Movers“ aus einem Windows-Pool. Für über NFS freigegebene Quelldateien sollten die „Data Movers“ aus einem Linux-Pool ausgewählt werden. Protokollübergreifende Berechtigungen, bei denen ein einzelner Datensatz sowohl über POSIX- als auch über ACL-Berechtigungen freigegeben ist, erfordern möglicherweise einen zusätzlichen Schritt, um die Migration erfolgreich durchzuführen. Die anfängliche Synchronisierung (und die Migration der POSIX-Berechtigungsstruktur der Daten) kann mithilfe von Data Movers aus einem Linux-Pool durchgeführt werden. Aufgrund des geringeren Overheads des NFS-Protokolls ist der „NFS-first“-Ansatz in der Regel die schnellere Methode. Anschließend kann eine zusätzliche Aufgabe auf den Data Movers in einem Windows-Pool erstellt werden, um die NTFS-Berechtigungen für dieselben Daten zu migrieren.
Wählen Sie ein oder mehrere Quellverzeichnisse vom alten NAS aus und legen Sie deren Zielorte auf ANQ fest. Achten Sie darauf, die Verzeichnisdefinitionen für die Verzeichnisse „.snapshot“ und „.snapshots“ auszuschließen.
Synchronisationstyp – „Echo“ wendet die Synchronisation vom Quellverzeichnis auf das Zielverzeichnis an.
Durch die Parallelisierung wird das Migrationsfenster verkürzt, da mehrere parallele Datenströme für die Datenmigration erstellt werden. Jedes Mal, wenn während des Scanvorgangs ein Schwellenwert erreicht wird, wird ein neuer Job gestartet. Ein Schwellenwert kann ein Zeitlimit, eine bestimmte Dateigröße, eine bestimmte Anzahl von Dateien oder eine Kombination aus diesen Faktoren sein.
Wählen Sie den geeigneten Hash-Algorithmus für Integritätsprüfungen entsprechend den Anforderungen an die Leistung und die Vermeidung von Kollisionen aus.
Überprüfen Sie die Client-Verbindung zu den SMB-Freigaben und/oder NFS-Exporten auf ANQ.
Aufgaben sind automatische Prozesse, die Sie planen oder manuell starten können. Eine Aufgabe definiert den Umfang eines Miria-Prozesses, die Quelle und das Ziel der zu verarbeitenden Daten sowie deren Zeitplan. Der Zeitplan legt fest, zu welchen Zeitpunkten automatische Aufgaben zwischen dem alten NAS-System und ANQ gestartet werden.

Qumulo: Referenzarchitektur – Migration zu Azure Native Qumulo 3

Komponenten

Die Lösungsarchitektur umfasst die folgenden Komponenten:

Azure-nativer, skalierbarer Dateidienst von Qumulo Cluster zur Bereitstellung einer zentralen Datenspeicherung für alle mit der Lösung erstellten Inhalte
Atempo Miria um Daten vom lokalen Speicher nach ANQ zu migrieren.
- Miria Service
- Miria Data Movers (Agent) (mindestens 16-Kern-CPU, 32 GB Arbeitsspeicher und 10-GbE-Netzwerk)
Azure ExpressRoute und/oder Azure VPN-Gateway
Azure-VNet-Injektion
Azure Virtual Network
Ältere NAS-Systeme (z. B. lokal installierte Dell EMC Isilon-/PowerScale-Systeme)

Überlegungen

Bei der Dateimigration auf den nativen, skalierbaren Qumulo-Dateidienst von Azure mit Atempo Miria sollten die folgenden Aspekte in den Planungs- und Entwurfsprozessen berücksichtigt werden.

Mögliche Anwendungsfälle

Datenmigration: Die Cloud-Migration ist der Prozess der Verlagerung von Anwendungen und Daten von lokalen Systemen in eine öffentliche Cloud. Die auf dem Markt erhältlichen herkömmlichen NAS-Lösungen weisen jedoch in der öffentlichen Cloud nur begrenzte Funktionalität oder Skalierbarkeit auf. ANQ bietet erweiterte Funktionalität und Skalierbarkeit auf Azure. Atempo Miria ermöglicht die leistungsstarke Migration Ihrer Dateidaten zu ANQ und gewährleistet dabei die Datenintegrität.
Notfallwiederherstellung: ANQ kann als sekundärer DR-Standort genutzt werden, wodurch Unternehmen ihre Daten in die Cloud replizieren können. Im Falle einer Katastrophe, die den primären Standort vor Ort beeinträchtigt, können Unternehmen auf die replizierten Daten auf ANQ umschalten und den Betrieb mit minimalen Unterbrechungen fortsetzen. Die Atempo Miria FastScan-Funktion erkennt schnell die Dateien, die von einem älteren Quell-NAS repliziert werden sollen.

Skalierbarkeit und Leistung

Bei der Planung einer Datenmigrationslösung mit Qumulo und Atempo Miria sollten Unternehmensarchitekten und andere Beteiligte möglicherweise folgende Aspekte in die Lösung einbeziehen:

Kapazität und Wachstum – ANQ lässt sich ganz einfach bedarfsgerecht skalieren, sodass Sie die benötigte Kapazität durch das Anlegen oder Migrieren von Daten ganz nach Bedarf erweitern können.
Mit den Atempo-Tools können Sie Datei-, Ordner- und ACL-Daten von älteren NAS-Systemen auf ANQ migrieren – mit vollständiger Automatisierung, Lastverteilung sowie Berichterstellung auf Makro- und Mikroebene. Dank der Multi-Streaming- und Multi-Threading-Fähigkeiten der Atempo Miria Data Movers können wir die Leistungsfähigkeit unserer Tools skalieren.
Durchsatz – Mit ANQ können Sie den Durchsatz nach Bedarf in Schritten von 1 GB/s anpassen, um sicherzustellen, dass Ihnen jederzeit der benötigte Durchsatz zur Verfügung steht.
Mit der Miria-Software können die Übertragungsraten zwischen Quell- und Zielspeicher nahezu die Netzwerkgeschwindigkeit der End-to-End-Verbindung erreichen. Die Leistung kann durch den Datentyp und die Datenstruktur beeinflusst werden: Eine große Anzahl kleiner Dateien oder eine hohe Anzahl von Verzeichnissen innerhalb eines bestimmten Datensatzes kann den Gesamtdurchsatz verlangsamen, da dadurch die Auslastung des Data Movers steigt.

Sicherheit

Der Azure Native Qumulo Scalable File Service stellt über VNet Injection eine Verbindung zu Ihrer Azure-Umgebung her. Diese Verbindung ist vollständig routbar, sicher und nur für Ihre Ressourcen sichtbar. Eine Abstimmung des IP-Adressraums zwischen Ihrer Umgebung und dem ANQ-Cluster ist nicht erforderlich.

Bei der Konzeption und Umsetzung ist darauf zu achten, dass die Sicherheit der Lösung den bewährten Verfahren der Branche, den internen Unternehmensrichtlinien sowie allen geltenden gesetzlichen und behördlichen Anforderungen entspricht.

In Bezug auf alle anderen Aspekte der Lösung sind die Kunden dafür verantwortlich, die Sicherheit der Lösung so zu planen, umzusetzen und aufrechtzuerhalten, dass alle für ihre Branche und ihren Standort geltenden gesetzlichen und behördlichen Anforderungen erfüllt werden.

KostenoptimierungUnter Kostenoptimierung versteht man die Minimierung unnötiger Ausgaben bei gleichzeitiger Maximierung des Nutzens der durch die Lösung tatsächlich anfallenden Kosten. Weitere Informationen finden Sie unter Überblick über den Bereich „Kostenoptimierung“ Seite.

Das Pay-as-you-go-Modell von Azure ermöglicht es Ihnen, Kosten zu optimieren, indem Sie Ressourcen skalieren, um die Kapazität bei Bedarf zu nutzen. So können Sie Ihre Kosten effizient verwalten, ohne Ressourcen übermäßig bereitzustellen.
Die Kosten für Qumulo hängen von der Datenmenge auf dem „Azure Native Qumulo Scalable File Service“ und der Leistungsstufe ab. Weitere Informationen finden Sie unter Preise für die skalierbaren Dateidienste von Qumulo für Azure.
Die Architektur von Miria ist auf Skalierbarkeit ausgelegt und ermöglicht parallele Datenflüsse. Wenn Sie mehr Rechenleistung und eine höhere Performance benötigen, müssen Sie lediglich einen weiteren Data Mover hinzufügen, um Ihren Anforderungen gerecht zu werden.

Verfügbarkeit

Verschiedene Organisationen können selbst für dieselbe Anwendung unterschiedliche Anforderungen an die Verfügbarkeit und Wiederherstellbarkeit haben. Der Begriff „Verfügbarkeit“ bezieht sich auf die Fähigkeit der Lösung, den Dienst kontinuierlich auf dem Leistungsniveau bereitzustellen, für das sie entwickelt wurde.

Verfügbarkeit von Daten und Speicherplatz

Die ANQ-Bereitstellung umfasst integrierte Redundanz auf Datenebene, um die Datenverfügbarkeit auch bei einem Ausfall der zugrunde liegenden Hardware zu gewährleisten. Um die Daten vor versehentlichem Löschen, Beschädigung, Malware oder anderen Cyberangriffen zu schützen, bietet ANQ die Möglichkeit, auf jeder Ebene des Dateisystems Snapshots zu erstellen, um zeitpunktbezogene, schreibgeschützte Kopien Ihrer Daten zu erstellen.

ANQ unterstützt die Replikation der Daten auf eine sekundäre Qumulo-Speicherinstanz, die in Azure, in einer anderen Cloud oder vor Ort gehostet werden kann. ANQ ist mit dateibasierten Backup-Lösungen kompatibel, um eine externe Datensicherung zu ermöglichen.

Stabilität und Kontinuität der Dienstleistungen

Je nach Umfang und Kritikalität der zu migrierenden Daten kann unter bestimmten Umständen ein schrittweises Vorgehen sinnvoll sein. Anstatt den gesamten Inhalt Ihres Altspeichers in einem einzigen Vorgang zu migrieren, würde ein schrittweises Vorgehen bedeuten, jeweils einen Workflow nach dem anderen zu migrieren und dabei kleinere, weniger kritische Datensätze zu nutzen, um den Prozess zu entwickeln und zu optimieren, bevor man zu größeren und wichtigeren Daten übergeht.

Ein weiterer Vorteil dieses Ansatzes besteht darin, dass sich etwaige Probleme, die bei einer Migration auftreten können, auf einen einzelnen Workflow oder Datensatz beschränken.