Migration zum nativen, skalierbaren Qumulo-Dateidienst auf Azure mit Komprise

Dieser Artikel beschreibt eine Lösung, bei der Komprise zur Migration von Dateidaten von NAS-Systemen von Drittanbietern auf Azure Native Qumulo (ANQ) eingesetzt wird. Komprise bietet plattformunabhängige Dateimigrationsdienste in großem Maßstab für heterogene NAS-Umgebungen.

Migration zum nativen, skalierbaren Qumulo-Dateidienst auf Azure mit Komprise

Die Dateimigration zwischen verschiedenen Speicherplattformen und Dateisystemarchitekturen kann ein komplexer Prozess sein. Dieser Artikel beschreibt eine Lösung, bei der Komprise eingesetzt wird, um Dateidaten von NAS-Systemen von Drittanbietern auf Azure Native Qumulo (ANQ) zu migrieren. Komprise bietet plattformunabhängige Dateimigrationsdienste in großem Maßstab für heterogene NAS-Umgebungen. Diese Lösung ermöglicht die nahtlose Migration von Dateidaten zwischen unterschiedlichen Speicherplattformen, sorgt für eine leistungsstarke Datenübertragung, gewährleistet die Datenintegrität und versetzt Sie in die Lage, Datenmigrationsprojekte von Ihrem alten NAS auf eine ANQ-Instanz erfolgreich abzuschließen.

Vorteile der Migration zu ANQ mit Komprise

Architektur

Die Lösung wird auf Azure mit konfigurierbaren Leistungsoptionen bereitgestellt und kombiniert die Exabyte-fähige Dateidatenplattform von Azure Native Qumulo mit Komprise, wie in der folgenden Abbildung dargestellt.

Klicken hier um ein hochauflösendes Visio-Diagramm der Lösung herunterzuladen.

Lösungsarchitektur

Diese Lösung wird in einem Azure-Kunden-Tenant in einer einzigen Azure-Region zusammen mit den Ressourcen des Kunden, darunter ein virtuelles Netzwerk-Gateway, bereitgestellt.
Komprise zeichnet sich durch dynamische Datenanalyse, transparente Archivierung und Funktionen zur direkten Datenmigration aus, die einen unterbrechungsfreien Zugriff auf aktiv genutzte Daten und Benutzeraktivitäten ermöglichen. Die HyperTransfer-Technologie von Komprise erweitert diese Funktionen noch weiter und gewährleistet Hochgeschwindigkeits-Datenübertragungen, die für groß angelegte Migrationen und Datenverwaltungsaufgaben von entscheidender Bedeutung sind.
Komprise gewährleistet zudem die Verfügbarkeit und Zuverlässigkeit der Daten während einer laufenden Migration, indem es eng mit den Speicherplattformen zusammenarbeitet, um den Quell- und Zielspeicher kontinuierlich zu vergleichen und nach zu übertragenden Änderungen zu suchen. Zudem verfügt das System über einen Hash-Mechanismus, der sicherstellt, dass die Daten während der Übertragung ordnungsgemäß gespeichert und wiederhergestellt werden.
Die Verwaltung mit Komprise erfolgt über den Komprise Director, eine Verwaltungskonsole, die Datenbewegungen koordiniert. Sie ermöglicht eine zentralisierte Steuerung, sodass Benutzer Aktivitäten in der gesamten Speicherlandschaft des Kunden – einschließlich einzelner oder mehrerer Standorte – verwalten, analysieren, migrieren und überwachen können.
Das Herzstück der Komprise-Architektur bilden die Komprise Observers und Proxies. Dabei handelt es sich um Datenübertragungs-Engines, die strategisch platziert werden können, um eine hohe Leistung bei Datenverwaltungs- und Migrationsvorgängen zu gewährleisten. In der Regel werden die Observers in der Nähe von Legacy-Speichersystemen positioniert, um einen schnellen lokalen Zugriff zu ermöglichen und so lokale Migrationen zu optimieren. Für die Migration in einen Azure-ANQ-Cluster nutzt Komprise HyperTransfer Proxies, die innerhalb des Azure-Tenants gehostet werden, um das Schreiben und Validieren von Daten lokal in Azure abzuwickeln. Diese Architektur ermöglicht eine effiziente Datenübertragung über das WAN und reduziert die Latenz im Vergleich zu gängigen Migrationstools erheblich. Hinweis: Die Daten werden ausschließlich über Netzwerke übertragen, die gesichert sind und direkt vom Kunden verwaltet werden.
Die ANQ-Instanz wird im Azure-Tenant von Qumulo bereitgestellt.
Der Zugriff auf den ANQ-Cluster erfolgt über eine VNet-Injektion aus einem dedizierten Subnetz im Azure-Tenant des Kunden, das eine Verbindung zum ANQ-Dienst des Kunden im Qumulo-Tenant herstellt. Auf alle Daten auf ANQ kann ausschließlich über die Netzwerkschnittstellen im delegierten Subnetz des Kunden zugegriffen werden. Hinweis: Qumulo hat keinerlei Zugriff auf Daten auf einer ANQ-Serviceinstanz.
Die in die Komprise-Suite integrierte HyperTransfer-Technologie spielt eine entscheidende Rolle bei der Beschleunigung des Datenübertragungsprozesses. Sie optimiert die Netzwerknutzung, um große Datensätze schnell zu übertragen, und reduziert so den Zeitaufwand für Datenmigrationen und -synchronisierungen erheblich. Diese Effizienz ist von entscheidender Bedeutung für Unternehmen, die Ausfallzeiten minimieren und die Skalierbarkeit und Flexibilität der Cloud schnell nutzen möchten.

Ablauf der Lösung

Ein Migrationsprojekt umfasst 5 Schritte:

Schritt 1: Analyse Ihrer Daten

Komprise bietet mit den Funktionen „Plan Analysis“ und „Deep Analytics“ schnelle Einblicke in Ihre unstrukturierten Daten über alle Speicherplattformen hinweg. „Plan Analysis“ liefert sofort zusammenfassende Ergebnisse über Nutzungsdiagramme und die Seiten „Analysis Activities“, auf denen wichtige Probleme im Dateisystem aufgezeigt werden, die Kunden vor der Datenmigration kennen sollten. Mit „Deep Analytics“ können Kunden ihre Daten mithilfe benutzerdefinierter Abfragefunktionen und Diagramme genauer untersuchen, um ausgewählte Datensätze, verwaiste Dateien und mehr zu finden.

Die Seite „Analysis Activity“ des Komprise-Tools hilft dabei, potenzielle Probleme bereits im Vorfeld zu erkennen, noch bevor Daten verschoben werden. Zu den potenziellen Problemen, auf die vor dem Start der Migrationssequenz geachtet werden sollte, gehören unter anderem:

Die Statistiken zu Dateien und Verzeichnissen kennen und etwaige Probleme mit eingeschränkten Zugriffsrechten oder der Auflösung identifizieren
Gibt es übermäßig lange Pfad- und Dateinamen, enthalten diese ungültige Zeichen?
Erkennen Sie eine extrem große Anzahl winziger Dateien, falls es eine große Anzahl leerer Verzeichnisse gibt
Potentiell leistungsschwache Aktien identifizieren
Stellen Sie im Voraus fest, ob es spärliche Dateien oder zyklische symbolische Links gibt, die Verzeichnisse miteinander verbinden.

Schritt 2: Bewertung der Netzwerk- und Speicherleistung

Migrationen verlaufen nur so schnell, wie es die Infrastruktur zulässt. Es ist von entscheidender Bedeutung, die Gesamtleistung des Netzwerks und der Speichersysteme im Zusammenspiel zu kennen. Eine getrennte Messung der Netzwerk- und Speicherleistung deckt möglicherweise keine versteckten Einschränkungen bei Portkonfigurationen, dem Routing, einer Überlastung des Dateisystems und weiteren Faktoren auf.

Migrationen können das Netzwerk des Kunden einer ungewöhnlichen und sehr hohen Belastung aussetzen. Komprise ist sich bewusst, wie wichtig es ist, die Netzwerk- und Speicherleistung gemeinsam zu bewerten, um etwaige Verbindungsprobleme zwischen dem alten NAS-System und der ANQ-Instanz vor der Datenmigration zu erkennen.

Das Komprise-Tool „Assessment of Customer Environment“ (ACE) lässt sich einfach bereitstellen und ausführen. Das Tool simuliert eine Reihe von Datentransferszenarien zwischen lokalen Quell-NAS-Freigaben und der ANQ-Instanz am Zielort. Es führt eine Reihe von Lese-, Schreib- und Prüfsummenoperationen durch und erfasst die daraus resultierenden Gesamtleistungswerte. Diese Ergebnisse können potenzielle Leistungsrisiken und Infrastrukturengpässe aufzeigen, die untersucht werden sollten, um sicherzustellen, dass die Netzwerktopologie bereit ist.

Schritt 3: Migration: Erstsynchronisierung

Der Migrationsprozess beginnt damit, dass Komprise eine umfassende Analyse des gesamten zu migrierenden Datensatzes durchführt und die erste Datenübertragung vom alten NAS-System zum ANQ-Zielsystem vornimmt. Diese erste Iteration schafft eine grundlegende Basis und ist entscheidend für die anfängliche, umfangreiche Datenübertragung, die ohne Beeinträchtigung des Benutzerzugriffs auf die Quelldaten erfolgt. Komprise nutzt die HyperTransfer-Technologie, um einen optimierten Übertragungsprozess zu gewährleisten, indem die Parallelisierung dynamisch an die verfügbaren Observer- und Proxy-Ressourcen sowie an die verfügbare Netzwerkbandbreite angepasst wird.

Schritt 4: Migration: Inkrementelle Iterationen

In dieser Phase kommen die intelligenten Algorithmen von Komprise zum Einsatz, um ausschließlich jene Änderungen zu erfassen und zu übertragen, die seit der letzten Synchronisierung an den Quelldaten vorgenommen wurden. Dieser Ansatz ist entscheidend, um den Zielspeicher auf dem neuesten Stand zu halten und dabei Netzwerkbeeinträchtigungen auf ein Minimum zu beschränken. Er spiegelt ein vertieftes Verständnis der Datenaktivität wider und gewährleistet einen präziseren und effizienteren Synchronisierungsprozess. Betrachten Sie diese Iteration als Testlauf für die endgültige Umstellung. Dank einer umfassenden Dateivergleichsprüfung des gesamten Systems, die etwaige Fehler, die Gesamtübertragungszeiten, die Menge der übertragenen Daten und vieles mehr aufzeigt, wissen Sie genau, wo Sie stehen. Diese Informationen helfen Ihnen bei der Planung des Zeitpunkts und der Dauer der endgültigen Umstellung.

Schritt 5: Migration: Letzte Iteration (Cutover)

Diese entscheidende Phase markiert den Abschluss der Migration, wobei Komprise alle verbleibenden Daten auf den Zielspeicher überträgt. Um zum Zeitpunkt der Umstellung eine exakte Replikation der Quelle zu gewährleisten, wird der Schreibzugriff auf das Quell-NAS vorübergehend ausgesetzt, um eine abschließende Dateisystemprüfung durchzuführen. Dieser Schritt unterstreicht, wie wichtig eine gründliche Planung und Koordination ist, um die Auswirkungen auf den Betrieb so gering wie möglich zu halten.

Funktionen von Komprise

Im Folgenden sind einige Punkte aufgeführt, die Komprise bei allen Migrationen berücksichtigt.

Der Komprise Cloud Director überwacht die Bereitstellung und Verwaltung der Komprise-Datenmanagementprozesse. Über diese zentrale Verwaltungsoberfläche können Kunden mehrere Migrationsvorgänge unternehmensweit verwalten. Von einer einzigen Konsole aus können Sie Migrationen initiieren, Migrationen für einen späteren Startzeitpunkt planen, eine übersichtliche Statusübersicht einsehen, die den Zeitplan und den Datenfluss zwischen alten NAS-Systemen und ANQ anzeigt, den Fortschritt verfolgen, Fortschrittsberichte abrufen, Probleme überprüfen und Umstellungen planen.
Komprise bündelt Ressourcen auf intelligente Weise, um die Gesamtarbeitslast zu verteilen und Redundanz zu gewährleisten. Dadurch werden Durchsatz und Effizienz gesteigert, was entscheidend ist, um die für die Migration großer Datensätze benötigte Zeit zu verkürzen. Komprise kann vorhandene Ressourcen dynamisch nach oben skalieren sowie durch Hinzufügen weiterer „Observer“ und „Proxies“ horizontal erweitern.
Unterstützt sichere Datenübertragungen mit Verschlüsselung während der Übertragung und nutzt die Kundenverbindung zwischen lokalen Umgebungen und Azure-basierten Ressourcen, die über das Azure VPN Gateway oder ExpressRoute bereitgestellt wird. In Kombination mit der HyperTransfer-Technologie von Komprise gewährleistet dies sichere, beschleunigte Übertragungen und eine effiziente Datenübertragung.
Komprise sollte sowohl auf dem alten NAS-System als auch auf der ANQ-Instanz unter einem Active-Directory-Benutzer ausgeführt werden, um den uneingeschränkten Zugriff auf alle Dateien in SMB-Freigaben sowie die Übertragung von NTFS- und ACL-Berechtigungen zu gewährleisten.
Wenn das Quell-NAS-System sowohl SMB- als auch NFS-Daten enthält, ist es möglich, Datensätze mit NTFS- und POSIX-Berechtigungen zu migrieren. Bei der Verarbeitung älterer NAS-Systeme, die sowohl SMB- als auch NFS-Daten enthalten, kann Komprise Migrationen durchführen und dabei die NTFS- und POSIX-Berechtigungen beibehalten.
Protokollübergreifende Berechtigungen, bei denen ein einzelner Datensatz sowohl über POSIX- als auch über ACL-Berechtigungen freigegeben wird, erfordern möglicherweise einen zusätzlichen Schritt, um die Migration erfolgreich durchzuführen. Für die anfängliche Synchronisierung ist der „NFS-first“-Ansatz (und die Migration der POSIX-Berechtigungsstruktur der Daten) aufgrund des geringeren Overheads des NFS-Protokolls in der Regel die schnellere Methode. Anschließend kann eine zusätzliche Migrationsaufgabe erstellt werden, um die NTFS-Berechtigungen auf dieselben Daten anzuwenden.
Komprise vereinfacht die Auswahl von Quellverzeichnissen aus älteren NAS-Systemen für die Migration zu ANQ und schließt dabei auf intelligente Weise systemspezifische Verzeichnisse wie beispielsweise .snapshot oder .snapshots um eine reibungslose Übertragung zu gewährleisten.
Komprise nutzt Parallelisierung, um den Migrationsprozess zu beschleunigen, und erzeugt dabei mehrere gleichzeitig laufende Datenströme. Dieser Prozess wird durch die HyperTransfer-Technologie optimiert, die sich dynamisch anpasst, um die verfügbare Bandbreite optimal zu nutzen und die Migrationsfenster zu minimieren.
Komprise gewährleistet die Datenintegrität während des gesamten Migrationsprozesses und nutzt dazu geeignete Hash-Algorithmen, um die Daten zu überprüfen, ohne dabei Leistungseinbußen in Kauf zu nehmen.

Komponenten

Die Lösungsarchitektur umfasst die folgenden Komponenten:

Azure-nativer, skalierbarer Dateidienst von Qumulo Cluster zur Bereitstellung einer zentralen Datenspeicherung für alle mit der Lösung erstellten Inhalte
Komprise Cloud Director um Daten vom lokalen Speicher nach ANQ zu migrieren.
- Beobachter
- Proxy-Server – bestehend aus Komprise Proxy Services, die auf Windows Server laufen (mindestens 16-Kern-CPU, 32 GB Arbeitsspeicher und 10-GbE-Netzwerk)
Azure ExpressRoute und/oder Azure VPN-Gateway
Azure-VNet-Injektion
Azure Virtual Network
Ältere NAS-Systeme (z. B. lokal installierte Dell EMC Isilon-/PowerScale-Systeme)

Überlegungen

Bei der Dateimigration auf den nativen, skalierbaren Qumulo-Dateidienst von Azure mit Komprise sollten die folgenden Aspekte in den Planungs- und Entwurfsprozessen berücksichtigt werden.

Mögliche Anwendungsfälle

Datenmigration: Unter Cloud-Migration versteht man den Prozess der Verlagerung von Anwendungen und Daten von lokalen Systemen in eine öffentliche Cloud. Die auf dem Markt erhältlichen herkömmlichen NAS-Lösungen weisen jedoch in der öffentlichen Cloud nur begrenzte Funktionalität oder Skalierbarkeit auf. ANQ bietet erweiterte Funktionalität und Skalierbarkeit auf Azure. Komprise ermöglicht die leistungsstarke Migration Ihrer Dateidaten zu ANQ und gewährleistet dabei die Datenintegrität.
Notfallwiederherstellung: ANQ kann als sekundärer DR-Standort genutzt werden, wodurch Unternehmen ihre Daten in die Cloud replizieren können. Im Falle einer Katastrophe, die den primären Standort vor Ort beeinträchtigt, können Unternehmen auf die replizierten Daten auf ANQ umschalten und den Betrieb mit minimalen Unterbrechungen fortsetzen. Komprise erkennt schnell die Dateien, die von einem älteren NAS-Quellsystem repliziert werden sollen.
Stufeneinteilung: Die Tiering-Funktionen von Komprise bieten eine nahtlose Lösung für die Verwaltung und Optimierung der Dateispeicherung, indem sie inaktive oder selten genutzte Daten mithilfe der „Komprise Transparent Move Technology“ (TMT) intelligent analysieren und in ANQ verschieben. Diese Technologie stellt sicher, dass die Daten ohne Unterbrechung des Benutzerzugriffs verschoben werden, wobei der native Dateizugriff erhalten bleibt und ein direkter Zugriff in ANQ ermöglicht wird. Der einzigartige Mehrwert liegt in der Fähigkeit, Speicher- und Backup-Kosten zu senken, die Datenverwaltung durch intuitive Dashboards und API-Integration zu vereinfachen sowie einen flexiblen, bindungsfreien Weg in die Cloud zu bieten. Damit ist die Lösung besonders nützlich für Kunden, die ihr Datenwachstum und ihre Cloud-Speicherkosten effizient verwalten möchten.

Skalierbarkeit und Leistung

Bei der Planung einer Datenmigrationslösung mit Qumulo und Komprise sollten Unternehmensarchitekten und andere Beteiligte möglicherweise folgende Aspekte in die Lösung einbeziehen:

Kapazität und Wachstum – ANQ lässt sich ganz einfach bedarfsgerecht skalieren, sodass Sie die benötigte Kapazität durch das Anlegen oder Migrieren von Daten ganz nach Bedarf erweitern können.
Mit Komprise können Sie Dateien, Ordner und ACL-Daten von älteren NAS-Systemen auf ANQ migrieren – mit vollständiger Automatisierung, Lastenausgleich sowie Berichterstellung auf Makro- und Mikroebene. Dank Multi-Streaming, Multi-Threading sowie der Komprise Observers und Proxy-Server können wir die Leistungsfähigkeit unserer Tools skalieren.
Durchsatz – Mit ANQ können Sie den Durchsatz nach Bedarf in Schritten von 1 GB/s anpassen, um sicherzustellen, dass Ihnen der benötigte Durchsatz jederzeit zur Verfügung steht.
Mit Komprise können die Übertragungsraten zwischen Quell- und Zielspeicher nahezu die Netzwerkgeschwindigkeit der End-to-End-Verbindung erreichen. Die Leistung kann durch Datentyp und -struktur beeinflusst werden: Eine große Anzahl kleiner Dateien oder eine hohe Anzahl von Verzeichnissen innerhalb eines bestimmten Datensatzes kann den Gesamtdurchsatz verlangsamen, da dadurch die Auslastung der Proxy-Rechner steigt. Außerdem sollte die HyperTransfer-Technologie von Komprise in vollem Umfang genutzt werden, um die Datenübertragungen zu beschleunigen.

Sicherheit

Der Azure Native Qumulo Scalable File Service stellt über VNet Injection eine Verbindung zu Ihrer Azure-Umgebung her. Diese Verbindung ist vollständig routbar, sicher und nur für Ihre Ressourcen sichtbar. Eine Abstimmung des IP-Adressraums zwischen Ihrer Umgebung und dem ANQ-Cluster ist nicht erforderlich.

Bei der Konzeption und Umsetzung ist darauf zu achten, dass die Sicherheit der Lösung den bewährten Verfahren der Branche, den internen Unternehmensrichtlinien sowie allen geltenden gesetzlichen und behördlichen Anforderungen entspricht.

In Bezug auf alle anderen Aspekte der Lösung sind die Kunden dafür verantwortlich, die Sicherheit der Lösung so zu planen, umzusetzen und aufrechtzuerhalten, dass alle für ihre Branche und ihren Standort geltenden gesetzlichen und behördlichen Anforderungen erfüllt werden.

Kostenoptimierung

Unter Kostenoptimierung versteht man die Minimierung unnötiger Ausgaben bei gleichzeitiger Maximierung des Nutzens der tatsächlich durch die Lösung anfallenden Kosten. Weitere Informationen finden Sie unter Überblick über den Bereich „Kostenoptimierung“ Seite.

Das Pay-as-you-go-Modell von Azure ermöglicht es Ihnen, Kosten zu optimieren, indem Sie Ressourcen skalieren, um die Kapazität bei Bedarf zu nutzen. So können Sie Ihre Kosten effizient verwalten, ohne Ressourcen übermäßig bereitzustellen.
Die Kosten für Qumulo hängen von der Datenmenge auf dem „Azure Native Qumulo Scalable File Service“ und der Leistungsstufe ab. Weitere Informationen finden Sie unter Preise für die skalierbaren Dateidienste von Qumulo für Azure Native.
Die Architektur von Komprise ist auf Skalierbarkeit ausgelegt und ermöglicht parallele Datenflüsse. Wenn Sie mehr Rechenleistung und eine höhere Performance benötigen, müssen Sie lediglich einen weiteren Observer oder Proxy hinzufügen, um Ihren Anforderungen gerecht zu werden, und dabei lediglich die Kosten für die Ressourcen der virtuellen Maschinen berücksichtigen.

Verfügbarkeit

Verschiedene Organisationen können selbst für dieselbe Anwendung unterschiedliche Anforderungen an die Verfügbarkeit und Wiederherstellbarkeit stellen. Der Begriff „Verfügbarkeit“ bezieht sich auf die Fähigkeit der Lösung, den Dienst kontinuierlich auf dem Leistungsniveau bereitzustellen, für das sie entwickelt wurde.

Verfügbarkeit von Daten und Speicherplatz

Die ANQ-Bereitstellung umfasst integrierte Redundanz auf Datenebene, um die Datenverfügbarkeit auch bei einem Ausfall der zugrunde liegenden Hardware zu gewährleisten. Um die Daten vor versehentlichem Löschen, Beschädigung, Malware oder anderen Cyberangriffen zu schützen, bietet ANQ die Möglichkeit, auf jeder Ebene des Dateisystems Snapshots zu erstellen, um zeitpunktbezogene, schreibgeschützte Kopien Ihrer Daten zu erstellen.

ANQ unterstützt die Replikation der Daten auf eine sekundäre Qumulo-Speicherinstanz, die in Azure, in einer anderen Cloud oder vor Ort gehostet werden kann. ANQ ist mit dateibasierten Backup-Lösungen kompatibel, um eine externe Datensicherung zu ermöglichen.

Stabilität und Kontinuität der Dienstleistungen

Je nach Umfang und Kritikalität der zu migrierenden Daten kann unter bestimmten Umständen ein schrittweises Vorgehen sinnvoll sein. Anstatt den gesamten Inhalt Ihres Altspeichers in einem einzigen Vorgang zu migrieren, würde ein schrittweises Vorgehen bedeuten, jeweils einen Workflow nach dem anderen zu migrieren und dabei kleinere, weniger kritische Datensätze zu nutzen, um den Prozess zu entwickeln und zu optimieren, bevor man zu größeren und wichtigeren Daten übergeht.

Ein weiterer Vorteil dieses Ansatzes besteht darin, dass sich etwaige Probleme, die bei einer Migration auftreten können, auf einen einzelnen Workflow oder Datensatz beschränken.