In diesem Blogbeitrag werden die Kompromisse erläutert, die Cloud-Architekten beim Aufbau einer KI-Infrastruktur im Zusammenhang mit der Verwendung herkömmlicher Dateisysteme eingehen mussten. Außerdem wird erklärt, wie Azure Native Qumulo diese Kompromisse löst, indem es die GPU-Laufzeit verkürzt und die Kosten deutlich senkt, ohne dabei Leistungseinbußen in Kauf zu nehmen.
Wenn es um die Durchführung von KI-Vorgängen in großem Maßstab geht, ist es Dateispeicherdiensten nicht gelungen, das Verhältnis zwischen Leistung und Kosteneffizienz zu optimieren. Die Bereitstellung von KI-Workflows direkt auf der Dateispeicherinfrastruktur war bisher unpraktisch, umständlich und wirtschaftlich nicht tragbar.
Heutzutage sind Unternehmen gezwungen, KI-gesteuerte Lösungen zu entwickeln, indem sie Daten aus kostengünstigen Objektspeichern in teure Dateicaches (entweder lokale Festplatten oder zentrale Dateisysteme) übertragen, wo die KI-Rechenaufgaben auf begehrten GPUs ausgeführt werden. Ob Datenerfassung, Vortraining, Produktionstraining oder kontinuierliche Inferenz – die Datenübertragung zwischen den Speicherebenen erhöht nicht nur die Komplexität, sondern verursacht auch zusätzliche API-Transaktionsgebühren.
Ein zweistufiges System mit Dateicaches bedeutet zudem, dass GPUs bis zu 40 % der Zeit damit verbringen, darauf zu warten, dass die Daten aus dem Objektspeicher in den Dateicache geladen werden. Das ist eine Menge verschwendete Zeit für untätige GPUs. Schlimmer noch: Durch die kleineren Caches sind Trainingsdatensätze auf die Größe des lokalen Caches beschränkt, sodass mehrere Ladephasen erforderlich sind, um größere Datensätze wie Bilder und Videos zu verarbeiten.
Azure Native Qumulo (ANQ) fungiert als intelligenter Datenbeschleuniger für den Objektspeicher und führt parallelisierte, vorab abgerufene Lesevorgänge aus, die direkt aus der Azure-Basisinfrastruktur über das Qumulo-Dateisystem an GPUs weitergeleitet werden, auf denen KI-Trainingsmodelle ausgeführt werden. ANQ beschleunigt die GPU-seitige Leistung und eliminiert Ladezeiten zwischen der Objektschicht und dem Dateisystem. Dies verändert die Art und Weise, wie dateibasiertes KI-Training in der Cloud architektonisch gestaltet werden sollte, wie in der folgenden Abbildung dargestellt.
Als Beleg verweisen wir auf unsere neueste Ergebnisse von Spec Storage AI_IMAGE, was belegt, dass die Architektur von ANQ die branchenweit schnellste und kostengünstigste Cloud-native Speicherlösung ist.
Wir erzielten das beste Ergebnis mit einer Gesamtantwortzeit (ORT) von 0,84 ms und Gesamtkosten für den Kunden in Höhe von 400 US-Dollar zum Listenpreis über einen 5-stündigen Burst-Zeitraum. Dies ist bahnbrechend, da unser Burst-Zyklus vollständig auf SaaS-PAYGO-Basis ablief, wobei die Abrechnung endete, sobald die Leistung nicht mehr benötigt wurde. Die meisten anderen Anbieter, darunter auch ein früherer Beitrag mit 700 Aufträgen bei einer ORT von 0,85 ms, kommunizieren ihre Kosten nicht transparent, weil:
Dazu gehört der umfangreiche, nicht skalierbare Einsatz überdimensionierter VMs, die Sie auch nach der Bereitstellung weiterlaufen lassen müssten, um Ihren Datensatz aufrechtzuerhalten.
Sie erfordern ein 1- bis 3-jähriges Software-Abonnement, das Hunderttausende Dollar kostet und auf einer Software-Nutzungsberechtigung basiert, im Gegensatz zu einem PAYGO-Nutzungsmodell.
Diese Behauptungen *klingen* kaum glaubwürdig, daher fragen Sie sich vielleicht:
Was ist an der Architektur von ANQ so besonders, dass sie solch beeindruckende Ergebnisse liefert?
Wie kann Qumulo die Geschwindigkeit eines Ferraris erreichen, mit dem öffentlich ausgewiesener Preis eines zuverlässigen Toyota Corolla?
Heißt das, dass ich endlich Dateispeicher in der Cloud nutzen kann, ohne mich um das Tiering zu Objekten kümmern zu müssen?
Was ist, wenn mein Leistungsbedarf je nach Wochentag oder Woche im Monat stark schwankt?
Drei einfache Faktoren ermöglichen es Qumulo, all diese Fragen zu beantworten und unseren Anspruch als erster moderner Cloud-Dateispeicherdienst selbstbewusst zu vertreten.
Echte elastische Skalierbarkeit ermöglicht es Kunden, sich auf andere geschäftliche und technologische Belange zu konzentrieren, anstatt sich mit der Cloud-nativen Speicherinfrastruktur zu befassen. Die Speicherleistung lässt sich skalieren, sobald der KI-Anwendungsstack dies erfordert, und spart Kosten, wenn kein Bedarf besteht.
Hinweis: Andere Cloud-Dateisysteme scheitern bei dieser entscheidenden Funktion, da sie vorab bereitgestellte „Volumes“ mit fester Kapazität verwenden. Im Grunde genommen unterscheidet es sich nicht wirklich von lokalem Speicher, ist aber weitaus teurer!
Disruptive Preisgestaltung: Qumulo hat sich mit innovativen Lösungen einen Weg zu einer bahnbrechenden Preisgestaltung gebahnt und nutzt dabei die Vorteile der Cloud-Ökonomie; diese Einsparungen geben wir an unsere Kunden weiter. Was daran so bahnbrechend ist? Sie zahlen nur für das, was Sie tatsächlich nutzen.
Die Preisgestaltung ist einfach und basiert auf zwei Faktoren: Speicherauslastung (TB) und benötigte Leistung (Durchsatz und IOPs); ANQ skaliert Leistung und Kapazität dynamisch, sodass keine Ressourcen im Vorgriff auf den Bedarf vorab bereitgestellt werden müssen.
Leistung steigt linear mit zunehmender Arbeitslast. Das Azure Native Qumulo-Dateisystem baut auf der Objektebene auf und erreicht eine durchschnittliche Cache-Trefferquote über alle Cluster hinweg (vor Ort und in der Cloud) von über 95 %! Die Architektur fungiert als Beschleuniger, der parallelisierte Lesevorgänge ausführt, die aus der Objektschicht vorab abgerufen und direkt vom Dateisystem an seine Clients weitergeleitet werden – bei denen es sich beispielsweise um GPUs handeln kann, auf denen KI-Anwendungen laufen. Dieser verwaltete „Beschleuniger“ gewährleistet Skalierbarkeit und Leistung auf der GPU-Seite, ohne dass Ladezeiten zwischen der Objektschicht und dem Dateisystem abgewartet werden müssen.
Lesen Der Cache wird aus einem L1-Cache im Arbeitsspeicher und einem großzügig dimensionierten NVMe-L2-Cache gespeist. Der globale Lese-Cache wird bedarfsgerecht und elastisch erweitert. Aus diesem Grund konnten wir beim Spec AI_IMAGE-Benchmark eine Gesamtreaktionszeit von unter einer Millisekunde erzielen; das System hat den Cache vorübergehend skaliert, um die Leistungsanforderungen zu erfüllen!
Hinter dem Lese-Cache steht das hochoptimierte Machine-Learning-Modell von Qumulo, das vorhersagt, welche Blöcke als Nächstes am wahrscheinlichsten gelesen werden. Das Modell wurde anhand jahrelanger Zugriffsmuster aus über 1 Billion Anfragen trainiert und ruft Daten präzise vorab ab und stellt sie aus dem NVMe- oder L1-Cache bereit.Schreiben Die Transaktionen nutzen die hochleistungsfähigen Azure Managed Disks, die als geschützter Write-Back-Cache für eingehende Schreibvorgänge dienen und diese kontinuierlich in den Azure Blob Storage übertragen. Jede Transaktion wird protokolliert, wodurch sichergestellt wird, dass es in der ANQ-Architektur keinen einzelnen Punkt gibt, an dem Daten verloren gehen können. Dieser Ansatz ist bei Ausfällen von Rechenknoten von entscheidender Bedeutung und bietet eine höhere Ausfallsicherheit als die Architektur einiger unserer Wettbewerber, bei der laufende Schreibvorgänge während Rechenereignissen verloren gehen können.
Unvorstellbar? Wir laden Sie ein, es selbst auszuprobieren. Sie können eine kostenlose 7-tägige Testversion von Azure Native Qumulo einrichten. hier. Mit der Standardkonfiguration können Sie sich einen Überblick über die Funktionen verschaffen, sie verfügt jedoch über eine Sicherheitsbegrenzung der Abrufrate. Wenn Sie mehr Leistung benötigen, wenden Sie sich einfach an hpc-trial-request@qumulo.com.
Möchten Sie mehr erfahren? Laden Sie sich unten unsere Lösungsübersicht herunter.