THINK Blog DACH

Unternehmen stehen bei der Einführung von KI vor noch nie dagewesenen Datenherausforderungen, da die Datenmenge an immer mehr Orten und in immer mehr Formaten wächst. Daten haben das Datacenter verlassen und sind jetzt verteilt im Edge-Bereich, in der Cloud oder On-Premise. Um diese Herausforderungen zu adressieren, müssen Unternehmen Infrastruktur im Rahmen der digitalen Transformation mit innovativen Lösungen modernisieren. Dazu gehört vor allem die Bereitstellung einer konsistenten Anwendungs- und Datenspeicherung in On-Premises- und Cloud-Umgebungen. Damit einher geht auch die Einführung von Cloud-native Architekturen, um die Vorteile der Public Cloud wie Kosten, Geschwindigkeit und Elastizität zu nutzen. Dieser Wandel konnte nur durch neue Speicherarchitekturen eingeleitet werden: SDS - Software Defined Storage.

Softwaredefinierter Speicher (Software-Defined Storage, SDS) hat sich über Jahre hinweg kontinuierlich verbessert und bietet heute eine Vielzahl von Vorteilen gegenüber traditionellen Speicherarrays - einschließlich extremer Flexibilität und Skalierbarkeit, die sich gut für moderne Anwendungsfälle wie generative KI oder Cloud- und Edge Computing eignet.

Was sind die Vorteile von SDS?

• SDS ist in der Regel so konzipiert, dass es auf jedem Industriestandard- oder x86-System läuft, wodurch die Abhängigkeit der Software von proprietärer Hardware entfällt.  
• Es ist kosteneffizient. SDS ist verteilt und Kapazität und Leistung können unabhängig voneinander angepasst werden.
• Es können eine Vielzahl von Datenquellen miteinander verbunden werden, um die Speicherinfrastruktur aufzubauen. Es können heterogene Speicherlandschaften miteinander vernetzt werden, um eine einheitliche Speicherlandschaft zu schaffen.
• SDS kann sich sehr einfach an geänderte Kapazitätsansprüche oder Workloads anpassen. Moderne SDS Technologien skalieren faktisch linear- das bedeutet, dass mehr Speicher durch einfaches Hinzufügen weiterer SDS-Knoten ergänzt wird. Die SW sorgt dabei für eine automatische Datenintegration. Übrigens sind SDS Systeme heute auf Enterprise Niveau - was das Thema Ausfallsicherheit und Verfügbarkeit betrifft!

Eine Lösung die auch für KMUs interessant ist

Mit IBM Storage Ceph bietet IBM eine Lösung bei der Speicherressourcen von der zugrunde liegenden Standard Hardware abstrahiert werden, was eine dynamische Zuordnung und effiziente Nutzung des Datenspeichers ermöglicht.

Die Plattform stellt Datei-, Block- und Objektspeicherservices im richtigen Maß auf Hardware nach Industriestandard bereit.[1] Vereinheitlichte Speicherung bietet Unternehmen eine Brücke von traditionellen Anwendungen, die in einem unabhängigen Datei- oder Blockspeicher ausgeführt werden, zu einer gemeinsamen Plattform, die diesen und Objektspeicher in einer einzigen Appliance umfasst.

IBM Ceph ist für Single- und Multisite-Implementierungen optimiert und kann effizient skaliert werden, um Hunderte Petabyte an Daten und Milliarden von Objekten zu unterstützen[2], was für traditionelle und neuere generative KI-Workloads von entscheidender Bedeutung ist.

Datenwachstum und Trends

Im Bericht Top Trends in Enterprise Data Storage 2023 erklärt Gartner, dass „bis 2028 große Unternehmen ihre unstrukturierte Datenkapazität an ihren lokalen, Edge- und Public-Cloud-Standorten verdreifachen werden, im Vergleich zu Mitte 2023.“[3] Die Verbreitung unstrukturierter Daten, wie Text, Bilder und Videos, stellt eine große und vielfältige Quelle für das Training von KI-Modelle bereit.

Da bis 2028 70 % der Datei- und Objektdaten für die Implementierung auf einer konsolidierten Speicherplattform für unstrukturierte Daten vorhergesagt werden (gegenüber 35 % im Jahr 2023),[4] benötigen Unternehmen laut demselben Gartner-Bericht eine Speichermanagementlösung, die in der Lage ist, Datenaufnahme, Datenbereinigung und -klassifizierung, Metadatenmanagement und -erweiterung sowie cloudbasiertes Kapazitätsmanagement und -implementierung wie softwaredefinierten Speicher zu beschleunigen. Dies macht Ceph auch ideal für Unternehmen, die ihre eigene „Private-Cloud“ Storagelösung im Datacenter einsetzen um Speicher einfach, skalierbar und flexibel wie in der Cloud zu konsumieren. Ceph unterstützt dies u.a. durch sehr hohe Object S3-Konformität, einfaches Management und Skalierbarkeit.

Die Plug-and-play-Architektur von IBM Storage Ceph vereinfacht die Integration in vorhandene Infrastrukturen, einschließlich verschiedener Plattformen, Cloudumgebungen, Hypervisoren, Open-Source-Datenrepositorys wie Apache Iceberg oder Apache Parquet und vollständiger Lösungsstacks wie watsonx.ai, watsonx.data und anderer. Neue Knoten oder Einheiten können nahtlos zum Cluster hinzugefügt werden, ohne dass Unterbrechungen oder Serviceausfallzeiten auftreten. ​Sie bietet eine einfache und effiziente Möglichkeit für Kunden, ein Data Lakehouse mit watsonx.data und anderen KI-Workloads der nächsten Generation zu erstellen.

„Bei Snap wird unsere Anforderung, immer mehr Daten zu speichern, immer größer. Wir brauchen eine Plattform, die schnell skaliert werden kann, unsere Performance-KPIs erfüllt und gleichzeitig kosteneffizient ist. IBM Storage Ceph ist die Plattform der Wahl mit ihrer einfachen skalierbaren Architektur, der einfach zu verwaltenden Schnittstelle und der kosteneffizienten softwaredefinierten Bereitstellung. Erstklassiges Fachwissen und Unterstützung von IBM ist ein weiterer wichtiger Teil unserer Entscheidung, IBM Storage Ceph für eine so kritische Komponente unseres Unternehmens zu verwenden.“ – Snap Inc.

Schneller Datenzugriff mit NVMe über TCP

Im letzten Jahr hat IBM mehrere wichtige Aktualisierungen für Ceph eingeführt, einschließlich zuletzt IBM Storage Ceph 7.0. Diese Ceph-Plattform der nächsten Generation bereitet sich auf NVMe/TCP-Funktionen vor, die so konzipiert sind, dass sie eine schnellere Datenübertragung zwischen Speichereinheiten, Servern und Cloudplattformen ermöglichen, indem sie die Merkmale für geringe Latenz und hohe Bandbreite des traditionellen NVMe beibehalten. Dies macht sie für Anwendungen geeignet, die einen ultraschnellen Speicherzugriff erfordern, wie z. B. Datenbanken.

NVMe/TCP kann Ceph helfen, die Lücke für traditionellen Blockspeicher mit Scale-out-Architekturen zu schließen. Mit NVMe/TCP wird Ceph für die Integration mit Plattformen wie VMware konzipiert, um Unternehmen bei der Replikation von Cloud-Architekturen in ihrem eigenen Rechenzentrum zu unterstützen.

Zusätzliche neue Features in Ceph 7.0:

• SEC- und FINRA-Konformitätszertifizierung für WORM mit Objektsperre zur Aktivierung der WORM-Konformität für Objektspeicher
• NFS-Unterstützung für CephFS-Dateisystemzugriff für nicht-native Ceph-Clients
• Weitere Details zu Funktionen finden Sie hier in der IBM Storage-Community.

Schnellere Wertschöpfung

IBM hat auch die Bereitstellung für Ceph einfacher denn je gemacht. Mit IBM Storage Ready Nodes for Ceph kann die Plattform als komplette Software- und Hardwarelösung implementiert werden und in einer Vielzahl verschiedener Kapazitätskonfigurationen bereitgestellt werden, die für die Ausführung von IBM Storage Ceph-Workloads optimiert sind.

Weiter Informationen zu IBM Storage Ceph.