H3C DataEngine MPP verteilte Datenbank

Fortgeschrittene Spalten-Speicherung und Berechnung

In H3C DataEngine MPP wird jede Datenspalte unabhängig in einem kontinuierlichen Festplattenspeicherblock gespeichert. Dies unterscheidet sich grundlegend von herkömmlichen Zeilendatenbanken, die Daten in der Reihenfolge der Zeilen kontinuierlich speichern.

H3C DataEngine MPP unterstützt auch die Latent Decompression-Technologie. Die Optimierungs- und Ausführungsmotoren von H3C DataEngine MPP nutzen die Technologie der Spalten-Berechnung und unterstützen den direkten Zugriff auf nachcodierte Werte in Abfragebedingungen und -assoziierungen, ohne zuerst zu entschlüsseln. Auf diese Weise kann H3C DataEngine MPP die CPU-Kosten während der Datenabfrage erheblich einsparen und somit die gesamte Abfrageleistung verbessern.

Hocheffiziente aktive Komprimierung

H3C DataEngine MPP unterstützt mehr als zwölf Komprimierungsalgorithmen, wie z. B. die Lauflängencodierung, die Deltawertencodierung, die ganzzahlige Komprimierung für ganzzahlige Daten, die Blockwörterbuchskodierung für Zeichendaten und die Lempel-Ziv-Codierung für andere Datentypen.

Das Datenkompressionsverhältnis von H3C DataEngine MPP erreicht in der Regel bis zu 10:1. Aus Sicht der Einsparung von I/O-Ressourcen kann die aktive Komprimierungstechnologie von H3C DataEngine MPP im Vergleich zu herkömmlichen Zeilendatenbanken eine Leistungssteigerung von etwa einer Größenordnung für Analysesysteme mit I/O als Hauptengpässe bewirken. Allerdings unterscheiden sich die Geschäftsdaten von Branche zu Branche stark. Daher unterscheiden sich die Komprimierungsverhältnisse von H3C DataEngine MPP für verschiedene Datentypen.

Einzigartig praktische, freigegebene parallele Masseberechnung und Skalierbarkeit

H3C DataEngine MPP unterstützt die One-Click-Online-Cluster-Erweiterung. Sie können Knoten mit einem Klick hinzufügen und entfernen und die Umverteilung der Daten automatisieren, ohne dass der Skalierungsprozess das laufende Geschäft unterbricht. Alle Knoten im H3C DataEngine MPP-Cluster sind vollständig peer-to-peer und benötigen keinen Master-Knoten, so dass Datenladen, Datenexport und Abfragen parallel auf allen Knoten ausgeführt werden können. Da keine Ressourcenfreigabe möglich ist, können zusätzliche Knoten die Datenkapazität und die Rechenleistung von H3C DataEngine MPP linear erweitern und leicht von mehreren Knoten auf Tausende oder von mehreren TB auf 10 PB skalieren und zusammenschrumpfen, um den Anforderungen des Geschäftswachstums gerecht zu werden.

Geschäftsbasierter hierarchischer Speicher

Im Zeitalter der Big Data werden Daten immer schneller generiert, während Compliance und Deep Mining mehr Daten aufbewahren erfordern, so dass immer mehr Daten in Datenbanken gespeichert werden. H3C DataEngine MPP kann verschiedene Speicherrichtlinien für verschiedene Schema-, Tabellenobjekte und Tabellenpartitionen sowie verschiedene Speicherorten (Speichermedien mit unterschiedlicher Leistung, Kosten und Kapazität) angeben, um die Speicherkosten zu optimieren. Gleichzeitig unterstützt H3C DataEngine MPP auch die Sicherung einiger Tabellen und Tabellenpartitionen in Offline-Speicher sowie die Wiederherstellung von Offline-Speichern, was den Datenaustausch zwischen Online-Speicher und Offline-Speicher erheblich beschleunigt und die Nutzung und den Geschäftswert von Online-Geräten erhöht.

Integrierte automatisierte Optimierung

Der Designer von H3C DataEngine MPP bietet nicht nur ein ganzheitlich optimiertes Design für eine Datenbank oder ein Muster, sondern unterstützt auch inkrementale Optimierungen für bestimmte Abfragen. Darüber hinaus bietet H3C DataEngine MPP einen Lastanalysator zur Sammlung von Datenbank-Betriebslastdaten, um jederzeit Automatisierungsempfehlungen zu liefern. Dadurch werden die Kosten für das DBA-Management erheblich reduziert.

Stabilitätssicherungssystem

H3C DataEngine MPP ermöglicht eine hohe Verfügbarkeit durch die Wartung mehrerer redundanter Datensicherungen. Das H3C DataEngine MPP sorgt dafür, dass redundante Daten auf verschiedenen Knoten gespeichert werden, wodurch eine intelligente Datenspiegelfunktion eingebaut ist. Das H3C DataEngine MPP bezeichnet dies als K-Sicherheit, die sich auf die Anzahl beliebiger Knoten bezieht, die H3C DataEngine MPP tolerieren kann.

Die Zuverlässigkeit des K-Koeffizienten gewährleistet, dass im Falle eines Ausfalls eines beliebigen K-Knotens mindestens eine vollständige Datenkopie im Cluster zur Beantwortung von Datenverarbeitungs- und Abfrageanfragen vorhanden ist. Knotenfehler sind für die Anwendung transparent und unterbrechen das laufende Geschäft nicht. Durch die Anpassung der Anzahl der Kopien redundanter Daten erhält der H3C DataEngine MPP eine Verfügbarkeit, die den Anforderungen unterschiedlicher Anwendungsdesigns gerecht wird.

H3C DataEngine MPP unterstützt nativ Fehlertoleranzgruppen und Rack-Erkennung. Die Datenredundanz von H3C DataEngine MPP ist eine übermäßige Fehlergruppe, und wenn ein Knoten einer Fehlertoleranzgruppe (in der Regel ein Schrank oder sogar ein Bereich, der mehrere Schränke umfasst) ausfällt, können Sie sicherstellen, dass die Daten der gesamten Datenbank noch intakt und gültig sind, um effektiv zu vermeiden, dass massive Hardwarefehler wie Stromausfall die Verfügbarkeit des gesamten Clusters beeinträchtigen.

Maschinelles Lernen in der Bibliothek

Traditionelle Datenanalysesysteme verwenden den Betriebsprozess „Analyse/Mining Request – Submit Data – Analyse/Mining – Show Result“. Das Aufkommen von Big Data macht das Netzwerk zu einem Engpässen und hohe Verzögerungen bei Analyse- / Mining-Aufgaben unerträglich.

H3C DataEngine MPP legt den Schwerpunkt auf der Integration von Analyse-/Mining-Algorithmen in die Datenbank und ermöglicht eine enge Integration von Algorithmen und Daten, um die Echtzeit-Rechenleistung von H3C DataEngine MPP auf der Grundlage von Spalten und MPP-Architekturen zu nutzen, um Analyse-/Mining-Aufgaben effizient durchzuführen.

Neben der gängigen statistischen Analyse und der linearen Regressionsanalyse ist H3C DataEngine MPP auf der Basis von SQL-99 erweitert und bietet erweiterte Analysemöglichkeiten auf der Basis von Zeitreihen, Muster-Übereinstimmungsanalysen und Geoanalysen. Diese Funktionen reduzieren den Aufwand der Benutzer, selbst komplexe Datenanalysen zu entwickeln, erheblich und können Analyseaufgaben in einer Umgebung mit großen Datenmengen durchführen. Gleichzeitig unterstützt H3C DataEngine MPP strukturierte und unstrukturierte Convergence-Analysen und kombiniert die hervorragenden Analysefähigkeiten von H3C DataEngine MPP und Hadoop für strukturierte und unstrukturierte Analysen, um eine effiziente Convergence-Analyselösung zu schaffen.

Kompetenzen entwickeln und erweitern

H3C DataEngine MPP ist sehr kompatibel. Unterstützt die Standards SQL-92/SQL-99/SQL-2003 und bietet ODBC-, JDBC- und ADO.NET-Treiber, die sich einfach in bestehende ETL-Tools wie Informatica, DataStage, Berichtswerkzeuge wie BO, Cognos usw. und Analysewerkzeuge wie SAS, SPASS usw. integrieren können, um bereits bestehende Investitionen zu schützen.

Der H3C DataEngine MPP-Server nutzt einen Linux-Server von X86 und unterstützt die Mainstream-Server von X86 und Linux-Distributionen. H3C DataEngine MPP bietet auch ein SDK für die Entwicklung benutzerdefinierter Funktionen, das den Benutzern ermöglicht, H3C DataEngine MPP als Big Data-Rechenplattform zu nutzen und ihre eigenen einzigartigen Datenanalyse- und Verarbeitungsalgorithmen als Erweiterung über die Sprache C++/R/Java zu H3C DataEngine MPP hinzuzufügen, um die MPP- und Column-Computing-Technologien von H3C DataEngine MPP voll zu nutzen.

H3C DataEngine MPP unterstützt die One-Click-Online-Cluster-Erweiterung. Sie können Knoten mit einem Klick hinzufügen und entfernen und die Umverteilung der Daten automatisieren, ohne dass der Skalierungsprozess das laufende Geschäft unterbricht.

Datenbanksicherheit

H3C DataEngine MPP bietet eine hohe Sicherheit. H3C DataEngine MPP unterstützt verschiedene Authentifizierungsmethoden. Nur autorisierte Benutzer dürfen auf H3C DataEngine MPP zugreifen. Gleichzeitig bietet der H3C DataEngine MPP eine komplette Rollen- und Autorisierungsfunktion, die den Datenzugriff des Benutzers flexibel steuert. Unterstützung für mehrere Mieter und Sandboxen, um das Multi-Mieter-Management-Modell der Datenbank zu implementieren. Das Multi-tenant-Modell ermöglicht die volle Nutzung der Ressourcen verschiedener Mieter/Anwendungen, um die „Peak-Valley“-Zeitdifferenz zu verbrauchen und Ressourcenteile zu ermöglichen.

Darüber hinaus unterstützt H3C DataEngine MPP auch die Sicherung und Wiederherstellungsfunktionen einiger Datenbankobjekte (z. B. Schema, Tabellen) und unterstützt die individuelle Verwaltung von Sicherungsrichtlinien pro Mieter, so dass jeder Mieter den gesamten Lebenszyklus seines Datenobjekts verwalten kann. Die Datenbankobjektsicherung und -wiederherstellungsfunktionen von H3C DataEngine MPP unterstützen die mehrstufige hierarchische Verwaltung von Big Data-Systemen nach Anwendung und Benutzer.

Optimierte Spalten-Speicherung und Berechnung

In H3C DataEngine MPP wird jede Datenspalte unabhängig in einem kontinuierlichen Festplattenspeicherblock gespeichert. Dies unterscheidet sich grundlegend von herkömmlichen Zeilendatenbanken, die Daten in der Reihenfolge der Zeilen kontinuierlich speichern. H3C DataEngine MPP unterstützt die Latent Objectivization-Technologie. Bei den meisten Analyseabfragen ist oft nur eine Teilmenge aller Spaltendaten erforderlich. Der H3C DataEngine MPP-Spaltenoptimisator und die Ausführungsmotor können unabhängige Spalten im Spaltenspeicher überspringen, was einen erheblichen I/O-Ressourcenverbrauch einspart.

Aktive Komprimierung

Im Gegensatz zu anderen Datenbanken, die behaupten, Spaltenspeicher in der rückwärtigen Reihenfolge der Dateneinfügungen zu unterstützen, wählt H3C DataEngine MPP automatisch die geeignete Sortiermethode und den Komprimierungsalgorithmus nach Datentyp, Basis und Abfrageeigenschaften jeder Spalte aus, um den Speicheraufwand der Daten zu minimieren, den I/O-Verbrauch der Abfrage zu verringern und die Abfrageleistung zu verbessern. H3C DataEngine MPP unterstützt mehr als 12 Komprimierungsalgorithmen.

Ohne gemeinsame Parallelrechnung und Skalierbarkeit

Alle Knoten im H3C DataEngine MPP-Cluster sind vollständig peer-to-peer und benötigen keinen Master-Knoten, so dass Datenladen, Datenexport und Abfragen parallel auf allen Knoten ausgeführt werden können. Da keine Ressourcenfreigabe möglich ist, können zusätzliche Knoten die Datenkapazität und die Rechenleistung von H3C DataEngine MPP linear erweitern und leicht von mehreren Knoten auf Tausende oder von mehreren TB auf 10 PB skalieren und zusammenschrumpfen, um den Anforderungen des Geschäftswachstums gerecht zu werden.

Klassifizierter Speicher

Im Zeitalter der Big Data werden Daten immer schneller generiert, während Compliance und Deep Mining mehr Daten aufbewahren erfordern, so dass immer mehr Daten in Datenbanken gespeichert werden. Analyseleistung, hohe Kosten für Hochgeschwindigkeits-Festplatten und hohe Datenkapazitätsanforderungen sind oft widersprüchlich. Die hierarchischen Speicherfunktionen von H3C DataEngine MPP lösen diesen Widerspruch effektiv. H3C DataEngine MPP kann verschiedene Speicherrichtlinien für verschiedene Schema-, Tabellenobjekte und Tabellenpartitionen sowie verschiedene Speicherorten (Speichermedien mit unterschiedlicher Leistung, Kosten und Kapazität) angeben, um die Speicherkosten zu optimieren.

Automatische Optimierung des Designs

H3C DataEngine MPP ist ein integrierter Datenbankoptimierungsdesigner mit Fachwissen. Der Benutzer muss nur ein logisches Muster (Schema) angeben, Beispieldaten laden und typische Abfrage-SQL-Anweisungen liefern, und der Datenbankoptimierungsdesigner von H3C DataEngine MPP entwirft automatisch die horizontale Verteilung der Daten, die Sortierung jeder Spalte und den Komprimierungsalgorithmus basierend auf Expertenwissen, um die Abfrageleistung und die Speichergrößenanforderungen auszugleichen und die Datenbank insgesamt zu optimieren.

Native Cloud-Analyseplattform

H3C DataEngine MPP unterstützt die Trennung von Rechen- und Speicherressourcen in Public- und Private-Cloud-Szenarien, kombiniert mit den hohen Leistungs- und schnellen Skalierungsvorteilen von Shared-MPP-freiem Shared-Speicher, Data-Master-Kopien auf Shared-Speicher, die schnell skalierbar sind und Hot-Daten lokal auf Rechenressourcen, die hohe Geschwindigkeit liefern, während eine flexible Skalierung der Durchsatzkapazität durch "Subclustering" ermöglicht wird, um die Ressourcenverschwendung durch eine übermäßige Anzahl von Cluster-Knoten in Szenarien mit hoher gleichzeitiger Last zu vermeiden.

Ohne geteilte MPP-Architektur: Die parallele Berechnung von Hunderten von Knoten mit H3C DataEngine MPP ist der Schlüssel zur Architektur, um die Big Data-Analyse zu unterstützen, um ausreichende Rechen- und Speicherressourcen zu erhalten. Eine freigegebene MPP-Architektur erfordert keinen gemeinsamen Speicher oder sogar keinen speziellen Master-Knoten, damit sie auf Hunderte von Knoten skaliert werden kann, um Big Data-Analysen zu unterstützen.

Native Unterstützung für hohe Verfügbarkeit: H3C DataEngine MPP bietet eine integrierte hohe Verfügbarkeit, die eine Transparenz für Anwendungen ermöglicht, wenn Knotenfehler im Rahmen der Designverfügbarkeit auftreten, ohne das laufende Geschäft zu unterbrechen. Die Funktionen des H3C DataEngine MPP zur inkrementellen Sicherung und Wiederherstellung sowie zum Sicherung und Wiederherstellung von Datenbankobjekten sorgen dafür, dass Anwendungen im Falle einer Katastrophe schnell verfügbar werden.

Optimierte Spalten-Datenbanken: Der Schlüssel zur Leistung der Big Data-Analyse ist die Beseitigung von Engpässen bei I/O-Ausgaben. Die Kombination von H3C DataEngine MPP-Spalten-Speicher und Berechnung (Spalten-Engine) bietet vollständige Funktionalität, einschließlich Hinzufügen, Löschen und Änderungen, die entscheidend für die Unterstützung leistungsstarker analytischer Abfragen und Instant-Abfragen unter Big-Data-Bedingungen sind.

Die ideale Plattform für die Echtzeit-Analyse von Big Data: H3C DataEngine MPP ist die ideale Plattform für die Unterstützung von Big Data-Echtzeit-Analysen mit leistungsstarken Spalten-Speicher- und Rechentechnologien, unterstützt aktive Datenkompression, erweiterte Analysen, erweiterte Funktionen wie elastische Erweiterung und benutzerdefinierte externe Erweiterung.