Data Virtuality Logical Data Warehouse – eine Revolution

Data Virtuality Logical Data Warehouse – eine Revolution

Moderne Datenintegrationsstrategien arbeiten nach dem „Best-Fit-Engineering’’-Prinzip, d. h. jeder Teil der Datenmanagement-Infrastruktur nutzt die am besten geeignete technische Lösung, um seine Aufgabe zu erfüllen. Das gilt auch für das Speichern von Daten, das von den Geschäftsanforderungen und den Service-Verträgen abhängt. Im Gegensatz zu Data Lakes stützt sich diese neue Architektur auf ein verteiltes Konzept und richtet die Datenspeicher-Auswahl an der Datennutzung aus. Sie arbeitet mit mehreren Technologien, die jeweils spezifische Aufgaben erfüllen. Ein „hybrider”’ Ansatz kann zudem erhebliche Einsparungen bei Kosten und Bereitstellungszeiten erzielen, wenn Änderungen oder Ergänzungen im Warehouse erforderlich sind.

Ein Begriff für diese neue Architektur ist „Logical Data Warehouse”, eine andere Form des virtuellen Data Lakes. In beiden Fällen gibt es keine zentrale Datenbank. Das Logical Data Warehouse ist ein Ökosystem mehrerer zweckgebundener Datenbanken, Technologien und Tools. Diese arbeiten synergetisch zusammen, um die Datenspeicherung zu verwalten und leistungsfähige Business-Analyse-Funktionen bereitzustellen.

Der ursprüngliche – nicht erfüllte – Anspruch an das traditionelle Data Warehouse bestand darin, Informationen mit einer einzigen Abfragesprache abzurufen, schnelle Abfrageergebnisse zu erhalten und verschiedene, für spezifische Zwecke erstellte Datenmodelle oder -ansichten rasch zusammenführen zu können.  Das Logical Data Warehouse erreicht alle drei Ziele, ohne sämtliche Daten an einen zentralen Speicherort zu kopieren oder zu verschieben. Durch die Kombination des Data-Federation-Konzepts mit der physischen Datenintegration und einer gängigen Abfragesprache (SQL).

Die physische Datenintegration ist eine robuste Funktionalität des Logical Data Warehouses, die für schnell Abfrageergebnisse sorgt. Gleichzeitig wird die Performance vom Quell-Datenspeicher entkoppelt und richtet sich nach der Datenbank des Logical Data Warehouses. Dadurch wird der aufwendige physische Transfer der Daten minimiert und vereinfacht. Lange Verzögerungen während der Datenverschiebung lassen sich dadurch praktisch aus dem kritischen Pfad der Datenintegration entfernen.

In seinem Bericht „Understanding the Logical Data Warehouse: The Emerging Practise” äußerte sich Gartner zu diesem Konzept und verweist darauf, dass es Unternehmen große Flexibilität bietet, die unterschiedliche Datenanforderungen zu unterschiedlichen Zeiten haben. In vielen Fällen sei beispielsweise eine zentrale Datenbank wie ein traditionelles Data Warehouse oder eine Analysedatenbank erforderlich, wo häufig benötigte Daten oder auch die Daten mit der kürzesten Abfragezeit gespeichert und zu Performance-Zwecken optimiert werden können.

Immer häufiger brauchen Analysten die Möglichkeit, Daten bedarfsweise und mit einer angemessenen, garantierten Geschwindigkeit abfragen zu können. Beispiele in diesem Zusammenhang sind die Sentimentanalysen oder Analysen zur Betrugserkennung. Hier ist eine verteilte Technologie wie Hadoop erforderlich, um die riesigen Datenmengen speichern zu können, die von Social-Media-Feeds und Clickstream-Aktivitätsprotokollen generiert werden. Sie erfordern zudem den direkten Zugriff auf Datenquellen via Data Federation. Wie Gartner zutreffend feststellt, benötigen diese Technologien eine übergeordnete logische Schicht. Diese Schicht soll zum einen die Architektur vereinheitlichen und zum anderen ermöglichen, dass Abfragen und Prozesse nach Bedarf auf allen Systemen parallel durchgeführt werden können.

Als erste logisches Data Warehouse stellt Data Virtuality eine solche Schicht bereit. Sie vereinheitlicht die Datenspeicherung und unterstützt die von Gartner genannten Anwendungsszenarien. Da die Abfragen im Hintergrund bedarfsweise an die einzelnen Datenspeicher weitergeleitet werden können, bietet die Lösung von Data Virtuality große Vorteile für Business User. Ein und dieselbe Plattform kann für viele verschiedene Szenarien genutzt werden, sehr viel mehr als beispielsweise bei einem traditionellen Data Warehouse möglich wäre. Auch neue Daten-Integrationsansätze sind möglich, so dass sich die Nutzer primär nach den Unternehmensanforderungen ausrichten und die technologische Plattform bei Bedarf anpassen können.

Durch die Entkopplung der semantisch einheitlichen Datenzugriffsschicht (über die der Nutzer interagiert) von den eigentlichen Datenquellen wird verhindert, dass Änderungen an der ursprünglichen Datenquelle die Analyseprozesse beeinträchtigen. Der endgültige Abschied von alten Datenzugriffsstrategien gestattet die bequeme und einfache Interaktion und ermöglicht dem Nutzer, sich auf sein Ziel statt auf die technologische Basis zu konzentrieren.

Data Virtuality führt relationale und nicht relationale Datenquellen wie beispielsweise Echtzeitdaten zusammen und erlaubt die sofortige Analyse über die Abfragesprache SQL. Data Virtuality ist die Datendrehscheibe, über die ein freier Datenaustausch zwischen allen analytischen oder operationalen Datenquellen möglich ist.

Über integrierte Konnektoren können Daten umgehend durch Analyse-, Planungs- oder Statistiktools verarbeitet oder auch in das Quellsystem zurückgeschrieben werden, je nach Bedarf. Das Logical Data Warehouse passt sich zudem an Änderungen in der IT-Landschaft und dem Nutzerverhalten automatisch an. Und es bietet ein Maximum an Flexibilität und Geschwindigkeit bei minimalen Verwaltungskosten.

In einem Logical Data Warehouse Projekt lassen sich mit wenigen Klick sämtliche datengenerierenden und verarbeitenden Systeme wie ERP- und CRM-Plattformen, Online Shops, Social-Media-Anwendungen und nahezu jede beliebige SQL- und NoSQL-Datenquelle problemlos anbinden – in Echtzeit.

Die Nutzer haben sofort Zugriff auf die Daten und können so langen mit diesen Verbindungen experimentieren, bis sie die gewünschten Ergebnisse erzielen.

Der wesentliche Unterschied zu traditionellen ETL-Lösungen: Beim „Logical Data Warehouse” müssen die Daten zur Analyse nicht bewegt werden. Das spart Zeit und Kosten bei der Entwicklung und der Datenbankstrukturierung. Schnell und flexibel folgt das „Logical Data Warehouse” einem komplett anderen Datenintegrationsansatz als das unflexible traditionelle Data Warehouse.