Recently in Datenintegration Category

In den Apps werden vordefinierte Workflows, Prozessschritte und Business Regeln zur Lösung einer bestimmten Aufgabenstellung gebündelt und Kunden zum Download und Nutzung mit der Software bereitgestellt. Wissen aus Datenqualitätsprojekten wird so expliziert und zur Wiederverwendung durch Anwender freigegeben.
Das Konzept ergänzt als umfassendere Bündel die wiederverwendbaren Objekte, die heute schon mit dem Produkt geliefert werden, z.B. zur Validierung von E-Mails oder Prüfung einer Steuernummer.
Interessant ist der Einsatz der Apps als Starthilfe für Themen wie Data Governance, Product Data oder Risk & Compliance um den Kunden eine erste Idee zu vermitteln wie gewisse Problemstellungen gelöst werden können.

Die Apps sind in einem zentralen Online Repository gespeichert und können über das Web für den registrierten Trillium Kunden durchsucht und heruntergeladen werden. Eine Suche nach Branchen, Funktionen, Daten-Domänen usw. vereinfacht die Navigation. Nach Speicherung der App auf der eigenen Festplatte können die kostenlosen Objekte in die Trillium Lösung importiert und sowohl durch in der Datenqualitäts- als auch Datenanalysekomponente genutzt werden. Eine vollständige Unterstützung der Apps ist ab Version 13 der Trillium Software System Lösung gegeben. Partiell werden einige Objekte auch in früheren Releaseständen unterstützt. Die Qualität der Apps wird durch ein App-Team sichergestellt, dass Apps aus den Projekterfahrungen heraus generiert. Auch Kunden haben die Möglichkeit die Bibliothek um eigene Module anzureichern. Diese würden dann vor der Bereitstellung im Online Portal einen Kontrollprozess durch das App-Team von Trillium durchlaufen. Eine wesentliche Herausforderung dabei ist auch die Dokumentation der Inhalte der Apps.

Sicher werden Datenqualitätsprobleme nicht durch Herunterladen und Integration vordefinierter Objekte allein gelöst. Der Ansatz verspricht allerdings eine Steigerung der Entwicklungseffizienz bei der Entwicklung von Datenqualitätsprozessen durch die Wiederverwendbarkeit von best-practices und vordefinierten Prüfroutinen oder -regeln.

Einschätzung TrilliumApps durch BARC:

• Innovative und logische Erweiterung des Wiederverwendungskonzeptes in der Trillium Lösung eröffnet Möglichkeit die Entwicklungseffizienz zu erhöhen und damit die Projektdurchlaufzeiten zu reduzieren
• Der Erfolg des Konzeptes hängt ab vom Umfang und Qualität der angebotenen Apps. Die Bibliothek umfasst derzeit rund 100 Apps und bietet Potential zur Erweiterung. Die zeitnahe Etablierung der TrilliumApps im deutschsprachigen Markt ist fraglich aufgrund einer oft festgestellten Community-Trägheit.
• Die Chance liegt im schnellen Zugriff auf neue „DQ-Bausteine“ ohne dass neue Software-Updates installiert werden müssen.
• Wir schätzen einen hohen Nutzen für Kunden durch eine kostenlose „Starthilfe“ für neuartige Projekte, als auch durch die Lieferung von best-practices für typische DQ-Prozesse.
• Zu evaluieren bleibt die Eignung der Apps für sowie der tatsächliche Anpassungsaufwand an die individuellen Prozesse im Unternehmen.

Weitere Informationen zu Trillium und weiteren Datenmanagementlösungen in der BARC Studie Data Warehouse und Datenintegration.

Uniserv bietet zahlreiche Technologien und Anwendungen rund um das Spezialgebiet Datenqualitätsmanagement an. Der Data Quality Service Hub als Bündelung dieser Anwendungen wird nun durch ein ergänzendes Angebot einer Datenintegrationslösung zu einer Datenmanagement-Plattform zusammengeführt. Statt einer (wenig sinnvollen) Eigenentwicklung der Datenintegrationsfunktionen hat sich Uniserv für die Lizenzierung des auch als Open Source angebotenen Produktes Talend Open Studios entschieden. Damit werden Datenintegrationsfähigkeiten von Talend mit Datenqualitätsmanagement-Technologien von Uniserv im Produkt Uniserv Data Management Plattform verbunden, was ein deutlich attraktiveres Angebot für breitere Einsatzszenarien ergibt. Uniserv ist hier nicht der erste Anbieter, der dem Markttrend folgt, kann aber auf ausgereifte und etablierte Technologien und Werkzeuge zurückgreifen und stellt Datenqualität in den Mittelpunkt seines Datenmanagement-Ansatzes. Uniserv hat noch einen weiteren Trumpf im Vergleich zu vielen Wettbewerbern: eine große Bestandskundenbasis, die wahrscheinlich positiv auf diese Erweiterung der Möglichkeiten reagieren wird.

Es sind überwiegend Technologien für Datenintegration und Datenqualitätsmanagement aber auch Datenspeicherung, die in den letzten Jahren zu Plattformen zusammengeführt wurden. Teils durch Weiterentwicklung der Werkzeuge aus einem Bereich, häufig aber auch durch Übernahmen anderer Anbieter und ihrer Lösungen. Dieser Trend begann 2002, als der Datenintegrationsspezialist Ascential (2005 von IBM gekauft) die Datenqualitätsspezialisten Vality und MetaGenix übernahm. Viele weitere Konsolidierungen dieser Art waren in den Folgejahren zu verzeichnen, unter anderem übernahm Group1 die Firma Sagent, Trillium kaufte Avellino, Informatica schluckte Similarity und Business Objects verleibte sich First Logic und Fuzzy Informatik ein. Die Entwicklung hält an: Erst kürzlich stellte der größte deutsche Spezialist für Datenqualitätslösungen, die Pforzheimer Uniserv AG, die Erweiterung seiner Produktpalette um Datenintegrationsmöglichkeiten (von Talend) vor.

Der Nutzen von Datenmanagement-Plattformen für den Anwender liegt in der Reduktion der Anzahl an Anbieter und (bei gelungener Integration) auch an Werkzeugen für die unterschiedlichen Datenmanagement-Aufgaben. Dies hat Vorteile bei Lizenzkosten, Wartungsgebühren, Einarbeitungs-/Schulungsaufwänden und Kosten der Unterhaltung von Schnittstellen zwischen Systemen. Häufig erwähnt sind Verkürzungen von Entwicklungszeiten durch eine aufgabenübergreifende Wiederverwendbarkeit von bspw. DQ-Regeln aus der Datenanalyse in der Bereinigung oder dem ETL-Job. Mehr Transparenz und eine bessere Nachvollziehbarkeit gewährleistet die zentrale Sicht auf fachliche und technische Zusammenhänge und Begriffe sowie für den Betrieb. Erst kürzlich wies die Studie „Next Generation Data Integration“ (TDWI 2011) die Bündelung von Technologien mehrere Anbieter in einer Plattform als Hauptgrund für den Wechsel von Datenintegrationswerkzeugen aus – was noch einmal zeigt, dass dieses Thema für Anwender einen hohen Stellenwert hat und tatsächlich Kaufentscheidungen beeinflußt.

Composite wird als Middleware-Komponente eigenständig eingesetzt, aber auch in einigen Business-Intelligence-Lösungen als OEM-Komponente mit angeboten. Composite bietet dann ergänzende Möglichkeiten des flexiblen Datenzugriffs auf unterschiedliche Datenquellen direkt aus dem Frontend. Im Gegensatz zum herkömmlichen ETL-Ansatz müssen diese Daten nicht erst in eine neue Datenbank integriert und repliziert werden, sondern stehen dank der logischen Integration vergleichsweise schnell zur Verfügung. Composite Komponenten finden sich in den Angeboten von IBM Cognos, MicroStrategy, Informatica, PitneyBowes, SAS und weiteren.

Typische Einsatzbereiche für Föderation im Business-Intelligence-Kontext umfassen:

• Erweiterung eines bestehenden Data Warehouse Schemas um neue Datenquellen, bevor diese physisch in das Data Warehouse integriert werden (können).
• Aufbau von virtuellen Data Marts für ein bestehendes Data Warehouse.
• Kurzfristige Verbindung von Datenquellen zur Befriedigung von ad-hoc Anfragen, z.B. nach einem Merger von Unternehmen zur Kombination von Daten aus mehreren Data Warehouses.
• Ersatz eines Data Warehouse in Fällen, wo die einfache Integration von Daten performant möglich ist, ohne dass Anforderungen an Transformation und Historisierung von Daten oder die Überführung in ein komplexeres Schema bestehen.
• Erweiterung von Master Data Hubs um Stammdaten aus Datenquellen, die (noch) nicht in den Hub integriert wurden.

Vorteile des Föderationsansatzes sind insbesondere der sehr schnelle Zugriff auf (neue) Datenquellen, da nur Metadaten definiert werden müssen und die hohe Flexibilität bei der Änderung des Zugriffes.
Nachteile des Föderationsansatzes umfassen eingeschränkte Transformationsmöglichkeiten und damit eingeschränkte Möglichkeiten der Datenqualitätssicherung und –verbesserung während der Integration und keine Historisierung von Daten, da nur ein Ad-hoc (Real-Time) Zugriff realisiert wird.
Eine besondere Herausforderung des virtuellen Ansatzes ist der Zugriffsschutz von Daten. Trotz rollen-basierten Berechtigungskonzepten bis hinunter auf Datensatzebene ist der Funktionsumfang an Datenzugriffseinschränkungen eines BI-Anwenderwerkzeuges teilweise nur schwer durch den virtuellen Ansatz abbildbar. Vor allem an dieser Stelle lohnt sich ein detaillierter Blick.

Eine ausführliche Beschreibung und Bewertung der Composite Lösung steht in der BARC-Studie „Data Warehousing und Datenintegration“ bereit.

Scarus kann inzwischen 50 Installationen von Komponenten der DataQualitySuite aufweisen, die aus vier Kernprodukten besteht:
- intelliSearch für fehlertolerante Suche von Datensätzen in Datenbanken oder Applikationen
- intelliCleaner für Duplettenbereinung und Adressdatenmangement
- intelliData Quality Monitor für Profiling, Standardisierung und Reporting von Datenqualität (integriert auch HumanIT InfoZoom zur Verdichtung und Analyse der Daten)
- intelliIntegration Server zur Programmierung von Datenintegrations- und einfachen Transformationsfunktionen für die Konsolidierung und Harmonisierung der Daten

Insgesamt eine moderne und spezialisierte Suite an Datenqualitätslösungen mit einem Fokus auf Stammdatenqualität. Unterstützt werden unterschiedliche Domänen, angefangen bei Geschäftspartner-/Adress- über Materialdaten bis hin zu Patientendaten. Die Erkennung von Dubletten in Adressdatenbeständen ist sprachübergreifend möglich. Dazu steht ein einfach zu verstehendes, grafisches Werkzeug zur Verfügung (wahlweise im Web oder als Programm), welches den Nutzer durch den gesamten Bereinigungsprozess bis hin zur Bildung eines „goldenen Datensatzes“ leitet. Die Themen Berichtswesen für DQ-Metriken und Data Profiling sind nach unserem Eindruck noch nicht umfassend abgedeckt, aber insgesamt bietet Scarus eine Suite, welche die Hauptaufgaben eines Datenqualitätszyklus adressiert.

Ein häufiges Problem in der Modellierung von Data Warehouses oder Data Marts ist die Einbeziehung der Fachanwender. Die Herausforderung liegt in der Übersetzung der fachlichen Inhalte in ein IT-taugliches Datenmodell. ER-Diagramme oder auch spezielle, für dimensionale Modelle entwickelte Notationen wie ADAPT weisen durchaus Grenzen in der direkten Verständlichkeit auf.
PMOne setzt in seinem Modellierungs- und Data-Warehouse-Generierungswerkzeug OneMind die Idee um, Modelle nicht nur in MindManager oder Freemind anzuzeigen, sondern diese Werkzeuge auch direkt für die Modellierung zu nutzen. Die erstellten Modelle werden dann in das Modellierungswerkzeug importiert und dort weiterverarbeitet. Auch umgekehrt können Modelle mit Testdaten in Mind-Maps oder Excel mit Pivot-Navigationsmöglichkeiten sofort gezeigt werden. Zusätzlich sind auch Berichtsprototypen implementiert, die dem Anwender schon einmal einen ersten Blick auf ein Ergebnis in Berichtsform geben können. Die enthaltenen Berichtstemplates und erstellten Prototyp-Berichte basieren auf Microsoft SQL Server Reporting Services und können weiter verwendet werden. Damit ergibt sich eine Erleichterung und Beschleunigung für die projektseitige Umsetzung der Berichte.
Die Modellierung konzentriert sich auf dimensionale Modelle und basiert auf der Kimball-Modellierungsmethode. Die logischen Modelle werden in Star Schemen in Microsoft SQL Server Analysis Services Cubes umgesetzt. Die Verbindung zu Daten in Staging-, ODS- oder 3. Normalform Data-Warehouse-Layern muss dann individuell hergestellt werden. Reverse Engineering von Datenmodellen in Datenbanken ist ebenfalls umgesetzt. Das Werkzeug funktioniert ausschließlich mit dem Microsoft SQL Server. Microsoft als eher technisch orientiertes Werkzeug kann durch diese Ergänzung um eine fachlich Kommunikationsmöglichkeit und schnelle Prototyperzeugung erweitert werden. Ein Ausbau zu einem kompletten ETL-Framework für SQL Server ist geplant.

Weiterführende Links
OneMind Homepage
Einen ähnlichen Ansatz, etwas umfassender und nicht ganz so Fachanwenderorientiert verfolgt User Driven Warehouse von Ascention

Mit der Akquisition ist der Datenintegrationsspezialist Informatica vom Portfolio her gesehen als Datenintegrationsplattform sehr umfassend aufgestellt und reiht sich in eine Riege mit Microsoft, Oracle, SAP, IBM oder SAS (DataFlux) ein, die schon MDM-Produkte im Portfolio anbieten. Informatica legt seinen Fokus bei der Datenintegration schon lange nicht mehr nur allein auf die analytische Datenintegration, sondern positioniert sich ebenso im operativen Umfeld. Die Integration der MDM-Lösung schafft damit Potentiale für Einsatzszenarien wie Stammdatenabgleich ergänzend zur Datenintegration im B2B-Umfeld (bsp. Stammdatensynchronisierung in einer Wertschöpfungskette) aus einem Werkzeug heraus.

Die Integration in die Informatica Lösung soll „recht einfach“ in Kombination mit der seit 2008 integrierten Lösung „Identity Resolution“ geschehen, die bereits einen ersten Ansatz für das Stammdatenmanagement lieferte. Letztendlich komplettiert die Siperian-Technologie die Informatica Plattform um eine Infrastruktur zur Umsetzung eines multi-domänen Stammdatenmanagement. Die Lösung bedient über Adressdaten hinaus unterschiedliche Entitäten in Unternehmen, insbesondere Produktstammdaten. Herausforderungen und Chancen bietet die Integration der Datenqualitätsfunktionen von Informatica mit dem Stammdatenmanagement, denn beide Themen sind untrennbar miteinander verbunden.

Informatica hat sicher gut daran getan sich mit der Technologie eines Marktführers im Bereich Stammdatenmanagement zu ergänzen, um seine Position als führender Spezialist für Datenintegrationsplattformen zu halten. Stammdatenmanagement ist ein aktuelles Thema und wird sicher in den kommenden Jahre zunehmend an Aufmerksamkeit gewinnen.
Neben den etablierten Infrastrukturanbietern IBM, Oracle, Microsoft und SAP mit entsprechenden Lösungen kommt Konkurrenz neuerdings auch von der ersten Open-Source-Lösung für Stammdatenmanagement vom Datenintegrationsspezialisten Talend.

Die RTM Realtime Monitoring GmbH ist einer der ersten CEP-Anbieter in Deutschland und geht auf ein von der Deutschen Forschungsgemeinschaft (DFG) gefördertes Projekt an der Philipps-Universität Marburg zurück. Im Rahmen des Projekts wurden bereits 2003 Technologien und Grundlagen zur effizienten Datenstromverarbeitung erforscht, welche in die Entwicklung des RTM Analyzer eingeflossen sind. Das Unternehmen wurde 2007 gegründet und ist eigentümergeführt.

RTM Analyzer ist eine Art Java-Baukasten für Echtzeitanalyselösungen, bestehend aus verschiedenen Standardbausteinen für CEP-Anwendungen (z. B. SQL-Interface, Pattern Matcher, Live-Dashboards), die anforderungsgetrieben konfiguriert und miteinander ge-koppelt werden. Über ein flexibles Adapter-Framework zur Anbindung verschiedener Da-tenquellen können Prozessdaten in Echtzeit in den RTM Analyzer integriert werden. Die der Datenanalyse zugrunde liegende Verarbeitungslogik (wie etwa zeitliche und inhaltliche Filterung, Korrelation, Gruppierung und Aggregation von Daten) kann mittels kontinuierlich ablaufender SQL-Anfragen ähnlich zum bekannten JDBC-Framework abgesetzt werden. Im Gegensatz zu klassischen Datenbankanfragen berücksichtigen die kontinuierlichen Anfragen die Spezifikation und Auswertung zeitlicher Zusammenhänge, wie zum Beispiel gleitende Zeitfenster oder die Erkennung von Ereignisfolgen (Pattern Matching). Für den Fall, dass sich die Verarbeitungslogik im Vorfeld nicht exakt spezifizieren lässt, besteht zusätzlich die Möglichkeit, verschiedene Data-Mining- (sog. Stream-Mining-) Verfahren zur Erkennung von Trends, Mustern und Ausreißern anzuwenden. Analyseergebnisse zur operativen Prozesssteuerung werden live in Management Cockpits visualisiert, in Datenbanken abgelegt oder an externe Applikationen weitergeleitet. Alternativ können auch Prozesse automatisiert angestoßen werden, bspw. über die Integration in eine BPM-Suite.

Technisch zentrale Komponente der Lösung ist die in Java abgebildete CEP-Engine, welche Algorithmen zur Echtzeitdatenverarbeitung vorhält und die vorab spezifizierte Verarbeitungslogik ausführt. Die Analyse einströmender Datenobjekte (bspw. Messwerte, Datensätze etc.) erfolgt direkt auf den Datenströmen mittels spezieller Online-Algorithmen, die ihre Ergebnisse und ihren internen Status inkrementell berechnen. Eine explizite Zwischenspeicherung in einer Datenbank ist für die Verarbeitung nicht notwendig. RTM Analyzer kann so mehrere hunderttausend Events pro Sekunde verarbeiten. Neben Echtzeitdaten kann in Datenbanken gespeichertes historisches Wissen in die Datenanalyse mit einbezogen werden.

RTM Analyzer ist letztlich eine flexible Java-Softwarebibliothek für CEP, die einfach in bestehende IT-Landschaften und Softwarelösungen integriert werden kann, um plattform- und systemübergreifend Live-Auswertungen der Prozessperformance vorzunehmen. Die Lizenzierung der Lösung erfolgt anhand benötigter Bausteine, welche projektabhängig und kundenspezifisch kombiniert werden. Ein schrittweiser Ausbau initialer Lösungen ist somit möglich.

CEP ist heute häufig nur unter Experten ein Begriff. Nichtsdestotrotz bietet die Technolo-gie großes Potenzial für die Zukunft. RTM Analyzer ist eine interessante und innovative Lösung zur Echtzeitdatenanalyse und operativen Überwachung von Prozessen, welche in verschiedenen Bereichen, in denen kurzfristige Informationen zur Prozesssteuerung benötigt werden, einen großen Mehrwert liefern kann (bspw. Produktion, Finanzsektor, Telekommunikation etc.). RTM Analyzer kann so eine interessante Speziallösung sowohl für Endkunden als auch für Softwarepartner im Bereich Prozessorientierte BI sein, welche auf der Suche nach einer flexiblen, leistungsfähigen CEP-Engine für ihre Softwarelösung sind.

Vitria Technology ist seit 1994 ein spezialisierter Anbieter für Business Process Management. Seit ca. einem Jahr bietet Vitria eine neu entwickelte Produktfamilie für 'Operational Intelligence' unter dem Namen M3O an. Ziel der Lösung ist nicht nur wie traditionelle EAI- oder BPM-Lösungen eine Prozessautomatisierung zu ermöglichen, sondern auch stärker Ereignisse (Events) auszuwerten. Ereignisse werden hier nicht nur als Auslöser für Prozesse, sondern auch als Informationsträger verstanden, die in Zusammenhängen analysiert werden und auch bestimmte Reaktionen auf Ereignisse erwirken können.
Gegenstand der Lösung ist die Überwachung (Visibility) und Analyse (Insight) von Prozessen, um letztlich auch Aktionen anzustoßen. Das "Operational Intelligence"-Angebot von Vitria bietet somit mehr als die reine Überwachung von Prozessen (Business Activity Monitoring – BAM). Informationen können zusätzlich auch aus Prozess-externen Informationsquellen in der ebenfalls in der Lösung enthaltenen Complex Event Processing (CEP) Engine verarbeitet werden. Dort werden Ereignisse aus verschiedensten Quellen erfasst, verarbeitet und Zusammenhänge regelbasiert identifiziert. Metadaten- und Ereignisdatenspeicher unterstützen die Analyse, um Kontext- und Historiendaten verfügbar zu haben.
Ein weiteres Ziel der Lösung ist, die in jedem Prozessmanagement erforderliche Zusammenarbeit zwischen Fachbereich und IT zu vereinfachen. Hierzu wird auf fachanwendergeeignete Anwendungsumgebungen und ansprechende Ausgabeformate Wert gelegt, z. B. in Web-basierten Dashboards auf Flash-Basis oder einer visuellen Definition von Prozessen. M3O wird auch als Mietmodell in der Amazon Cloud angeboten, um Investitionshürden zu senken.
Insgesamt eine interessante Neuentwicklung mit moderner Technologie, welche die Aufgaben systemübergreifende Prozessüberwachung, -analyse aber auch das Feedback in die Prozesse adressiert. Vitria M3O kann so ein wesentlicher Baustein in einer prozessorientierten BI-Lösung sein.

Weiterführende Links
Die Computerwoche hat heute einen Beitrag zu Prozessorientierter BI von Christian Fuchs und mir veröffentlicht.