ETL Framework – noventum Data Platform Accelerator (nDPA)
Erfahren Sie, wie noventum durch jahrelange Projekterfahrung den Aufbau von Analytics-Lösungen revolutioniert: Automatisierung von Generierung und Orchestrierung für maximale Effizienz
Durch viele Jahre Projekterfahrung haben sich in der noventum Methodik zum Aufbau von Analytics-Lösungen Bereiche herauskristallisiert, in denen sich Automatisierung besonders effektiv nutzen lässt:
Generierung:
Automatisierung bei der Erstellung von ETL-Prozessen: Das manuelle Erstellen von Stored Procedures zum Erstellen einer SCD2 Dimension ist sehr zeitaufwendig und fehlerträchtig. Das Logging, wie viele Zeilen in einem Lauf geschrieben, gelöscht oder aktualisiert wurden, wird oft vernachlässigt, weil es Zeit kostet und der Mehrwert erst bei der Fehlersuche deutlich wird.
Orchestrierung:
Traditionell werden DWHs schichtenweise beladen. Dies sorgt dafür, dass es zu Leerlaufzeiten kommt und die Beladung mancher Tabellen noch nicht startet, obwohl alle Abhängigkeiten bereits erfüllt sind. Die Umsetzung einer Beladung auf Basis von Abhängigkeiten ist allerdings aufwendig und wird daher meist nicht umgesetzt. Gerade in modernen hybriden Data Platforms mit Teilen On-Prem und Teilen in der Azure Cloud kommt der systemüübergreifenden Orchestrierung immer mehr Bedeutung zu.
Die Lösung im Detail
Vor diesem Hintergrund hat noventum den Data Platform Accelerator (nDPA) entwickelt, einen Werkzeugkasten, der obige Funktionalitäten umsetzt und Erfahrungen aus vergangenen Projekten integriert.
Vorteile der nDPA-Generierung
Erzeugung von Stored Procedures zur Beladung innerhalb der Datenbank
Viele Vorteile durch Generierung
Effizienter Code auf Basis langjähriger Erfahrung
Logging Mechanismen (Wann wurde welche Zeile erstellt oder verändert?)
Verarbeitung innerhalb DB und damit u. U. Performance-Verbesserungen zu SSIS
Neue Chancen für das kollaborative Entwickeln mit Azure DevOps und git durch den Fokus auf Stored Procedures und damit SQL Data Tools (SSDT)
Vorteile nDPA-Orchestrierung
Technologieübergreifende Orchestrierung von Azure Data Factory, SQL Server Integration Services und Stored Procedures
Orchestrierung nicht nach Schichten, sondern nach Abhängigkeiten und damit effizientere Beladung
Große Datensätze aufzubereiten und für Analysen zu nutzen, um Verstöße gegen das Verpackungsgesetz aufzudecken: Um das zu erreichen, braucht es digitale Analysetools. Die Firma noventum consulting GmbH ist maßgeblich am Aufbau und der technischen Weiterentwicklung unseres Data Warehouse beteiligt, welches eines der zwei Kernkomponenten unserer Analyseplattform CLAIR darstellt. Besonders hervorzuheben ist zusätzlich die jüngst erfolgreiche Einführung des neuen ETL Frameworks, dem Data Platform Accelerator (nDPA), parallel zur regulären Weiterentwicklung unseres Data Warehouse. Dabei konnte die Quellcodeverwaltung durch eine metadatengesteuerte Stored Procedures Codegenerierung deutlich optimiert, die Verarbeitungsperformance und die Technologieunabhängigkeit erhöht werden. Dies und der gestiegene Standardisierungsgrad haben unsere Data-Warehouse-Lösung auf ein neues Niveau gehoben. Durch die agilen Anpassungsmöglichkeiten und die Zukunftssicherheit dieses Frameworks sind wir in der Lage, flexibler auf sich ändernde Analyse-Anforderungen zu reagieren.
Wolfram Nötzel, CIO Zentrale Stelle Verpackungsregister (ZSVR)
Kunden bestätigen den massiven Performance-Gewinn:
Mittelständischer Hersteller Consumer Products – Ladevolumen 350 Mio. Zeilen – Performance-Gewinn von 2 Stunden auf 30 Minuten
Große deutsche Einzelhandelskette – Ladevolumen 200 Mio. Zeilen – Performance-Gewinn von 1,5 Stunden auf 15 Minuten
Gerne diskutieren wir mit Ihnen die Einsatzmöglichkeiten in Ihrer Umgebung. Innerhalb weniger Tage kann ein "Proof of Concept" die Vorteile vor Ort belegen.
Wenn wir auch für Sie tätig werden können, freuen wir uns über Ihre Kontaktaufnahme.
In der heutigen datengesteuerten Geschäftswelt ist data-driven decision making für globale Unternehmen von entscheidender Bedeutung. Die Sonepar Deutschland GmbH erkennt die Relevanz dieser Herangehensweise und setzt mit Microsoft Power BI auf ein effektives Reporting- und Analysewerkzeug. Als langjähriger Partner von Sonepar hat noventum consulting bereits im Jahr 2018 erfolgreich das zentrale Datawarehouse des Unternehmens neu mitgestaltet und konsolidiert. Nun sind wir in der Zusammenarbeit den nächsten Schritt gegangen: die Implementierung von Power BI zur Verbesserung des Berichtswesens und der Analysen.
Unternehmen erkennen zunehmend die Unumgänglichkeit von Self Service BI (SSBI), doch nicht selten scheitern sie an der Umsetzung und können deshalb die Potenziale nicht voll ausschöpfen.Mit diesem Beitrag wollen wir die folgende Frage beantworten: Welche Faktoren müssen erfüllt sein, damit die Zusammenarbeit zwischen zentraler BI-Organisation und Anwendern in den Fachbereichen – den so genannten „Power Usern“ – funktioniert und beide Seiten voneinander profitieren?
Mit Composite Models erweitert Microsoft das Einsatzspektrum von Power BI für Fachabteilungen in Unternehmen maßgeblich. Für die zentralen Business Intelligence- bzw. IT-Abteilungen entsteht gleichzeitig ein sehr starkes Instrument für Self-Service BI, um die Fachabteilungen unter Berücksichtigung ihrer Governance-Richtlinien mit neuen Freiheiten und Fähigkeiten auszustatten.
Bei noventum beschäftigen wir uns sehr oft mit der Anbindung von SAP-Systemen an Microsoft-basierte Data Platforms. Sowohl auf Azure mit ADF und Azure SSIS oder lokal mit SSIS und oftmals mit XtractIS von Theobald.
Die Königsdisziplin der Datenextraktion aus SAP ist das Anbinden von Daten über SAP BI Content Datasources.
