Generierung von ETL-Prozessen mit BIML

23. Juni 2015 //
Data & Analytics, etl framework

noventum Data Warehouses verfolgen eine einheitliche Schichtenarchitektur

Der Bau von Data Warehouses erlaubt an verschiedenen Stellen den Rückgriff auf standardisierte Elemente. Je nach Projekt gibt es in einigen Schichten einen hohen Grad der Standardisierung während andere durchgängig kundenindividuelle Geschäftslogik beinhalten. Die standardisierten Schichten möglichst schnell und in hoher Qualität umzusetzen, bedeutet für jedes Projekt eine stabile Basis und Motivation für die oft diffizilen Individualaspekte, die im Folgenden zu bearbeiten sind.

noventum Data Warehouses verfolgen eine einheitliche Schichtenarchitektur

ETL-Prozesse für den SQL Server werden als SSIS-Pakete angelegt, dies sind XML-Dateien, die aber nie für die manuelle Bearbeitung konzipiert worden sind. Daher ist es nicht effizient möglich, diese Dateien direkt zu erzeugen. Um diesen Prozess zu erleichtern, gibt es seit einiger Zeit die Business Intelligence Modelling Language (BIML).

BIML nimmt gerade in diesem Jahr stark an Fahrt auf. Die SQL Server-Konferenz im Februar, durchgeführt von der PASS (Professional Association for SQL Server) machte es deutlich. Mit einem eigenen Beitrag zur „metadatengetriebenen Entwicklung mit BIML“ konnte noventum beim PASS-Treffen in Hannover im Mai 2015 das Thema mit einem eigenen Akzent vorantreiben. Der diesjährige SQL Saturday in St. Augustin verspricht vier Vorträge zum Thema BIML.

Was ist BIML?

BIML ist eine Beschreibung von SSIS-Paketen in leserlichem XML-Quelltext. Dies bietet schon erste Vorteile bzgl. Versionierung und Zusammenarbeit. Das ganze Potential der BIML-Idee lässt sich aber erst mit BIMLScript schöpfen. Mit BIMLScript lassen sich BIML-Dateien dynamisch erzeugen. So kann der Entwickler beispielsweise sagen, erzeuge mir fünf Pakete, die jeweils komplett identisch aussehen und lediglich auf einer anderen Quelltabelle basieren.

Was kann dadurch erreicht werden?

Aus einem Quelle-Ziel-Mapping können Metadaten abgeleitet werden, die es erlauben, daraus einen ganzen ETL-Prozess zur Beladung eines DWHs zu erzeugen. Dieser verfolgt, da generiert, selbstverständlich exakt die Namenskonventionen des Projekts. Ein stetig wachsender Werkzeugkasten an hinterlegten Best Practices zur Paketerstellung ergänzt diese Möglichkeiten. Dieses spezielle noventum Know-how umfasst beispielsweise die Beladung aus dem Quellsystem durch Delta-Verfahren oder unterschiedliche Historisierungsverfahren.

Vorteile

BIML erlaubt kürzere Projektlaufzeiten bei der Erschließung neuer Quellen. Es setzt einen Grad der Standardisierung, der die Wartbarkeit des DWHs massiv verbessert. Durch die automatische Erstellung lassen sich für den Kunden Mehrwerte erzielen, die in manueller Umsetzung das Projektbudget überschritten hätten, z.B. im Bereich der Historisierung. Der leserliche XML-Quelltext erleichtert eine Versionierung und damit Zusammenarbeit. BIML erzeugt normale SSIS-Pakete, sodass diese später mit dem SQL Server Data Tools (SSDT BI) betrachtet und ausgeführt werden können. Wenn manuelle Änderungen gewünscht sind, lassen sich diese somit auch umsetzen. BIML ist Teil des kostenlosen SSDT-BI-Plugin BIDShelper, das in allen noventum Projekten zum Einsatz kommt. Es lassen sich damit Pakete für SQL Server-Versionen von 2005 bis 2014 generieren. Einen technischen Einblick in das Thema erlaubt der PASS-Vortrag. Das beschriebene Vorgehensmodell ist bis zum heutigen Tage mit viel Erfolg in entsprechenden Kundenprojekten zum Einsatz gekommen. Dabei erwies sich wiederholt der individuelle Teil als überraschend gering und war mit überschaubarem Aufwand realisierbar.

Road to Azure Data Platform

Sicherheit und eine solide Grundlage
für zukünftige Analytics-Architekturen

Die Fülle an neuen Möglichkeiten in der Azure Data Platform und der stetige Wandel werfen mit Blick auf die eigene Analytics Infrastruktur für viele Unternehmen Fragen auf: Wo lohnt sich ein genauerer Blick? Welcher Trend könnte echten Mehrwert bieten? Welche Technologien würde das Team zukünftig begeistern und uns für neue Bewerber attraktiv machen?

Vielleicht sehen Sie schon Engpässe der eigenen Infrastruktur?