SQL Server 2016 Upgrade verbessert das Data Warehouse bei BRITA signifikant

Das in Taunusstein ansässige Familienunternehmen BRITA, führend im Bereich der Trinkwasseroptimierung und auf allen fünf Kontinenten vertreten, betreibt zur Realisierung seiner vielfältigen kaufmännischen Anforderungen ein komplexes Data Warehouse. Das Upgrade seiner SQL Server Software auf den aktuellen Stand der Version 2016 SP1 erlaubt dem Unternehmen heute, die diversen hinzugekommenen Funktionen der Standard Edition zu nutzen und so mit vertretbarem Aufwand technisch up to date zu bleiben.

noventum consulting und die Weiterentwicklung des BRITA Data Warehouse

Performancesteigerungen durch SQL Server 2016 SP1

Mit dem SQL Server 2016 SP1 hat Microsoft zur Jahresmitte 2016 eine konsistente Programmierschnittstelle über alle Editionen in der relationalen Engine vorgelegt. Damit ist die Standard Edition insbesondere für den Einsatz als DWH eine noch überzeugendere Option geworden.

Viele für das Data Warehousing sehr interessante Funktionen sind mit dieser Version nun in der Standard Edition verfügbar, so z.B. die Komprimierung, mit deren Hilfe Daten transparent für den Benutzer mit wesentlich weniger Speicherplatz abgelegt werden können. Im Ergebnis lassen sich dadurch Festplattenspeicher für das DWH und entsprechende Backups sparen. Je nach konkretem Workload und verwendeter Hardware kann sich dies auch positiv auf die Performance auswirken. Neben der Komprimierung ist auch die Partitionierung in den Funktionsumfang hinzugekommen. Mit ihrer Hilfe ist es z.B. möglich, einzelne Partitionen während der Beladung im DWH auszutauschen und somit die Verfügbarkeit zu verbessern. Hierdurch erhöht sich die Abfrageperformance, die auch durch den Column Store Index gesteigert wird, der nun ebenfalls Teil der Standard Edition ist.

Auch im Bereich von Analysis Services Tabular sind mit dem SQL Server 2016 für viele Kunden relevante neue Funktionen hinzugekommen. So lassen sich Datenmodelle jetzt z.B. mehrsprachig erstellen, so dass Dimensionen, Cubes und Measures mehrsprachig definiert werden können. Zusätzlich bietet die native Unterstützung von Many2Many-Beziehungen neue spannende Möglichkeiten.

Data Warehouse Anforderungen motivieren zum Server-Upgrade

Seit einigen Jahren betreibt BRITA ein Data Warehouse auf Basis von SQL Server 2012 Technologie. In Zusammenarbeit mit dem Beratungsunternehmen noventum consulting konzipiert, ist dieses technische Kernstück das Rückgrat der anspruchsvollen Controlling-Prozesse in der internationalen Unternehmung. BRITA betreibt drei BOARD-Server sowie ein produktives und ein Test-DWH. Es gibt etliche Prozesse wie die Planung und den Monatsabschlussprozess, die eine Verbindung zum DWH erfordern. Ein Großteil der Benutzerzugriffe während des Tages erfolgt aus BOARD.

Insbesondere der erweiterte Funktionsumfang im SQL Server 2016 SP1 war für BRITA eine Motivation für das Software-Upgrade. Viele Funktionen, die ehemals der Enterprise Edition vorbehalten waren, werden heute in der Standard Edition bereitstellt. Zusätzlich hat sich im Bereich von Analysis Services Tabular viel getan, sodass das Upgrade auch in diesem Bereich lohnenswert ist. noventum consulting wurde mit der Umsetzung des Upgrades beauftragt.

Effizientes SQL Server Upgrade durch fachliche Expertise

Das Data Warehouse bei BRITA und die entsprechende Serverumgebung sind maßgeblich mit Unterstützung der Berater von noventum consulting erstellt worden. Mit dieser detaillierten Vorkenntnis ausgestattet konnten noventum und BRITA das Upgrade auf die Version SQL Server 2016 und die notwendigen Anpassungen im System erfolgreich und zügig durchführen.

Die Arbeitsschritte im Einzelnen waren:

Das Infrastruktur Upgrade

• Erstellen eines detaillierten Zeitplans, um den Datenstand und die Verfügbarkeiten der drei Frontend-Server zu kommunizieren. Zusätzlich Abstimmen der Storage- und Compute-Ressourcen, um für den kurzzeitigen Parallelbetrieb nicht in Engpässe zu geraten.
• Aufsetzen eines ersten SQL Server 2016 nach Best Practices von der Formatierung der Festplatte über die Aufteilung der Datenbankdateien bis hin zur Konfiguration der Parameter im SQL Server wie z.B. der Parallelität.
• Durchführen einer technischen Migration, mit der auf Basis eines übernommenen Backups sämtliche Funktionalität innerhalb des DWHs überprüft werden kann. Aktualisierung von einigen hundert SSIS-Paketen inklusive der Theobald SAP-Verbindungen.
• Überprüfung aller Schnittstellen zu anderen Systemen, z.B. zum Frontend-BOARD, einer selbstentwickelten Applikation zum Verwalten von Stammdaten, automatischem Deployment, etc.
• Das DWH ist eng mit SAP verbunden und extrahiert nächtlich Daten aus mehreren Dutzend DeltaQs. Um hier eine fehlerfreie Übernahme zum Cutover zu gewährleisten, wurde mit zusätzlichen logischen Systemen ein Parallelbetrieb für eine Woche durchgeführt und intensiv überwacht.
• Der tatsächliche Schwenk des Testsystems ging dann an einem Tag erfolgreich über die Bühne. Auf Basis der dabei gemachten Erfahrungen konnte der Schwenk des Produktivsystems nachfolgend ohne Einschränkungen in der Verfügbarkeit umgesetzt werden.

Anpassungen

• Neben dem rein technischen Upgrade konnte die Zeit auch genutzt werden, um zusätzlich zu mehreren hundert fachlichen Testfällen automatische technische Validierungen durchzuführen, welche strukturelle Auffälligkeiten im SSIS-Projekt aufspüren, und so zu erhöhter Qualität beizutragen. Auch wurde das Deployment um automatische Konsistenzchecks in der seit 2012 vorhandenen SSISDB erweitert, um damit noch mehr Betriebssicherheit zu erzielen. Die dabei erkannten Auffälligkeiten wurden nach der Migration der Infrastruktur direkt bereinigt.
• Eine große Aufräumaktion bietet oft das Potential für weitreichende Optimierungen. So gab es z.B. schon länger die Anforderung, dass untertätig eines der ca. 30 Themengebiete im DWH einzeln nachgeladen werden könne. Hierfür wurden während des Projektes alle Abhängigkeiten zwischen SSIS-Pakten erhoben und als Metadaten hinterlegt. Ein darauf basierendes, dynamisches Master-Paket wurde erstellt und ermöglicht es nun, untertägig unter Angaben eines oder mehrerer Themenbereiche diese inklusive all ihrer erforderlichen Abhängigkeiten komfortabel durch die Schichtenarchitektur des Enterprise DWH zu laden.

Fazit

Das SQL Server 2016 Upgrade hat das BRITA-DWH signifikant verbessert. Durch die Erfahrungen aus vier Jahren gemeinsamer Projektarbeit am System konnten BRITA und noventum consulting jetzt ein optimales Sizing ermitteln. Die Komprimierung hat einen Großteil des Speicherplatzes freigegeben und dabei auch noch die Beladungsgeschwindigkeit leicht verbessert. Mit den neuen Möglichkeiten von SSAS Tabular legte das Upgrade eine optimale Grundlage für inzwischen erfolgreich durchgeführte SSAS-Projekte.

Besonders erfreulich war es, dass neben der rein technischen Migration auch bestehende Workarounds durch neue Funktionalitäten des SQL Server 2016 ersetzt und historisch gewachsene Inkonsistenzen in SSDT- und SSIS-Projekt bereinigt werden konnten. Teil dieser Aufräumaktion war auch die Erstellung eines neuen dynamischen Master-Pakets, mit dem eine höhere Flexibilität und Wartbarkeit bei der Beladung des DWH erreicht werden konnten.

Technologisch ist das DWH nun fit für die nächsten Jahre. Insbesondere im Tabular Umfeld sind die Ankündigungen für Funktionserweiterungen in SQL Server 2017 allerdings schon so erfreulich, dass das nächste Upgrade wohl noch innerhalb Jahresfrist durchgeführt wird. Dank ausgiebiger und aktueller Installationsanleitung kann dieses Upgrade dann in wenigen Tagen umgesetzt werden.