Analyseplattform CLAIR erzielt 2. Platz beim „Best Data Project Award”

Das Projektteam der Analyseplattform „CLAIR“ unseres langjährigen Kunden Zentrale Stelle Verpackungsregister (ZSVR) ist beim VOICE ENTSCHEIDERFORUM 2022 in Berlin in der Kategorie „Mittelstand“ für den „Best Data Project Award“ mit dem 2. Platz ausgezeichnet worden.

VOICE - Der Bundesverband der IT-Anwender e. V. gilt mit mehr als 400 Mitgliedern als größte Community von Digital-Entscheidern im deutschsprachigen Raum, dient CIOs führender Unternehmen aus unterschiedlichsten Branchen als Netzwerk und fördert den fachlichen Austausch und die Stärkung von IT-Anwenderinteressen.

Die Stiftung Zentrale Stelle Verpackungsregister sorgt für Zahlungsgerechtigkeit beim Verpackungsrecycling

Seit der Einführung des „Gelben Sacks“ und des „Grünen Punkts“ 1993 ist das Prinzip bekannt: Unternehmen, die Verpackungen für den privaten Endverbrauch befüllen und vertreiben, sind auch für deren Recycling verantwortlich und zahlen dafür (die sogenannte Systembeteiligung). Leider gab es zunehmend Trittbrettfahrer, die die gesetzlichen Vorgaben ignoriert haben. Ab 2019 hat der Gesetzgeber im Verpackungsgesetz (VerpackG) die Meldepflicht für die betroffenen Unternehmen verschärft und ein öffentliches Melderegister eingerichtet. Hersteller, also die „Erstinverkehrbringer“ von befüllten Verpackungen, müssen sich im Verpackungsregister LUCID der Stiftung Zentrale Verpackungsregister Stelle (ZSVR) registrieren und regelmäßig angeben, welche Verpackungen in welchem Umfang von ihnen in Umlauf gebracht wurden. Für die anspruchsvolle Datenerhebung, Datenhaltung und Datenanalyse setzt die ZSVR mit der Analyse Plattform CLAIR auf eine mehrstufige BI-Architektur. noventum BI-Berater haben die Entwicklung dieser Plattform maßgeblich mitgestaltet.

Die Zentrale Stelle Verpackungsregister ist das zentrale Überwachungsorgan im Markt der Verpackungsentsorgung. Sie ist eine mit hoheitlichen Aufgaben beliehene Stiftung und damit Bundesbehörde. Die Stiftung steht vor der großen Herausforderung, die eingegangenen Meldungen der Hersteller auszuwerten und bei Minder- oder Nichtmeldung tätig zu werden. Die ZSVR analysiert anhand der ihr zur Verfügung stehenden Daten, ob sich die verpflichteten Unternehmen korrekt registriert haben und überprüft die Information über die im Register gemeldeten Verpackungsmengen. Die ZSVR ist jedoch nicht für den Vollzug zuständig. Im Fall von Verstößen von Unternehmen gegen das VerpackG erarbeitet und übergibt die ZSVR digitale Beweisakten an die zuständigen Landesvollzugsbehörden.

Analyseplattform CLAIR

Die Aufdeckung von Verstößen im Sinne von Nicht- oder Unterbeteiligung und die Aufbereitung und Weiterleitung der digitalen Beweisakten erfordern komplexe Datenauswertungen auf einer beachtlichen Datenmenge. Die gesammelten Informationen müssen höchsten qualitativen Ansprüchen genügen, um auch rechtlich Bestand zu haben.

Um diesen quantitativen und qualitativen Ansprüchen gerecht zu werden und die Aufgaben effektiv und effizient mit einem hohen Maß an Automatisierung wahrnehmen zu können, steht der ZSVR mit der Analyseplattform CLAIR eine leistungsstarke Lösung zur Verfügung, die modernste Technologien und Methoden aus den Bereichen Business Intelligence und Big Data vereint.

Die Gesamtarchitektur der Analyseumgebung ist auf Flexibilität und künftige Nutzungsvielfalt angelegt. Sie besteht aus zwei Kernkomponenten, einem Data Warehouse und einem Data Lake. Im Gesamtkonzept haben beide ihre eigene Rolle und Berechtigung und sind letztlich doch eng miteinander verzahnt.

Grundvoraussetzung für das Gelingen des Vorhabens der ZSVR war die Etablierung einer auf die konkrete Situation zugeschnittenen Data Governance. Die hohen Freiheitsgrade der Architektur sowie die heute noch nicht absehbare Vielfalt der Analysegegenstände erforderten hier besondere Sorgfalt. Am Ende muss die Data Governance das Zusammenspiel aller Architekturkomponenten - klassisches Data Warehouse und Data Lake – wie die Koordination aller beteiligter Rollen im Unternehmen gewährleisten.

BI-Architektur mit Data Warehouse und Data Lake

Für den Aufbau der Data Warehouse-Architektur beauftragte die Stiftung die IT-Management Beratung noventum consulting. noventum steht seit vielen Jahren für anspruchsvolle Business Intelligence und Analytics Projekte auf Basis der Microsoft Data Platform und bekam so den Zuschlag für dieses anspruchsvolle Projekt.

Die auf den Komponenten des Microsoft SQL-Server basierende mehrschichtige Data Warehouse Lösung bietet eine integrierte und konsolidierte Sicht auf die strukturierten Daten unterschiedlicher Herkunft. Primär sind dies die Informationen und operativen Daten des Verpackungsregisters, welche über die Plattform LUCID erfasst werden. Die hochgradig automatisierte und standardisierte Verarbeitung der Daten über die SQL Server Integration Services (SSIS) und die Überführung der Daten in leistungsstarke und vielfältig auswertbare multidimensionale Analysemodelle auf Basis der Microsoft SQL Server Analysis Services Tabular (SSAS) und DAX (Data Analysis Expressions) basierten Kennzahlendefinitionen bilden die Grundlage für umfangreiche Standard- und Ad-hoc-Analysen in Form von paginierten Berichten und Microsoft Power BI Berichten.

Die Realisierung des Data Warehouse Projekts erfolgte in enger Zusammenarbeit zwischen noventum und dem Projektteam der Stiftung. Mangels Erfahrungen mit dem neu in Kraft getretenen Gesetz VerpackG und den sich daraus noch abzuleitenden Analyseanforderungen konnte das Zielszenario zu Projektbeginn nicht vollumfänglich und abschließend abgegrenzt werden, was den Einsatz agiler Projektmanagement-Methoden begünstigte und zur Fortschreitung des Projekts über zwei-wöchige Sprints führte. Der Einsatz bewährter noventum Templates und Standards stellte von Beginn an einen schnellen Projektfortschritt und ein hohes Maß an Qualität sicher und begünstigte den stetigen Wissenstransfer zur Befähigung der ZSVR Mitarbeiter, die Lösung betreiben, warten und weiterentwickeln zu können. Besonderes Augenmerk wurde auf Themen wie Qualitätssicherung, Revisionssicherheit, Data Lineage und Historisierung gesetzt, um im Ergebnis gesicherte lückenlos nachvollziehbare Informationen mitunter aus unterschiedlichen zeitlichen Auswertungsperspektiven (as-is vs. as-was vs. as-of) zu erhalten.

Zusammenspiel von Data Lake und Data Warehouse

Weitere Auswertungsmöglichkeiten ergeben sich durch die zweite Kernkomponente der Analyseplattform, dem Data Lake. Dieser wurde parallel zum Data Warehouse in einem zweiten Projekt entwickelt und nutzt im Wesentlichen die Technologien des Herstellers Cloudera. Der Data Lake ergänzt das Data Warehouse um weitere Datenquellen, Werkzeuge und Methoden aus dem Big Data Umfeld. Insbesondere die Verarbeitung von unstrukturierten Daten und die Anwendung von KI (Künstliche Intelligenz) und ML (Machine Learning) Modellen eröffnet der Stiftung und ihren Data Scientists ganz neue Möglichkeiten. Die Kombination von Data Warehouse und Data Lakes innerhalb der Analyseplattform CLAIR vereint die Vorteile beider Welten und führt darüber hinaus zu Synergien. Der Data Lake baut einerseits auf den im Data Warehouse aufbereiteten strukturierten Daten auf (inklusive aller bereits dort definierten Transformationen und Logiken) und nimmt diese als Grundlage, um in Kombination mit den dort zur Verfügung stehenden unstrukturierten Daten und Verfahren neue Erkenntnisse abzuleiten. Andererseits fließen die operationalisierbaren Informationen aus dem Data Lake über eine Schnittstelle zurück in das Data Warehouse, und bilden letztlich einen erweiterten, ganzheitlichen und integrierten Datenraum, der zahlreiche Analysemöglichkeiten offenbart.

Ein Beispiel für das gelungene Zusammenspiel der Komponenten stellen die in LUCID hochgeladenen PDF Dokumente dar, die mit Hilfe von Text Mining Algorithmen innerhalb des Data Lakes auf Vollständigkeit und Korrektheit überprüft werden. Die daraus resultierenden Erkenntnisse stehen anschließend dem Data Warehouse zur Verfügung und lassen sich zusammen mit den strukturierten Daten umfassend reporten.

Die Analyseplattform CLAIR ist neben dem Verpackungsregister LUCID ein weiterer wichtiger Schritt in Richtung einer digitalen und schlanken Behörde. Rechtlich zu prüfende Daten werden bestmöglich mit gleichbleibend hoher Qualität automatisiert aufbereitet, um den manuellen Arbeitsaufwand für wiederkehrende Verarbeitungs- und Prüfschritte so gering wie möglich zu halten und freie Kapazitäten für gezielte Untersuchungen komplexer Einzelfälle zu schaffen. Die der ZSVR nach VerpackG übertragenen Pflichten werden durch automatisierte Datenverarbeitungs- und Analyseprozesse umfassend unterstützt. Mailings auf Basis standardisierter Analysen tragen zur stetigen Verbesserung der Stammdatenqualität des Herstellerregisters bei, zahlreiche Analysen zur Plausibilitätsprüfung von durch Unternehmen gemeldeten Verpackungsmengen tragen zur Aufdeckung von Unterbeteiligungen bei und die aufbereiteten Analysen werden den Landesvollzugsbehörden über Schnittstellen zugänglich gemacht. Weitere Standardauswertungen dienen der Ermittlung und Veröffentlichung von Marktanteilen der im dualen System tätigen Entsorger.