Eine Leistungsstarke Cloud-Datenbank in einem Projekt für Respect Energy

Für unseren Kunden, einen Ökostromanbieter, haben wir eine hocheffiziente Lösung auf Basis von Microsoft Azure und Snowflake konzipiert und implementiert. Durch die Kombination dieser Cloud-Technologien konnten Datenoperationen von mehreren Stunden auf wenige Minuten reduziert und die Kosten um fast 30 % gesenkt werden.

Das Bedürfnis

Um Schlüsseldaten für die Entscheidungsfindung auf operativer und strategischer Ebene zu erhalten, bezog der Kunde Daten aus vielen Quellen, die dann an Cassandra, die Basis des Key Value Stores, gingen. Es handelt sich um eine NoSQL-Datenbank, in der Daten und die dazugehörigen Werte in Form von Tabellen und Spalten gespeichert werden, ähnlich wie bei Definitionen in Wörterbüchern oder Inhaltsverzeichnissen. Diese Lösung war nicht zufriedenstellend, da sie keine vollständige Kontrolle über die Kosten des Datenbetriebs ermöglichte (der Kunde zahlte für die Wartung ungenutzter virtueller Maschinen, ineffiziente Abfragen an die Datenbank usw.). Darüber hinaus nutzte es die Digital Ocean Cloud, die nicht den Erwartungen entsprach und nicht alle benötigten Dienste bot.

Die Datenbank war in Bezug auf die Abfragen unzureichend und langsam, und die Überlastung verursachte zusätzliche Kosten. Daher benötigte der Kunde ein effizientes Business Intelligence-Tool in einer Cloud-Umgebung, das seine Erwartungen erfüllen und eine Kostenoptimierung ermöglichen würde. Gleichzeitig hatte er zuvor mehrere Tools verwendet und es vorgezogen, eine Umschulung des Teams zu vermeiden.

Herausforderungen im Projekt

• Prüfung der Möglichkeiten verfügbarer Cloud-Lösungen.
• Organisation der Infrastruktur – Überführung der gesamten Datenbank in die Cloud.
• Aufbau eines Data Warehouse, das die Integration von Daten aus verschiedenen Ebenen und Quellen ermöglicht.
• Nutzung bereits vorhandener Tools und Skripte ohne erneute Schulung der Spezialisten des Kunden.

Lesen Sie auch den Artikel: Nearshore vs. Offshore Softwareentwicklung

Proof of Concept für eine Cloud-basierte Data-Warehouse-Architektur

Wir wollten es dem Kunden ermöglichen, die Kosten wieder unter Kontrolle zu bekommen – zu diesem Zweck beschlossen wir, die Möglichkeiten einer cloud-basierten Architektur zu demonstrieren. Im Rahmen von PoC haben wir einige der Daten und Berichte aus der Cassandra-Datenbank neu erstellt. Basierend auf unseren bisherigen Erfahrungen und zugleich ermutigt durch die positive Einstellung des Kunden, schlugen wir eine Lösungsarchitektur auf Basis der bewährten Microsoft Azure Cloud vor.

Wir bestätigten die Fähigkeiten von Azure als geeignete Umgebung für die Einbettung der Datenbanktechnologie von Snowflake und die Möglichkeit, die Skripte und Tools zu verwenden, die in der Azure-Cloud verfügbar sind. Anschließend führten wir Audit- und Leistungstests durch, die die überlegene Leistung von Snowflake gegenüber Cassandra bestätigten.

Ein Business-Intelligence-Tool mit hoher Leistung

Um die Datensicherheit zu gewährleisten, haben wir den Rest der Cassandra-Datenbank verschoben und die Grundlagen für ein Data Warehouse geschaffen, das letztendlich Daten aus verschiedenen Quellen integriert.

Der Kunde verfügt über moderne Reporting- und Analysetools, mit denen Kosten optimiert werden können. Die Lösung bietet die Möglichkeit, mithilfe von Algorithmen des maschinellen Lernens tiefgreifende Analysen zu erstellen. Die neuen Instrumente erfordern keine Umschulung von Mitarbeitern. Der Kunde setzt nun bereits eigenständig Komponenten wie Docker oder Kubernetes ein, was eine höhere Effizienz bei optimalen Kosten ermöglicht.

Business Intelligence im Projekt: Business Intelligence-Lösung für einen schwedischen Automobilkunden

Vorteile für den Kunden

• Verkürzung der Zeit von Prozessen von wenigen Stunden auf sogar wenige Minuten.
• Ersetzen der Cassandra-Basis durch ein Tool einer ähnlichen Preisklasse, jedoch mit viel höherer Effizienz.
• Eine geordnete Datenstruktur und ein Data Warehouse, das die Integration von Daten aus vielen anderen Systemen ermöglicht.
• Unterstützung und Wissen vom offiziellen Partner von Microsoft, Snowflake, und dem Marktführer für Business Intelligence-Implementierungen in Polen.

Im Projekt verwendete Azure-Cloud-Dienste

Data Factory, Functions, Logic Apps, DevOps, SQL Server, Virtual Machines, Blob Storage, Key Vault

Über den Kunden

Respect Energy bietet grüne Energie an, die zu 100 % aus erneuerbaren Quellen stammt, und arbeitet mit einer Gruppe von über 450 Energieerzeugern in Polen zusammen.