Big Data Cloud Migration
Hadoop-Cluster zu Amazon Web Services (AWS)

Ein globaler Softwareanbieter für die Reisebranche stand vor der Herausforderung sein Produkt Market Analytics, einer Plattform für Business Intelligence und Analysen für Fluggesellschaften, in eine Cloud zu migrieren. Ziel war es, die Zuverlässigkeit und Flexibilität zu erhöhen, während die Kunden in der Produktionsumgebung keinen Serviceausfall erfahren durften. Neos IT migrierte die Lösung erfolgreich zu Amazon Web Services (AWS), um die charakteristischen Vorteile der Cloud ohne Ausfälle während der Migration zu nutzen.

Ausgangslage

Die Herausforderung, vor welcher der Kunde stand, war von Anfang an klar definiert. Die höchst kritische Market Insights Analytics Suite musste modernisiert werden, ohne das Ausfallrisiko für die Kunden bestand. Das bedeutete, dass alle Analysetätigkeiten für Buchungen und Passagierdaten während der Modernisierung weiter funktionieren mussten. Die Analytik zur Unterstützung reibungsloser Entscheidungsprozesse ihrer Kunden sollte zu keinem Zeitpunkt beeinträchtigt werden.

Herausforderungen

Vor der Modernisierung durch Neos IT lief die Market Insights Analytics Suite des Kunden auf Servern im Rechenzentrum. Dies erforderte intensive Wartungen sowie häufige Hardware-Erweiterungen und -Austausch, für die der Kunde das Geschäftsrisiko tragen und in Vorleistung gehen musste.

Häufige Serviceunterbrechungen wurden durch geplante Wartungen, Kapazitätssteigerungen und Ausfälle verursacht. Die Server wurden mehrmals neu gestartet, was zu Ausfallzeiten für die Kunden, erhöhtem Betriebsaufwand sowie kostenintensiver Wiederaufbereitung der Daten führte.

Als Reaktion darauf entschied man sich für die Einführung einer flexiblen, cloud-basierten Lösung. Ziel war es, die Verfügbarkeit der Plattform zu verbessern und gleichzeitig die Flexibilität zu erhöhen, um durch die steigende Nachfrage zu wachsen, Lastspitzen auszugleichen und die Recheninvestitionen von der ständig wachsenden Datenspeicherung abzukoppeln.

Nachdem Neos IT eine Lösungsarchitektur vorgeschlagen hatte, lieferte das Unternehmen einen Proof-of-Concept. Dies führte letztendlich zu der Entscheidung, die gesamte Lösung in die Cloud zu migrieren.

Lösung der Problemstellung

Anfangs wurde eine tiefgreifende Refaktorierung für cloud-native Dienste zugunsten einer schnellen Implementierung verworfen. Die Cloud-Lösung in AWS verwendete sowohl S3-Speicher als auch EC2-Instanzen, um Hadoop und Cloudera auszuführen. Durch die Abkopplung des Speichers von den Rechnern konnte der Kunde die Rechenleistung verbrauchen, die für die Verarbeitung monatlicher, wöchentlicher oder ungeplanter Analyseaufträge benötigt wurde.

Zuvor erforderte eine Erhöhung der Rechenleistung die Anschaffung von entsprechendem Speicher, was zu kostspieliger Überkapazität, Mangel an Rechenleistung während der Hochzeiten oder beidem führte.

Ein weiterer Vorteil von S3 im Vergleich zu früherer Speicherung war die hohe Verfügbarkeit und Langlebigkeit der Daten. Dadurch entfiel die Notwendigkeit, Daten in mehreren Kopien zu speichern, um die Anforderungen an Backup und Verfügbarkeit gleichzeitig zu erfüllen. Auf der anderen Seite konnte die Rechenleistung flexibler genutzt werden, z. B. durch die Reservierung von Instanzen für Baseline-Workloads, On-Demand für Lastspitzen und Kosteneffizienz bei Spot-Instanzen.

Auch die IT-Sicherheits- und Compliance-Verfahren mussten aktualisiert werden. Im Bereich der Analytik und insbesondere bei der Verarbeitung personenbezogener Daten müssen alle Anstrengungen unternommen werden, um Sicherheitslücken zu vermeiden. In Zusammenarbeit mit dem Sicherheitsteam des Kunden richtete Neos IT eine nahtlose End-to-End-Verschlüsselung aller Daten mit den erforderlichen Sicherheitsstufen ein.