ECS-Migration, Skalierbarkeit, Pipelines und Kostenoptimierung

Der Kunde wandte sich zunächst mit einem entscheidenden Deployment-Problem an uns, das den Ausgangspunkt für eine umfassendere Zusammenarbeit zur Optimierung seiner Infrastruktur bildete

Projektübersicht.


ecs architecture improved

Viele Unternehmen kämpfen mit Herausforderungen wie langsamer Pipeline-Ausführung, steigenden Kosten für die Cloud-Infrastruktur und Schwierigkeiten, effizient zu skalieren, um wachsende Anforderungen zu erfüllen. In diesem Fall wandte sich der Kunde zunächst mit einem entscheidenden Deployment-Problem an uns, das den Ausgangspunkt für eine umfassendere Zusammenarbeit zur Optimierung seiner Infrastruktur bildete.

Der Kunde

Ein mittelständisches Fintech-Unternehmen. Der Kunde war im Kryptowährungsbereich tätig und bot Finanzdienstleistungen über eine eigene Handelsplattform an. Der Schwerpunkt lag darauf, den Handel mit digitalen Vermögenswerten direkt innerhalb des eigenen Ökosystems zu ermöglichen.

Die Infrastruktur des Kunden

Der Kunde betrieb separate AWS-Konten für die Staging- und die Produktionsumgebung. Jede Umgebung erfüllte einen eigenen Zweck. Das Staging-Konto unterstützte Tests vor dem Deployment, die Validierung von Integrationen und Performance-Benchmarking. Das Produktionskonto hingegen hostete den Live-Anwendungsstack, der Endnutzer bediente und Echtzeit-Workloads verarbeitete.

Der Kunde betrieb seine Infrastruktur auf AWS und nutzte ECS Fargate für die Container-Orchestrierung. Für die Datenspeicherung setzte er auf eine Kombination aus Diensten, darunter Amazon RDS, Amazon DocumentDB (MongoDB-kompatibel) und Amazon ElastiCache for Redis.

Die Anwendung bestand aus mehreren Microservices, die jeweils als eigenständiger ECS-Service bereitgestellt wurden. Die Bereitstellung der Infrastruktur und die Deployment-Pipelines wurden mit AWS Copilot orchestriert.

Zur Unterstützung von Continuous Integration und Continuous Deployment implementierte der Kunde eine AWS-native DevOps-Pipeline, die AWS CodePipeline, AWS CodeBuild und AWS CodeDeploy nutzt.

Die Herausforderung

Die größte Herausforderung war ein kritischer Ausfall der CI/CD-Pipeline, der Deployments in die Produktionsumgebung blockierte. Die Wiederherstellung der Deployment-Fähigkeit hatte oberste Priorität, damit das Entwicklungsteam weiterhin Updates veröffentlichen konnte.

Das Pipeline-Problem resultierte aus der Komplexität, die AWS Copilot mit sich brachte und die zu großen CloudFormation-Stacks führte, welche schwer zu analysieren waren. Nach gründlicher Untersuchung stellten wir fest, dass dem Fargate-Task nicht genügend CPU zur Verfügung stand, um die Anwendung zu starten. Nachdem wir die Task-Definitionen aktualisiert und die CPU-Zuteilung erhöht hatten, war das unmittelbare Problem behoben.

Nachdem wir das Deployment-Problem gelöst hatten, wies der Kunde auf mehrere weitere Anliegen hin. Im Folgenden finden sich einige konkrete Bereiche, die der Kunde uns zur Überprüfung und, wenn möglich, zur Verbesserung vorlegte.

  • Steigende Infrastrukturkosten
  • Lange Ausführungszeit der Pipelines (üblicherweise 1,5 Stunden für einen Deployment-Vorgang)
  • Der Wunsch, die gesamte Cloud-Architektur zu überprüfen und zu verbessern, um Effizienz und Zuverlässigkeit zu steigern.

Um diese Anliegen anzugehen, leiteten wir eine umfassende Überprüfung ihrer Cloud-Infrastruktur ein. Dabei konzentrierten wir uns darauf, Potenziale zur Leistungssteigerung, Kostensenkung und Verbesserung der Gesamtarchitektur zu identifizieren.

Analyse von Pipelines und Cloud-Infrastruktur

Für eine vollständige Bewertung haben wir alle wichtigen Komponenten des AWS-Setups des Kunden überprüft, um Performance-Engpässe, Ineffizienzen und Einsparmöglichkeiten bei den Kosten zu identifizieren. Eine der Projektanforderungen bestand darin, von AWS Fargate auf ECS auf EC2 zu migrieren, was ein Umdenken bei den Deployment-Strategien und der Ressourcenbereitstellung erforderte.

Der Umfang unserer Analyse umfasste:

  • Netzwerk und VPC Konfiguration
  • CI/CD pipelines
  • Datenspeicher (RDS, DocumentDB, ElastiCache)
  • Migrationsplan von ECS Fargate zu ECS EC2
  • CloudFront-Konfiguration und Caching-Strategie
  • AWS CoPilot
  • Möglichkeiten zur gesamtheitlichen Kostenoptimierung

Die bestehende Architektur

Wir haben die Cloud-Infrastruktur des Kunden sorgfältig analysiert. Um den aktuellen Aufbau zu visualisieren, haben wir ein detailliertes Architekturdiagramm erstellt. Dadurch konnten wir alle wichtigen Komponenten, darunter Netzwerk, Compute und Storage, abbilden und ihre Zusammenhänge verstehen. Daraus ergaben sich klare Verbesserungsbereiche. Daher haben wir Änderungen empfohlen, um die Skalierbarkeit zu erhöhen, die Komplexität zu verringern und die Infrastrukturkosten zu senken

legacy aws ecs architecture

 

Laut der Architektur nutzte der Kunde mehrere VPCs, die miteinander kommunizierten. Wir konnten keinen stichhaltigen Grund dafür erkennen, für jeden Service eine eigene VPC zu erstellen, und auch der Kunde hatte keine klare Begründung für diesen Ansatz. Mehrere VPCs erhöhen die AWS-Kosten, da separate Komponenten wie Load Balancer, NAT-Gateways und weitere Netzwerkressourcen benötigt werden, die zu höheren Ausgaben beitragen.

Um die Kosten zu senken und die Architektur zu vereinfachen, haben wir vorgeschlagen, eine neue VPC zu erstellen und alle Ressourcen darin zu konsolidieren. Außerdem haben wir empfohlen, statt ECS Fargate zum Ausführen der Services auf ECS auf EC2 umzusteigen, was mehr Kontrolle bietet und in bestimmten Szenarien, insbesondere in ihrem Fall, kostengünstiger sein kann.

Stand 21. März 2025 unterstützte AWS Copilot die Bereitstellung von ECS auf EC2 nicht. Daher wurde die neue Architektur mit Terraform umgesetzt, um Flexibilität und bewährte Praktiken für Infrastructure as Code sicherzustellen.

Die verbesserte Lösung

Die neu vorgeschlagene Architektur sieht vor, alle Services in einer einzigen VPC zu hosten, die mit ECS auf EC2-Instanzen bereitgestellt werden. Ein einzelner Load Balancer in einem öffentlichen Subnetz verarbeitet den eingehenden Datenverkehr und leitet ihn anhand definierter Bedingungen an die passenden Services weiter.

In einem privaten Subnetz bereitgestellte Services können sich über einen internen privaten Load Balancer direkt gegenseitig aufrufen.

Dieser Ansatz trägt dazu bei, die Kosten für mehrere Load Balancer, NAT-Gateways und VPC-übergreifenden Netzwerkverkehr zu eliminieren, indem alle Services in einer einzigen VPC konsolidiert und bereitgestellt werden. Außerdem kann der Kunde neue Services in dieser VPC bereitstellen, was eine einfachere Verwaltung, bessere Skalierbarkeit und eine effizientere Nutzung der Ressourcen gewährleistet.

Das folgende Diagramm zeigt die vorgeschlagene Architektur und hebt das vereinfachte Netzwerkdesign sowie die Bereitstellung der Services innerhalb einer einzigen VPC hervor.

improved ecs vpc architecture

 

Für die Services wird EC2-ECS anstelle von ECS-Fargate verwendet.

Die Migration wurde mit minimalen Unterbrechungen abgeschlossen. Alle Services – einschließlich Datenbanken, Redis (ElastiCache) und DynamoDB – wurden erfolgreich und ohne Datenverlust in eine einzige VPC migriert.

Auto Scaling wurde sowohl für den ECS-Cluster als auch für einzelne Services implementiert, was eine bessere Ressourcenauslastung und eine höhere Anwendungsverfügbarkeit bei schwankenden Workloads sicherstellt.

Pipelines

Der Kunde nutzte zunächst AWS CodePipeline zusammen mit CodeBuild und CodeDeploy. Nach der Einführung von GitHub Enterprise, das 50.000 kostenlose GitHub-Actions-Minuten bietet, äußerte er Interesse daran, die damit verbundenen Kosten von CodePipeline einzusparen, indem stattdessen GitHub Actions genutzt wird.

Wir haben den CI/CD-Prozess zu GitHub Actions migriert, den Build-Prozess für Container-Images optimiert und die Caching-Mechanismen verbessert – was zu einer schnelleren Pipeline-Ausführung und geringeren Betriebskosten führte.

Die Deployment-Geschwindigkeit verbesserte sich erheblich: Die Dauer sank im Durchschnitt von etwa 1,5 Stunden auf nur 17,5 Minuten

Ergebnisse und Vorteile

Nach der Verbesserung der Architektur und der CI/CD-Prozesse wurden die folgenden Ergebnisse erzielt:

  • 35 % geringere Infrastrukturkosten
  • 2,5-mal schnellere Ausführung von Pipelines
  • Automatische Skalierung bei Verkehrsspitzen
  • Reproduzierbare Infrastruktur mittels Terraform und CloudFormation

Schlussfolgerung

Wir haben die Deployment-Herausforderungen des Kunden erfolgreich bewältigt und seine Cloud-Infrastruktur verbessert. Zunächst haben wir den Ausfall der CI/CD-Pipeline behoben, um die Deployment-Fähigkeit wiederherzustellen. Anschließend haben wir die Cloud-Architektur umfassend überprüft, mit Schwerpunkt auf Performance, Kostensenkung und Verbesserungen der Skalierbarkeit.

Wir haben wesentliche Architekturänderungen empfohlen, etwa die Zusammenführung mehrerer VPCs zu einer einzigen, kostengünstigeren VPC. Außerdem sind wir von ECS Fargate auf ECS auf EC2-Instanzen migriert, um mehr Kontrolle und bessere Skalierbarkeit zu bieten. Die Migration verlief mit minimalen Unterbrechungen. Dadurch profitiert der Kunde nun von einer besseren Ressourcenauslastung und einer höheren Anwendungsverfügbarkeit dank Auto Scaling.

Außerdem haben wir den Build-Prozess für Container-Images optimiert und die Caching-Mechanismen verbessert, was die Deployment-Zeiten erheblich verkürzt hat. Die Ausführungsdauer der Pipeline sank im Durchschnitt von 1,5 Stunden auf nur 17,5 Minuten. Diese Änderungen führten zu geringeren Betriebskosten.

Letztendlich hat unsere Arbeit dem Kunden geholfen, die Infrastrukturkosten um 35 % zu senken, seine Deployment-Prozesse zu straffen und schnellere, effizientere Entwicklungszyklen zu erreichen. Diese Verbesserungen verschaffen ihm eine bessere Ausgangsposition für Skalierbarkeit und künftiges Wachstum.