
Um Observability, Zuverlässigkeit und betriebliche Effizienz zu verbessern, haben wir eine zentralisierte Logging-Lösung mit Amazon OpenSearch Service und Fluent Bit sowohl in der Staging- als auch in der Produktionsumgebung implementiert. Diese Lösung zielte darauf ab, Logs aller ECS-Services in Echtzeit zu aggregieren, sodass Entwickler Logs analysieren, Probleme schnell beheben und Sicherheitsgrenzen wahren können.
Problemstellung und bestehende Architektur
Den vorhandenen CloudWatch-Logs fehlten Konsistenz und eine sinnvolle Struktur, sodass sie bei Systemausfällen oder Debugging-Sitzungen schwer zu interpretieren waren. Die CloudWatch-Abfrageoberfläche erschwerte es, komplexe Suchen durchzuführen oder Logs effizient über mehrere ECS-Services hinweg zu filtern. Außerdem waren die Logs auf verschiedene ECS-Tasks und -Services verteilt, ohne eine einheitliche Ansicht.
Jeder Entwickler musste ein Konto in AWS haben, um Anwendungs-Logs in CloudWatch einsehen zu können. Dies stellte folglich ein Sicherheitsrisiko dar, da dafür eine Mindestanzahl von Benutzern Konsolenzugriff auf AWS haben musste.
Objektiv
Das Hauptziel war es, ein skalierbares und sicheres Log-Aggregationssystem aufzubauen, das Folgendes leistet:
– Sammelt Logs direkt aus ECS-Services.
– Überträgt Logs mit minimalem Overhead an OpenSearch.
– Ermöglicht Entwicklern, Logs über OpenSearch Dashboards zu visualisieren und abzufragen.
– Unterstützt eine feingranulare Zugriffskontrolle, ohne die AWS-Infrastruktur offenzulegen.
– Automatisiert Richtlinien für den Index-Lebenszyklus in OpenSearch.
Lösungsarchitektu
Wir haben Fluent Bit als Sidecar-ECS-Service (im DAEMON-Modus) auf Clustern mit EC2-Starttyp bereitgestellt. Auf jedem ECS-Node läuft Fluent Bit, das mithilfe des Log-Treibers „fluent" auf Logs von Anwendungscontainern lauscht. Diese Logs werden an eine in AWS gehostete OpenSearch-Domain weitergeleitet. Die Log-Daten werden von Fluent Bit in einem Zeitreihenformat im Logstash-kompatiblen Format indiziert.
Dank der Migration zu OpenSearch konnten wir Benutzer und Rollen in OpenSearch anlegen, die keinen Zugriff auf AWS benötigten. Diese Benutzer außerhalb von AWS konnten über OpenSearch auf Anwendungs-Logs zugreifen, ohne zwingend Zugriff auf die AWS-Konsole zu benötigen, und sogar ohne AWS-Konto
Wir haben eine Automatisierung der Richtlinien für den Index-Lebenszyklus implementiert, die einen Rahmen für die Verwaltung von Indizes mit minimalem manuellem Eingriff bietet. Diese Richtlinien optimieren die Datenverwaltung über den gesamten Lebenszyklus eines Index, steigern die Effizienz, senken die Betriebskosten und sorgen für die Einhaltung der Data-Governance-Vorgaben, wodurch sich die Datenverwaltungsprozesse vereinfachen.
Umsetzungsschritte
1. Fluent-Bit-Docker-Image mit einer benutzerdefinierten Konfiguration für die Ausgabe an AWS OpenSearch erstellt.
2. Image zur Verwendung in ECS-Task-Definitionen nach Amazon ECR gepusht.
3. ECS-Services mit Terraform definiert, um Fluent Bit im DAEMON-Modus mit angemessenen CPU-/Speichereinstellungen auszuführen.
4. IAM-Rollen und Domain-Richtlinien konfiguriert, damit Fluent Bit sicher in OpenSearch schreiben kann.
5. OpenSearch-Domains sowohl in Staging als auch in der Produktion mit aktivierter feingranularer Zugriffskontrolle bereitgestellt.
6. OpenSearch Dashboards für den Zugriff durch Entwickler eingerichtet.
7. Die Rollen dev-team-role und admin für einen gesicherten Zugriff erstellt und dokumentiert.
Zugriff und Berechtigungen
Um eine robuste Sicherheit und eine angemessene Aufgabentrennung zu gewährleisten, wurden für die Logging-Lösung gezielt IAM-Rollen sorgfältig konfiguriert:
Fluent-Bit-Rolle: Eine dedizierte Rolle namens fluentbit-role wurde erstellt, um Logs an OpenSearch zu übertragen.
Entwicklerteam-Rolle: Eine Rolle namens dev-team-role wurde eingerichtet und in OpenSearch zugeordnet. Diese Rolle gibt Mitgliedern des Entwicklungsteams schreibgeschützten Zugriff auf die Logs sowie die notwendigen Berechtigungen, um Dashboards zu erstellen und zu verwalten, sodass sie das Anwendungsverhalten überwachen können, ohne die zugrunde liegenden Daten oder die Konfiguration zu verändern. Der Zugriff auf die OpenSearch-Konsole wurde nach dem Least-Privilege-Prinzip vergeben, als zentrale bewährte Sicherheitspraxis, damit Teammitglieder nur auf die Funktionen zugreifen können, die sie für ihre jeweiligen Aufgaben benötigen.
Interne Benutzer: Sowohl für die Staging- als auch für die Produktionsumgebung wurden interne Benutzer direkt in OpenSearch angelegt. Diesen Benutzern wurden Rollen zugewiesen, die einen granularen Zugriff auf bestimmte Indizes und Funktionen ermöglichten und so das Prinzip der geringsten Berechtigung weiter durchsetzten.
Dieser mehrschichtige Ansatz für Zugriff und Berechtigungen stellt sicher, dass die Sicherheitslage der OpenSearch-Domain stark und konform mit bewährten Praktiken bleibt, während Logs nahtlos erfasst und zugänglich sind.
Vorteile
Log-Ingestion aus ECS in Echtzeit.
– Zentrale Sicht auf Logs über alle Services hinweg.
– Rollenbasierte Zugriffskontrolle für Entwicklungs- und Betriebsteams.
– Höhere Produktivität der Entwickler beim Debugging komplexer Produktionsvorfälle
– Keine Abhängigkeit von CloudWatch Logs.
– Löscht oder verkleinert alte Indizes automatisch und verringert so die Such-Latenz.
– Skalierbare und kosteneffiziente Observability-Lösung mit nativen AWS-Services.