Ein KI-gestütztes Unternehmensgedächtnis auf AWS mit Amazon Bedrock

Das Support-Team eines Fintech-Unternehmens benötigte täglich insgesamt 72 Arbeitsstunden, um Kundenanfragen zu beantworten. Zwei voneinander getrennte RAG-Systeme auf Basis von Amazon Bedrock verkürzten die Antwortzeit von 7 Minuten auf 45 Sekunden und reduzierten den täglichen Arbeitsaufwand um fast zwei Drittel.

Projektübersicht.


In vielen Unternehmen verbringt das Support-Team viel Zeit damit, relevante Informationen in der Dokumentation zu finden. Diese Informationen werden in der Regel genutzt, um Kundenfragen zu beantworten. Dabei entstehen häufig zwei Probleme:

  1. Längere Wartezeiten für Kunden, bis sie eine Antwort erhalten.
  2. Höherer Zeitaufwand für das Support-Team.

Auch bei unserem Kunden stieg die Zahl der Support-Anfragen stetig an. Dadurch musste das Support-Team immer mehr Zeit für die Bearbeitung aufwenden und war zunehmend überlastet.

Der Kunde

Ein mittelständisches Fintech-Unternehmen, das über seine Plattform Finanzdienstleistungen anbietet. Mit der steigenden Zahl an Kundenanfragen stand das Unternehmen vor immer größeren Herausforderungen.

Das Unternehmen musste also eine wachsende Zahl von Kundenanfragen bewältigen. Zwar wurde das Support-Team kontinuierlich erweitert, doch neue Mitarbeiter benötigten Zeit, um sich das notwendige Wissen anzueignen.

Die Infrastruktur des Kunden

Die Infrastruktur des Kunden lief auf AWS. Für den Betrieb der wichtigsten Anwendungen nutzte das Unternehmen verschiedene AWS-Services, darunter Amazon ECS. Je nach Art der Daten kamen Amazon RDS oder DynamoDB zum Einsatz. Darüber hinaus nutzte das Unternehmen AWS Lambda-Funktionen und einen Application Load Balancer (ALB).

aws architecture lambda ecs rds dynamodb

Für die interne Kommunikation nutzte das Unternehmen hauptsächlich Slack.

Die Herausforderung

Die größte Herausforderung für den Kunden war der hohe Zeitaufwand, den das Support-Team für die Beantwortung von Kundenanfragen benötigte. Insgesamt fielen dafür täglich 72 Arbeitsstunden an.

Kunden stellten häufig Fragen, deren Antworten bereits auf der Website zu finden waren. Viele dieser Fragen wurden beispielsweise schon im FAQ-Bereich beantwortet oder in eigenen Blogartikeln ausführlich behandelt.

Die durchschnittliche Wartezeit für Kunden betrug etwa 7 Minuten, bis sie eine Antwort erhielten. Gleichzeitig musste das Support-Team viel Zeit für die Beantwortung dieser Anfragen aufwenden.

Einige Fragen waren deutlich komplexer und erforderten menschliches Fachwissen. Andere ließen sich nur durch die Suche in internen Dokumentationen und Tools beantworten.

Das Unternehmen sah in einer KI-basierten Lösung die Möglichkeit, diese Situation zu verbessern. Dadurch könnte der manuelle Aufwand im Kundensupport reduziert werden. Gleichzeitig ließen sich die Antwortzeiten für Fragen verkürzen, deren Antworten bereits in der Dokumentation auf der Website zu finden waren.

Dafür benötigte das Unternehmen zwei unterschiedliche KI-Systeme:

  • Designed to answer end-user questions using public documentation.
  • Entwickelt, um Fragen des Support-Teams anhand öffentlicher und interner Dokumentation zu beantworten.

Possible Solutions

One of the customer’s possible solutions was to use OpenAI’s public API. Though this solution sounded plausible, it had several problems. First and foremost, the data would travel through the internet. Secondly, we needed the AI models to have an understanding of the customer’s internal documentation used to answer the questions. To do so, the ideal solution would be to use RAG.

We offered them an alternative solution using Amazon Bedrock for the AI models. We could also use RAG to access the customer’s documentation and provide better results for customer queries.

Amazon Bedrock bot dabei folgende Vorteile:

  • Kundendaten konnten innerhalb der AWS-Umgebung verbleiben.
  • Mehr Kontrolle über Sicherheit und Schutzmechanismen (Guardrails).
  • Nahtlose Integration mit den AWS-Services, die für den Aufbau der RAG-Lösung und die Verbesserung der Antwortqualität benötigt wurden.

openai vs AWS Bedrock

Analyse möglicher Lösungsansätze

Both internal and public documentation could be stored in the same RAG system. The documents could be chunked and stored together.

The metadata.json files in the S3 bucket could be used for logical isolation. For example, documents could have a “public”: true property. This could be used to search only within public documentation. For internal use, the system could search across both internal and public documentation.

Technically, metadata filtering could be used to separate public and internal documentation. However, this would make the application responsible for always applying the correct filter.

We identified a security concern. A mistake in the code could expose internal information to public customers. This information was intended only for the customer support team. Frequently changing code has that risk and we needed better isolation.

So, we decided to use two separate RAG systems.

So, the decision was made to split the two RAG systems. Public customers would use the RAG system designed for end-user queries. The customer support team would use a separate RAG system containing both public and internal documentation.

The Architecture

As the requirements and security concerns were addressed during the analysis, the underlying architecture became clearer.

We would have one S3 bucket where both public and internal documentation will be stored. S3 bucket would have two main prefixes public and internal

  • public to store publicly available information
  • internal to store internal documentation for customer support team

We designed a scraper that would scrape the website and store the information in .txt files. The files contained clean text without HTML and were stored in the public folder. For example, each FAQ question was stored in a separate file. An entire blog post was stored in another .txt file without HTML. This scrapper was an AWS batch job that run daily.

Then, we got access to the internal documentation. It was converted to text files for better chunking and stored in S3 under the internal prefix. We similarly automated the process of updating the internal folder.

aws bedrock rag s3 split

 

Then, we would have two Bedrock Knowledge Bases and two OpenSearch vector databases to store the chunks.

The first Bedrock Knowledge Base would be designed for end users. It would scan only the public prefix.

The second Bedrock Knowledge Base would scan both the public and internal prefixes for the customer support team. As mentioned earlier, the customer support team needed access to both public and internal documentation.

aws bedrock knowledge base sync

Then, we developed an API Gateway that the website bot app can send a request and it would answer end users’ questions from AI. So, end user architecture looked liked this: Lambda invoked semantics search to find relevant information.

bedrock knowledge base API Gateway Architecture

For customer representatives, the architecture was a bit different.

We integrated an AWS Lambda function with Slack. The customer support team used slack to ask questions to get the relevant information to facilitate user queries. The steps were like this.

Internal users send a request through Slack. Slack forwards the request to API Gateway. API Gateway invokes a Lambda function. The Lambda function queries the relevant public and internal data stored in OpenSearch Vector DB.

Overall architecture for that part looks like this:

slack bedrock rag aws

 

Results

After the implementation, the average response time across both AI and customer support dropped from 7 minutes to just 45 seconds.

The customer support team required only 24 hours of work per day in total, representing an almost 3x reduction in time spent handling customer requests.

Onboarding new customer support representatives also became faster. New team members could quickly ask questions in Slack and retrieve relevant information from the company’s documentation. However, they were still expected to verify AI-generated answers when necessary.

aws bedrock rag company brain results
Schlussfolgerung

Overall, AI tools cannot fully replace customer support representatives. However, they can significantly reduce manual work. The right architecture and implementation are key to achieving this.

AI can also make onboarding faster. New customer support representatives can quickly access relevant internal knowledge. This helps them find the information they need more efficiently.