In vielen Unternehmen verbringt das Support-Team viel Zeit damit, relevante Informationen in der Dokumentation zu finden. Diese Informationen werden in der Regel genutzt, um Kundenfragen zu beantworten. Dabei entstehen häufig zwei Probleme:
- Längere Wartezeiten für Kunden, bis sie eine Antwort erhalten.
- Höherer Zeitaufwand für das Support-Team.
Auch bei unserem Kunden stieg die Zahl der Support-Anfragen stetig an. Dadurch musste das Support-Team immer mehr Zeit für die Bearbeitung aufwenden und war zunehmend überlastet.
Der Kunde
Ein mittelständisches Fintech-Unternehmen, das über seine Plattform Finanzdienstleistungen anbietet. Mit der steigenden Zahl an Kundenanfragen stand das Unternehmen vor immer größeren Herausforderungen.
Das Unternehmen musste also eine wachsende Zahl von Kundenanfragen bewältigen. Zwar wurde das Support-Team kontinuierlich erweitert, doch neue Mitarbeiter benötigten Zeit, um sich das notwendige Wissen anzueignen.
Die Infrastruktur des Kunden
Die Infrastruktur des Kunden lief auf AWS. Für den Betrieb der wichtigsten Anwendungen nutzte das Unternehmen verschiedene AWS-Services, darunter Amazon ECS. Je nach Art der Daten kamen Amazon RDS oder DynamoDB zum Einsatz. Darüber hinaus nutzte das Unternehmen AWS Lambda-Funktionen und einen Application Load Balancer (ALB).

Für die interne Kommunikation nutzte das Unternehmen hauptsächlich Slack.
Die Herausforderung
Die größte Herausforderung für den Kunden war der hohe Zeitaufwand, den das Support-Team für die Beantwortung von Kundenanfragen benötigte. Insgesamt fielen dafür täglich 72 Arbeitsstunden an.
Kunden stellten häufig Fragen, deren Antworten bereits auf der Website zu finden waren. Viele dieser Fragen wurden beispielsweise schon im FAQ-Bereich beantwortet oder in eigenen Blogartikeln ausführlich behandelt.
Die durchschnittliche Wartezeit für Kunden betrug etwa 7 Minuten, bis sie eine Antwort erhielten. Gleichzeitig musste das Support-Team viel Zeit für die Beantwortung dieser Anfragen aufwenden.
Einige Fragen waren deutlich komplexer und erforderten menschliches Fachwissen. Andere ließen sich nur durch die Suche in internen Dokumentationen und Tools beantworten.
Das Unternehmen sah in einer KI-basierten Lösung die Möglichkeit, diese Situation zu verbessern. Dadurch könnte der manuelle Aufwand im Kundensupport reduziert werden. Gleichzeitig ließen sich die Antwortzeiten für Fragen verkürzen, deren Antworten bereits in der Dokumentation auf der Website zu finden waren.
Dafür benötigte das Unternehmen zwei unterschiedliche KI-Systeme:
- Designed to answer end-user questions using public documentation.
- Entwickelt, um Fragen des Support-Teams anhand öffentlicher und interner Dokumentation zu beantworten.
Possible Solutions
One of the customer’s possible solutions was to use OpenAI’s public API. Though this solution sounded plausible, it had several problems. First and foremost, the data would travel through the internet. Secondly, we needed the AI models to have an understanding of the customer’s internal documentation used to answer the questions. To do so, the ideal solution would be to use RAG.
We offered them an alternative solution using Amazon Bedrock for the AI models. We could also use RAG to access the customer’s documentation and provide better results for customer queries.
Amazon Bedrock bot dabei folgende Vorteile:
- Kundendaten konnten innerhalb der AWS-Umgebung verbleiben.
- Mehr Kontrolle über Sicherheit und Schutzmechanismen (Guardrails).
- Nahtlose Integration mit den AWS-Services, die für den Aufbau der RAG-Lösung und die Verbesserung der Antwortqualität benötigt wurden.

Analyse möglicher Lösungsansätze
Both internal and public documentation could be stored in the same RAG system. The documents could be chunked and stored together.
The metadata.json files in the S3 bucket could be used for logical isolation. For example, documents could have a “public”: true property. This could be used to search only within public documentation. For internal use, the system could search across both internal and public documentation.
Technically, metadata filtering could be used to separate public and internal documentation. However, this would make the application responsible for always applying the correct filter.
We identified a security concern. A mistake in the code could expose internal information to public customers. This information was intended only for the customer support team. Frequently changing code has that risk and we needed better isolation.
So, we decided to use two separate RAG systems.
So, the decision was made to split the two RAG systems. Public customers would use the RAG system designed for end-user queries. The customer support team would use a separate RAG system containing both public and internal documentation.
The Architecture
As the requirements and security concerns were addressed during the analysis, the underlying architecture became clearer.
We would have one S3 bucket where both public and internal documentation will be stored. S3 bucket would have two main prefixes public and internal
- public to store publicly available information
- internal to store internal documentation for customer support team
We designed a scraper that would scrape the website and store the information in .txt files. The files contained clean text without HTML and were stored in the public folder. For example, each FAQ question was stored in a separate file. An entire blog post was stored in another .txt file without HTML. This scrapper was an AWS batch job that run daily.
Then, we got access to the internal documentation. It was converted to text files for better chunking and stored in S3 under the internal prefix. We similarly automated the process of updating the internal folder.

Then, we would have two Bedrock Knowledge Bases and two OpenSearch vector databases to store the chunks.
The first Bedrock Knowledge Base would be designed for end users. It would scan only the public prefix.
The second Bedrock Knowledge Base would scan both the public and internal prefixes for the customer support team. As mentioned earlier, the customer support team needed access to both public and internal documentation.

Then, we developed an API Gateway that the website bot app can send a request and it would answer end users’ questions from AI. So, end user architecture looked liked this: Lambda invoked semantics search to find relevant information.

For customer representatives, the architecture was a bit different.
We integrated an AWS Lambda function with Slack. The customer support team used slack to ask questions to get the relevant information to facilitate user queries. The steps were like this.
Internal users send a request through Slack. Slack forwards the request to API Gateway. API Gateway invokes a Lambda function. The Lambda function queries the relevant public and internal data stored in OpenSearch Vector DB.
Overall architecture for that part looks like this:

Results
After the implementation, the average response time across both AI and customer support dropped from 7 minutes to just 45 seconds.
The customer support team required only 24 hours of work per day in total, representing an almost 3x reduction in time spent handling customer requests.
Onboarding new customer support representatives also became faster. New team members could quickly ask questions in Slack and retrieve relevant information from the company’s documentation. However, they were still expected to verify AI-generated answers when necessary.

Schlussfolgerung
Overall, AI tools cannot fully replace customer support representatives. However, they can significantly reduce manual work. The right architecture and implementation are key to achieving this.
AI can also make onboarding faster. New customer support representatives can quickly access relevant internal knowledge. This helps them find the information they need more efficiently.