KI-gestütztes Kundendienst-Cockpit
Ein lokal laufendes Sprachmodell als Assistenzschicht für Support-Teams, ohne Cloud, und die KI entscheidet nie allein
April 2026
Projekt
KI-gestütztes Kundendienst-Cockpit
Verwendete Technologien
Herausforderung
Support-Teams bearbeiten täglich eine große Zahl wiederkehrender Anfragen. Jede Nachricht muss gelesen, eingeordnet und beantwortet werden, ein repetitiver, zeitintensiver Prozess, der bei hohem Volumen schnell zur Engstelle wird und die Konzentration auf die wirklich kniffligen Fälle verdrängt.
Die Idee: ein Assistenz-Cockpit, das eingehende Anfragen automatisch aufbereitet, eine kurze Einschätzung liefert und einen Antwort-Entwurf vorschlägt, als Startpunkt für die Mitarbeitenden, nicht als Ersatz. Sie sollen dadurch schneller und gleichmäßiger arbeiten können, ohne dass ihnen die Entscheidung aus der Hand genommen wird.
Zwei Rahmenbedingungen habe ich für das Konzept von Anfang an als Leitplanken gesetzt:
- Datenschutz an erster Stelle: Die Inferenz läuft auf selbst-kontrollierter Infrastruktur, statt Inhalte an einen fremden LLM-Anbieter zu geben
- Verlässlichkeit statt Schein-Sicherheit: Die KI unterstützt, erfindet aber keine Fakten, und jede Antwort bleibt vor dem Versand in menschlicher Hand
Lösung
Um zu zeigen, dass das Konzept trägt, habe ich es als Prototyp umgesetzt: ein zusammenhängendes System, in dem Mitarbeitende von der Anfrage bis zum Versand in einer einzigen, reaktiven Oberfläche arbeiten. Drei Leitgedanken bestimmen die Architektur.
Aufbereitung in Echtzeit
Neue Anfragen werden im Hintergrund automatisch aufbereitet, sodass beim Öffnen bereits eine kurze Einschätzung und ein editierbarer Antwort-Entwurf bereitstehen. Die Ausgabe entsteht sichtbar im Stream, statt dass Mitarbeitende auf ein fertiges Ergebnis warten.
Selbst-kontrolliert und datenschutzfreundlich
Die KI-Operationen laufen auf eigener Infrastruktur über ein quelloffenes Sprachmodell, statt Inhalte an einen fremden LLM-Anbieter zu geben. Die Inferenzschicht ist bewusst portabel gehalten: lokal auf Apple Silicon (MLX) für Entwicklung und Prototyping, für den Produktivbetrieb konzipiert als GPU-Serving (vLLM) auf selbst-kontrollierter Cloud-Infrastruktur. So bleibt die Verarbeitung in der eigenen Umgebung, Voraussetzung für den Einsatz in sensiblen Kontexten.
Assistenz, keine Automatik
Das Cockpit schlägt vor, ein Mensch entscheidet. Jede Antwort wird vor dem Versand geprüft und freigegeben, und Anpassungen am Vorschlag bleiben nachvollziehbar. Geschwindigkeit und Verantwortung schließen sich so nicht aus.
Strukturierte Ausgaben statt Freitext
Das Sprachmodell antwortet nicht mit losem Text, sondern mit einem JSON-Objekt gegen ein festes Schema: Kategorie, Dringlichkeit, Stimmung, Antwort-Entwurf. Die Ausgabe wird beim Eintreffen validiert: Verletzt sie das Schema, wird der Aufruf mit dem Validierungsfehler im Kontext wiederholt. So wird aus einem probabilistischen Modell ein Baustein, auf den sich der Rest des Systems deterministisch verlassen kann.
Ereignisgetriebene Pipeline
Neue Anfragen stoßen über das native Event-System der Datenbank (LISTEN/NOTIFY) einen Background-Worker an, der die Aufbereitung priorisiert abarbeitet. Das Ergebnis fließt als Server-Sent Events in die Oberfläche. Derselbe Stream wird per tee() gleichzeitig in die Datenbank persistiert. Kein Polling, keine doppelte Inferenz, und die Oberfläche ist immer aktuell.
Sprachgrenzen aufheben: Live-Übersetzung
Eine Ausbaustufe des Konzepts nutzt dasselbe lokale Sprachmodell als Live-Übersetzer: Kundin und Mitarbeiter kommunizieren jeweils in ihrer eigenen Sprache. Eingehende Nachrichten erscheinen live in der Sprache des Support-Teams, ausgehende Antworten werden in die Kundensprache übersetzt, die dabei pro Nachricht erkannt wird, statt fix eingestellt zu sein. Zwei Prinzipien halten das robust: Das Original bleibt immer unverändert führend, Übersetzungen liegen als eigene, gecachte Schicht daneben. Und ausgehende Übersetzungen durchlaufen dieselbe menschliche Prüfung wie jeder andere Entwurf. Da die Inferenz lokal bleibt, verlassen auch hier keine Inhalte die eigene Infrastruktur.
Code-Beispiele
Ergebnisse
Der Prototyp zeigt, dass das Muster durchgängig trägt. Routine wird abgenommen, und der Rücken bleibt frei für die anspruchsvollen Fälle:
- Automatische Aufbereitung jeder Anfrage mit kompakter Einschätzung und Antwort-Entwurf
- Editierbare Entwürfe, mehrsprachig und in unterschiedlichen Tonalitäten
- Selbst-kontrollierte Inferenz (lokal via MLX, skalierbar via vLLM auf GPU), kein fremder LLM-Anbieter, datenschutzfreundlich
- Reaktive Oberfläche mit Live-Aktualisierung statt Warten auf fertige Ergebnisse
- Live-Übersetzung in beide Richtungen: jede Seite liest und schreibt in ihrer eigenen Sprache, das Original bleibt führend
- Mensch-in-der-Schleife: nachvollziehbare Freigabe und Anpassung jeder Antwort
Das Entscheidende bleibt das Zusammenspiel von Mensch und Maschine: Die KI liefert einen guten Startpunkt, die Verantwortung für die finale Antwort bleibt beim Menschen.
Kommentare
Noch keine Kommentare. Mach den Anfang.
Zum Kommentieren meldest Du Dich kurz an: