Aufbau eines Multi-Agenten Systems für einen Versicherungsmakler

Einer Deutschlands größter inhabergeführter Versicherungsmakler und Risikoberater, wollte die Möglichkeiten generativer KI im Kerngeschäft nutzen ohne die hohen Anforderungen an Datenschutz und Datensicherheit zu verletzen.

Statt Public‑Cloud‑Chatbots wie ChatGPT zu verwenden, wurde gemeinsam mit der IT, AI.IMPACT und einer weiteren Beratung eine eigene KI‑Infrastruktur auf Basis von Microsoft Azure aufgebaut. Sie ermöglicht einen isolierten, geschützten Betrieb von LLMs mit Opt‑out vom Training und Integration in die bestehende Funk‑Cloud.Darauf aufbauend entstand der unternehmensweite KI‑Assistant.

In frühen Ausbaustufen lag der Fokus auf klassischem RAG: lange und komplexe Dokumente – etwa Verträge und technische Unterlagen – sollten zuverlässig durchsucht und zusammengefasst werden. Mit wachsender Nutzung wurden die Anforderungen der Mitarbeitenden jedoch deutlich breiter: neben Dokumentenverständnis erwarteten sie Webrecherche, Übersetzung, komplexe Textoperationen und sichere Tabellenanalysen in einem Tool.

Um diese steigende Komplexität beherrschbar zu machen, entwickelte das gemeinsame Team eine Agentenarchitektur mit React‑Agenten und einem Orchestrator‑Ansatz. Zunächst kamen ReAct‑Agenten mit Tool‑Aufrufen zum Einsatz, später wurde auf ein orchestriertes Graph‑Design mit LangGraph umgestellt. Klare Entscheidungsregeln routen Anfragen – etwa Dokumentenanalysen, Webrecherchen oder Tabellenoperationen – an spezialisierte Worker‑Agenten.

So kombiniert die Architektur die Flexibilität agentischer Systeme mit der Transparenz und Effizienz strukturierter Workflows und reduziert gleichzeitig den Token‑Verbrauch deutlich.

Für besonders kritische Anwendungsfälle, etwa die Analyse großer Tabellen, wurde ein eigener ReAct‑Agent entwickelt, der Python‑Code in einer isolierten Sandbox (Pyodide) ausführt. Dadurch lassen sich numerische Berechnungen und Datenvergleiche zuverlässig automatisieren, ohne Sicherheitsrisiken durch frei generierten Code in Produktionssystemen einzugehen.

Weitere Optimierungen – wie der Wechsel von kommerziellen zu selbst gehosteten Embedding‑Modellen, die Nutzung von PostgreSQL mit pgvector statt Azure AI Search und Open‑Source‑OCR mit Docling – senkten die Kosten pro Dokument um mehr als 60 %, bei gleichzeitig stabiler oder besserer Performance.

Aus Perspektive der Organisation wurde schrittweise ausgerollt: kleine Pilotgruppen testeten konkrete Use Cases, während die technische Basis parallel gehärtet und skaliert wurde. Heute bildet das System das Fundament für Dokumenten‑Intelligenz, Tabellenanalysen und wissensintensive Recherchen bei Funk – mit React‑ und Orchestrator‑Agenten, die den Arbeitsalltag der Mitarbeitenden spürbar entlasten und zugleich die hohen Sicherheits‑ und Compliance‑Anforderungen der Versicherungsbranche erfüllen.