Use Case EGI#2: Unterstützung bei fachlichen Fragen
Wie können komplexe, rechtliche Fragen rund um den EGI schnell und fundiert beantwortet werden – ganz ohne manuelle Recherche? Mit einem RAG-basierten digitalen Assistenten! Im Rahmen eines Proof of Concept haben wir genau das umgesetzt: Ein Hilfeassistent, der Auskünfte zu gesetzlichen Vorgaben und relevanten Dokumenten im EGI-Kontext liefert – zuverlässig, effizient und stets aktuell. Die weiteren Use Cases rund um den EGI-PoC stellen wir in dieser Blogserie vor.
Der PoC fokussierte auf einen konkreten Anwendungsfall: Ein Hilfeassistent soll Fragen zu gesetzlichen Rahmenbedingungen und Dokumenten im Kontext des EGI beantworten.
Aufgrund von Zeit- und Komplexitätsfaktoren wurde dieser Anwendungsfall priorisiert und mit einem OpenAI-Assistenten umgesetzt. Der grosse Vorteil:
- Alle benötigten Informationen lagen als frei zugängliche Dokumente vor.
- Die Kombination aus dokumentenbasiertem Wissen und generativer KI liess sich somit effizient und realitätsnah testen.
- Über eine einfache Oberfläche konnten Dokumente hochgeladen, ein Prompt definiert und der Assistent direkt evaluiert werden.
Wie funktioniert eigentlich ein RAG-System?
Einen kompakten Überblick über das Zusammenspiel von RAG, Wissensgraphen und agentenbasierten Ansätzen bietet dieses Video mit Gihan Liyanage – ideal, um die Grundlagen und Potenziale besser zu verstehen.
Ein RAG-System kombiniert klassische Informationssuche mit generativer KI. Der Ablauf lässt sich in drei zentrale Schritte gliedern:
1. Dokumente indexieren
Zuerst werden die relevanten Dokumente – in diesem Fall Verordnungen – in kleinere Textabschnitte (Chunks) zerlegt. Dieser Prozess nennt sich Data Splitting.
Die Chunks werden anschliessend mithilfe eines Embedding-Modells in Vektoren umgewandelt und in einer Vektordatenbank gespeichert. Damit ist das Wissen aus den Dokumenten maschinenlesbar und suchfähig verfügbar.
2. Fragen stellen und passende Inhalte finden
Stellt ein Nutzer eine Frage, wird auch diese in einen Vektor umgewandelt. Dieser wird genutzt, um ähnliche Vektoren (Chunks) aus der Datenbank zu finden – das ist der «R» für Retrieval.
Ein vordefiniertes Prompttemplate kombiniert die ursprüngliche Frage mit den passenden Chunks – das ist der «A» für Augmentation.
Der resultierende Prompt wird dann an ein Sprachmodell (LLM) gesendet, welches eine Antwort generiert – der «G» für Generation.
3. Antworten aufbereiten
Neben der eigentlichen Antwort kann der Assistent zusätzlich die genutzten Quellen und Dokumentlinks anzeigen – ein entscheidender Mehrwert für Transparenz und Nachvollziehbarkeit.
RAG Pain Points und Solutions
Die Beschreibung oben zeigt die Grundlogik eines RAG-Systems. Es fehlen bewusst einige Details wie z.B. Query Rewriting und Reranker. In der Realität ist der Aufbau oft deutlich komplexer und an einigen Stellen gibt es Optimierungspotential.
Einen tieferen Einblick in potenzielle Fehlerquellen und Lösungsansätze bietet dieser lesenswerte Artikel.
