Use Case EGI#4: Zusammenfassungen
Es ist wichtig, aus vergangenen Daten zu lernen. Daher wäre es eine Effizienzsteigerung, wenn das System eine Zusammenfassung der wichtigsten Punkte aus vergangenen Gesuchen generieren könnte. So sehen User wie die Bearbeitung ähnlicher, vergangener Gesuche bisher verlief. Die weiteren Use Cases rund um den EGI-PoC stellen wir in dieser Blogserie vor.
In einem PoC haben wir eine einfache Lösung umgesetzt, die folgende Schritte umfasst:
- SQL Query zur Abfrage der Stellungnahmen der letzten 100 Gesuche
- Aufbereitung des Prompt Templates
- Senden des Prompts an das LLM (Microsoft phi4)
- Anzeige der erhaltenen Liste in der Applikation
Erfahrungen
- Die Wahl eines passenden Prompts spielt eine zentrale Rolle, damit das Modell die wesentlichen Punkte auflistet.
- Bei sehr grossen Datenmengen im Prompt verlängert sich die Verarbeitungsdauer entsprechend.
- Ein zu umfangreicher Prompt kann das Kontext-Window überschreiten.
- Die effektive Anzahl Tokens lässt sich vorgängig mit dem zugehörigen Tokenizer ermitteln. Ollama gibt im Fall einer Überschreitung des Kontext-Window nur eine Warnung aus und schneidet überflüssige Informationen ab.
- Für grössere Mengen an Stellungnahmen (über dem Kontextfenster) erfolgt die Zusammenfassung idealerweise in mehreren Teilschritten.
- Soll z. B. eine Anonymisierung erfolgen, empfiehlt sich ein separater Verarbeitungsschritt.
- Mehrere Instruktionen im gleichen Prompt führen häufig nicht zum gewünschten Ergebnis.
- Prompts lassen sich mithilfe von LLMs verfeinern. Im PoC optimierte ChatGPT den ursprünglichen Prompt und verbesserte dadurch die Resultate deutlich.
- Instruktionen zu strukturiertem Output befolgt das LLM in der Regel zuverlässig – insbesondere, wenn ein Beispiel im Prompt enthalten ist.
- Vorgaben wie «liefere 5 Resultate» werden dagegen häufig nur ungenau umgesetzt.
Fazit
Ein LLM erstellt Zusammenfassungen in der Regel recht einfach. Die grösste Einschränkung bildet dabei das Kontextfenster, das laufend im Blick bleiben sollte. Zudem erfordert die fachlich präzise Aufbereitung gezieltes Finetuning, damit relevante Inhalte erhalten bleiben und nicht in der Zusammenfassung verloren gehen.
