TownBot Römerswil: untrainiert und pflegeleicht

Warum geistert noch immer die Idee herum, dass man einen Bot trainieren soll/muss/kann oder gar will?

Trainieren ist ein Begriff, der im Zusammenhang mit machine learning zentral ist und auch bei der Entwicklung von Sprachmodellen essenziell bleibt. Aber warum begegnet man immer wieder Personen und Institutionen, die einen Chatbot trainieren wollen? Wir haben dies sogar kürzlich als Anforderung bei einer öffentlichen Ausschreibung gelesen. Möchte man tatsächlich in veraltete Technologie investieren und einen auf machine learning basierenden Chatbot anschaffen? Wahrscheinlicher scheint, dass nicht bekannt ist, dass man vorhandene grosse Sprachmodelle nur nutzt und nicht selber trainiert. Man könnte zwar z.B. GPT3.5 nachtrainieren, der Nutzen rechtfertigt den immensen Aufwand hierfür in der Regel jedoch nicht, weshalb sich das auch nicht durchgesetzt hat. Ein eigenes Sprachmodell trainiert nur, wer sehr viel Kapital investieren und einen ganz spezifischen Nutzen erzielen will. Dies ist zumindest in Verwaltungen weder der Fall noch notwendig. Ich habe noch keinen „trainierten“ Bot gesehen, der bessere Ergebnisse liefert als ein Bot basierend auf GPT4 oder GPT4o und RAG. Hinzu kommt allerlei Ungemach, falls man den Chatbot in irgend einer Art "trainieren" oder "manipulieren" möchte. Will man sich innerhalb der Verwaltung in jedem Einzelfall darüber streiten, welcher Webseiteninhalt durch den Bot anzuzeigen ist und welcher nicht? Wer entscheidet, ob die Perspektive der Abteilung X oder die Perspektive der Abteilung Y auf ein Thema vom Bot kommuniziert werden soll? Wer prüft jede einzelne vom Bot gelieferte Antwort darauf hin, ob sie verbesserungswürdig sein könnte oder ob sie genügt? Wer entscheidet aufgrund von welchen Kriterien eine Korrektur? Die Kommunikationsabteilung oder die Fachabteilung? Und wie organisiert man das? Konflikte innerhalb der Verwaltung und Frust beim Nutzer des Chatbots sind vorprogrammiert. Ethische Fragen ebenfalls. Und an die Anschaffungs- und Betriebskosten eines solchen Bots möchte ich gar nicht erst denken.

Ein einziger allgemeingültiger Prompt und ein „Merkblatt“ reichen aus, um den Bot zu individualisieren

Wir jedenfalls bauen Chatbots, die nicht trainiert werden. Wir bauen keine zusätzlichen Biases in den Bot ein. Insofern ist unser Bot neutral, objektiv und transparent weil vollständig algorithmusgesteuert. Selbstverständlich kann der Bot für individuelle Bedürfnissen angepasst werden. Wie wir das für den TownBot Römerswil gemacht haben:

1. Im Prompt, dem allgemeingültige Regeln mitgegeben werden (wie zum Beispiel: priorisiere in deiner Antwort neue vor alten Dokumenten).
2. Weiter haben wir eine Liste mit einer Hand voll FAQs (ähnlich einem Merkblatt für neue Mitarbeitende) erstellt, die der Bot bei jeder Anfrage zu konsultieren hat. Hier werden Schwächen des Sprachmodells und vereinzelte gemeindespezifische Eigenheiten abgefangen.

Beispiele:

• Die Schulen von Römerswil haben eine eigene Webseite. Bei Fragen rund um die Schulen soll der Bot generell auf diese Webseite verweisen.
• Eine der häufigsten Fragen an die Gemeindeverwaltung lautet: wie und wo kann ich mich anmelden? Nun, auf der Webseite einer Gemeinde gibt es eine Vielzahl von Aktivitiäten, für die man sich anmelden kann. Vom Kaffeekränzchen über die Tagesbetreuung für Kinder bis zur Teilnahme an einem Ausflug. Wir müssen dem Bot also mitteilen, dass anmelden üblicherweise bedeutet, sich bei Zuzug in der Gemeinde anzumelden.
• Es gibt Schweiz- und sogar Luzernspezifische Begriffe und Konzepte. Im Kanton Luzern musste bis vor ein paar Jahren ein Wuhraufseher bestimmt werden. Vielleicht kennst du diesen Begriff bzw. die Aufgaben eines Wuhraufsehers, wenn du Luzerner/in bist. Ausserhalb des Kantons Luzern ist dieser Begriff unbekannt – genauso unserem Sprachmodell. Also müssen wir dem Sprachmodell diese Information mitgeben.
• Römerswil erstellt jährlich ein pdf mit einer Auflistung der gesamten Entsorgung. Wann ist Müllabfuhr, was wird wann eingesammelt, was kann wo entsorgt werden? Diese Liste kann das Sprachmodell nicht fehlerlos lesen und interpretieren. Also helfen wir in diesem Einzelfall weiter: der Bot wird angewiesen, auf die Seite mit entsprechendem PDF zu verweisen.

Damit erschöpfen sich unsere Eingriffe in den TownBot. Alles andere ist generisch und vollständig automatisiert. Dies bedeutet, dass unser TownBot sehr schnell, effizient und kostengünstig gebaut werden kann und im Betrieb kaum Pflege braucht – konkret werde ich Anfang Januar den Link auf oben erwähnte Entsorgungs-Liste aktualisieren müssen (sogar das könnte man noch automatisieren). Fertig. Der Rest läuft automatisch: tägliches Crawlen der Webseite, Vektorisieren der neuen Inhalte, bereinigen des Index und Testing laufen automatisch ab.

Wie befragt man einen Chatbot am besten?

Wir stellen fest, dass wir selber und Dritte immer wieder in die gleichen Fallen beim Befragen von Chatbots tappen. Hier spreche ich nicht von ChatGPT (obwohl auch dort ähnliches passieren kann), sondern von mit RAG erstellte ChatBots. Also Chatbots, die auf einen spezifischen Wissenskorpus zugreifen, wie eben zum Beispiel der TonwBot Römerswil, der seine Informationen ausschliesslich aus der Webseite von roemerswil.ch beziehen soll.

• Wenn du nach etwas suchst, das auf der Webseite nicht vorhanden ist, wird auch der Chatbot keinen Inhalt finden. Verurteile den Chatbot erst, wenn du den Inhalt auf anderem Weg auf der Webseite findest.
• Stelle konkrete Fragen. Am besten so, wie du sie am Telefon einer zuständigen Person stellen würdest. Denn je mehr Kontext der Bot hat, desto besser kann er auf deine Frage eingehen. Schreibe also nicht: „das Licht brennt nicht“, sondern: „Eine Strassenlampe ist kaputt, wohin kann ich mich wenden?“ Falls eine Frage mal nicht zu deiner Zufriedenheit beantwortet wurde, versuche eine andere Formulierung. Wie du es auch bei einer google-Suche tun würdest.
• Prüfe deine Frage, bevor du die Antwort verurteilst. Ich habe den TownBot einmal gefragt: „gibt es eine Bibliothek in Römerswil?“ Und der TownBot hat geantwortet: „Ja.“ Fertig. Keine weiteren Infos. Ich fand das etwas faul, musste aber zugeben, dass es eine vollständige Antwort auf meine geschlossene Frage war. Also habe ich die Frage neu und offen formuliert: „Kannst du mir etwas über die Bibliotheken in Römerswil sagen?“ Und ich erhielt eine ausführliche Antwort.