<h5>Warum geistert noch immer die Idee herum, dass man einen Bot trainieren soll/muss/kann oder gar will?</h5>
<p>Trainieren ist ein Begriff, der im Zusammenhang mit machine learning zentral ist und auch bei der Entwicklung von Sprachmodellen essenziell bleibt. Aber warum begegnet man immer wieder Personen und Institutionen, die einen Chatbot trainieren wollen? Wir haben dies sogar kürzlich als Anforderung bei einer öffentlichen Ausschreibung gelesen. Möchte man tatsächlich in veraltete Technologie investieren und einen auf machine learning basierenden Chatbot anschaffen? Wahrscheinlicher scheint, dass nicht bekannt ist, dass man vorhandene grosse Sprachmodelle nur nutzt und nicht selber trainiert. Man könnte zwar z.B. GPT3.5 nachtrainieren, der Nutzen rechtfertigt den immensen Aufwand hierfür in der Regel jedoch nicht, weshalb sich das auch nicht durchgesetzt hat. Ein eigenes Sprachmodell trainiert nur, wer sehr viel Kapital investieren und einen ganz spezifischen Nutzen erzielen will. Dies ist zumindest in Verwaltungen weder der Fall noch notwendig. Ich habe noch keinen „trainierten“ Bot gesehen, der bessere Ergebnisse liefert als ein Bot basierend auf GPT4 oder GPT4o und <a href="/blog/rag_haecksler" target="_blank" rel="noopener noreferrer">RAG</a>. Hinzu kommt allerlei Ungemach, falls man den Chatbot in irgend einer Art "trainieren" oder "manipulieren" möchte. Will man sich innerhalb der Verwaltung in jedem Einzelfall darüber streiten, welcher Webseiteninhalt durch den Bot anzuzeigen ist und welcher nicht? Wer entscheidet, ob die Perspektive der Abteilung X oder die Perspektive der Abteilung Y auf ein Thema vom Bot kommuniziert werden soll? Wer prüft jede einzelne vom Bot gelieferte Antwort darauf hin, ob sie verbesserungswürdig sein könnte oder ob sie genügt? Wer entscheidet aufgrund von welchen Kriterien eine Korrektur? Die Kommunikationsabteilung oder die Fachabteilung? Und wie organisiert man das? Konflikte innerhalb der Verwaltung und Frust beim Nutzer des Chatbots sind vorprogrammiert. Ethische Fragen ebenfalls. Und an die Anschaffungs- und Betriebskosten eines solchen Bots möchte ich gar nicht erst denken.</p>
<h5>Ein einziger allgemeingültiger Prompt und ein „Merkblatt“ reichen aus, um den Bot zu individualisieren</h5>
<p>Wir jedenfalls bauen Chatbots, die nicht trainiert werden. Wir bauen keine zusätzlichen Biases in den Bot ein. Insofern ist unser Bot neutral, objektiv und transparent weil vollständig algorithmusgesteuert. Selbstverständlich kann der Bot für individuelle Bedürfnissen angepasst werden. Wie wir das für den TownBot <a href="https://www.roemerswil.ch/" target="_blank" rel="noopener noreferrer">Römerswil</a> gemacht haben:</p>
<ol>
<li>Im Prompt, dem allgemeingültige Regeln mitgegeben werden (wie zum Beispiel: priorisiere in deiner Antwort neue vor alten Dokumenten).</li>
<li>Weiter haben wir eine Liste mit einer Hand voll FAQs (ähnlich einem Merkblatt für neue Mitarbeitende) erstellt, die der Bot bei jeder Anfrage zu konsultieren hat. Hier werden Schwächen des Sprachmodells und vereinzelte gemeindespezifische Eigenheiten abgefangen.</li>
</ol>
<p>Beispiele:</p>
<ul>
<li>Die Schulen von Römerswil haben eine eigene Webseite. Bei Fragen rund um die Schulen soll der Bot generell auf diese Webseite verweisen.</li>
<li>Eine der häufigsten Fragen an die Gemeindeverwaltung lautet: wie und wo kann ich mich anmelden? Nun, auf der Webseite einer Gemeinde gibt es eine Vielzahl von Aktivitiäten, für die man sich anmelden kann. Vom Kaffeekränzchen über die Tagesbetreuung für Kinder bis zur Teilnahme an einem Ausflug.
Wir müssen dem Bot also mitteilen, dass anmelden üblicherweise bedeutet, sich bei Zuzug in der Gemeinde anzumelden.</li>
<li>Es gibt Schweiz- und sogar Luzernspezifische Begriffe und Konzepte. Im Kanton Luzern musste bis vor ein paar Jahren ein Wuhraufseher bestimmt werden. Vielleicht kennst du diesen Begriff bzw. die Aufgaben eines Wuhraufsehers, wenn du Luzerner/in bist. Ausserhalb des Kantons Luzern ist dieser Begriff unbekannt – genauso unserem Sprachmodell. Also müssen wir dem Sprachmodell diese Information mitgeben.</li>
<li>Römerswil erstellt jährlich ein pdf mit einer Auflistung der gesamten Entsorgung. Wann ist Müllabfuhr, was wird wann eingesammelt, was kann wo entsorgt werden? Diese Liste kann das Sprachmodell nicht fehlerlos lesen und interpretieren. Also helfen wir in diesem Einzelfall weiter: der Bot wird angewiesen, auf die Seite mit entsprechendem PDF zu verweisen.</li>
</ul>
<p>Damit erschöpfen sich unsere Eingriffe in den TownBot. Alles andere ist generisch und vollständig automatisiert. Dies bedeutet, dass unser TownBot sehr schnell, effizient und kostengünstig gebaut werden kann und im Betrieb kaum Pflege braucht – konkret werde ich Anfang Januar den Link auf oben erwähnte Entsorgungs-Liste aktualisieren müssen (sogar das könnte man noch automatisieren). Fertig. Der Rest läuft automatisch: tägliches Crawlen der Webseite, Vektorisieren der neuen Inhalte, bereinigen des Index und Testing laufen automatisch ab.</p>
<h5>Wie befragt man einen Chatbot am besten?</h5>
<p>Wir stellen fest, dass wir selber und Dritte immer wieder in die gleichen Fallen beim Befragen von Chatbots tappen. Hier spreche ich nicht von ChatGPT (obwohl auch dort ähnliches passieren kann), sondern von mit <a href="/blog/rag_haecksler" target="_blank" rel="noopener noreferrer">RAG</a> erstellte ChatBots. Also Chatbots, die auf einen spezifischen Wissenskorpus zugreifen, wie eben zum Beispiel der TonwBot Römerswil, der seine Informationen ausschliesslich aus der Webseite von roemerswil.ch beziehen soll.</p>
<ul>
<li><strong>Wenn du nach etwas suchst, das auf der Webseite nicht vorhanden ist, wird auch der Chatbot keinen Inhalt finden.</strong> Verurteile den Chatbot erst, wenn du den Inhalt auf anderem Weg auf der Webseite findest.</li>
<li><strong>Stelle konkrete Fragen.</strong> Am besten so, wie du sie am Telefon einer zuständigen Person stellen würdest. Denn je mehr Kontext der Bot hat, desto besser kann er auf deine Frage eingehen. Schreibe also nicht: „das Licht brennt nicht“, sondern: „Eine Strassenlampe ist kaputt, wohin kann ich mich wenden?“ Falls eine Frage mal nicht zu deiner Zufriedenheit beantwortet wurde, versuche eine andere Formulierung. Wie du es auch bei einer google-Suche tun würdest.</li>
<li><strong>Prüfe deine Frage, bevor du die Antwort verurteilst.</strong> Ich habe den TownBot einmal gefragt: „gibt es eine Bibliothek in Römerswil?“ Und der TownBot hat geantwortet: „Ja.“ Fertig. Keine weiteren Infos. Ich fand das etwas faul, musste aber zugeben, dass es eine vollständige Antwort auf meine geschlossene Frage war. Also habe ich die Frage neu und offen formuliert: „Kannst du mir etwas über die Bibliotheken in Römerswil sagen?“ Und ich erhielt eine ausführliche Antwort.</li>
</ul>


Warum geistert noch immer die Idee herum, dass man einen Bot trainieren soll/muss/kann oder gar will?

poemAI: TownBot Römerswil

plug and play et voilà!

TownBot Römerswil: untrainiert und pflegeleicht

<p><em>Stell dir vor, du könntest mit ChatGPT oder mit Gemini auf deine eigenen Daten zugreifen. Du findest deine relevanten Dokumente und Passagen in Sekundenschnelle, sie werden dir als Links angezeigt und automatisch zusammengefasst.</em></p>
<p>Dies ist möglich mit RAG (Retrieval Augmented Generation). Mit der RAG-Methode wird zuerst ein Dokumentenkorpus durchsucht, um relevante Dokumente oder Textstellen zu finden, die zur Beantwortung einer Suchanfrage nützlich sein könnten. Anschliessend wird ein Sprachmodell verwendet, um auf Basis der vorher identifizierten Dokumente eine kontextbezogene Antwort zu erzeugen. RAG wird beispielsweise im kostenpflichtigen Microsoft Copilot verwendet. Mit gemischtem Erfolg, wie zum Beispiel c’t in einem Test (2024 im Heft 8) zeigt. Ein Zitat aus deren Fazit: «Im derzeitigen Zustand ist der von Microsoft als einsatzbereiter KI-Assistent vermarktete Office-Copilot bestenfalls eine Technik-Demo. Man kann aber auch von einem öffentlichen Betatest reden, den die Tester bezahlen, also die Abonnenten von Copilot Pro und Copilot für Microsoft 365». Nebenbei für alle, die von den Produktenamen von Microsoft ebenso verwirrt sind wie ich: «Copilot Pro» ist der KI-Assistent für Private Abonnenten und «Copilot für Micorsoft 365» ist der KI-Assistent für jene, die Unternehmens- und Schullizenzen haben.</p>
<p><em>Stell Dir nun vor, Du hast einen unstrukturierten Dokumentenhaufen aus Word-Dokumenten, Excels, Bildern, PDFs etc. Und Du möchtest richtig gute statt nur durchschnittliche Suchresultate erzielen.</em></p>
<h3>Der Häcksler macht bei Suchbots den Qualitätsunterschied</h3>
<p>RAG-Lösungen sind heute relativ einfach umzusetzen. Unsere Erfahrung in diversen Projekten mit semantischer Suche und Chatbots hat jedoch gezeigt, dass die hohe Kunst nicht RAG ist. Es ist das Handwerk, das RAG vorgelagert ist. Denn nicht das eigentliche Durchsuchen und Vektorisieren der Daten ist schwierig, sondern das vorgelagerte Strukturieren des Dokumentenberges, den es zu durchsuchen gilt. Um sehr gute Suchresultate zu erzielen, braucht es das, was wir von poemAI einen Super-Häcksler nennen. Beim Häckseln geht es darum, aus Dokumenten semantisch kohärente Textpassagen zu extrahieren, die dann der KI zugeführt werden. Wird der Text in zu kleine oder zu grosse Passagen zerlegt, nimmt die Wahrscheinlichkeit ab, bei der Suche die besten Textpassagen zu finden.  Weil die vektorisierte Textpassage zu wenige Informationen enthält oder zu viele irrelevante Informationen. Warum, das könnt ihr im Blog <a href="/blog/semantische_suche" target="_blank" rel="noopener noreferrer">«Semantische Suche einfach erklärt»</a> von Markus Emmenegger nachlesen.</p>
<p>Bei durchschnittlich performenden Such- und Chatbots werden Texte in der Regel einfach zufällig zerschnitten (wenn überhaupt).  Zum Beispiel wird eine A4-Seite in vier gleich grosse Teile zerhackt. Dies führt schlussendlich zu den fragwürdigen Suchergebnissen, wie wir sie im Web häufig finden. Hier ein Beispiel eines Chatbots einer Schweizer Gemeinde, der Qualität offenbar weniger am Herzen liegt als uns.  Man wünscht sich, diese Gemeinde hätte bessere Embeddings verwendet und den Häckselservice von poemAI in Anspruch genommen.</p>
<p><img src="/assets/blogimg/bot_mal.png" alt="Schlechtes Chatbot Beispiel"></p>
<h3>Was einen guten Häcksler ausmacht</h3>
<p>Die Aufgabe, einen Text in sinnvolle Abschnitte zu zerteilen, scheint auf den ersten Blick einfach. Man könnte zum Beispiel damit anfangen, den Text in seine einzelnen Sätze zu zerlegen – also einfach bei Punkten zerlegen. Dass das gar nicht so einfach ist, zeigt folgende Textpassage: «Dr. med. dent. Klaus Muster ist seit dem 22. November 1985 in Zürich, Bern etc. tätig. Er bespricht die neuesten Trends in der Zahnmedizin auf seiner Website, besuche ihn unter meineseite.ch. Seine Forschungen haben große Anerkennung in der Fachwelt gefunden.» Natürlich gibt es Funktionen in Sprach-Tool-Bibliotheken (z.B. <a href="https://www.nltk.org/" target="_blank" rel="noopener noreferrer">NLTK</a>), die den Abschlusspunkt erkennen können. Wie so häufig erschöpft sich deren Können aber in Englisch. Die Ergebnisse deutscher Adaptionen sind jenseits unseres Qualitätsstandards.</p>
<p>Noch schwieriger wird es, wenn man einen langen Text in zusammenhängende Abschnitte teilen will – was für RAG zentral ist. Das sogenannte Text Tiling ist ein Jahrzehnte altes Problem. Ein allgemein akzeptiertes, mehrsprachenfähiges Standardtool, welches auf den unterschiedlichsten Textarten funktioniert - und das auch noch in Deutsch - haben wir nicht gefunden. Bezüglich dieser Frage gibt es offenbar keinen Wettbewerb wie zum Beispiel bei den Sprachmodellen. Es gibt nur vielversprechende Ansätze, Ideen und Papers.</p>
<p>Also haben wir im Laufe des letzten Jahres unseren eigenen Super-Häcksler entwickelt. Er kann der Texte zuverlässig in seine semantisch kohärenten Abschnitte zerlegen. Natürlich mit KI. Entsprechend sind die Suchergebnisse in unseren Suchbots überragend.</p>
<p><img src="/assets/blogimg/haeckselrobo.png" alt="Der Superhäcksler"></p>
<h3>Häckseln und RAG funktionieren auch im Hochsicherheitstrakt</h3>
<p><em>Stell dir vor, du kannst bedenkenlos mit KI auf Dokumente zugreifen, die sensibel und schützenswert sind und nicht in Sichtweite von OpenAI, Microsoft oder sonstigen Dritten gelangen dürfen.</em></p>
<p>Die oben beschriebenen RAG-Technologie inklusive vorgelagertem Häckselservice kann man auch in geschützten Umgebungen nutzen. Nur dass in diesen Fällen alles im Hochsicherheitstrakt passiert. Der Häcksler wird auf einem lokalen Server laufen gelassen. Und für das Embedding, die semantische Suche und das Erstellen des Antworttextes wird ein lokales Sprachmodell verwendet. Was es dabei zu bedenken gilt, habe ich in meinem Blog <a href="/blog/ki_datenschutz" target="_blank" rel="noopener noreferrer">«KI und Datenschutz»</a> beschrieben. Markus hat die technischen Lösungen hierzu in seinen letzten beiden Blogs beschrieben: <a href="/blog/kleine_grosse_sprachmodelle" target="_blank" rel="noopener noreferrer">Heikle Daten im Browser verarbeiten</a> und <a href="/blog/schlanke_bots" target="_blank" rel="noopener noreferrer">wie man schlanke Bots baut</a>.</p>


Im Blogbeitrag zeigen wir, dass das hochwertige Zerhäckseln der Dokumente eine essenzielle Grundlage für gute Such- und Chatbots ist.

poemAI: RAG und Text-Tiling

Nur wer die hohe Kunst des Zerlegens von Dokumenten in sinnvolle Abschnitte beherrscht, kann einen guten Suchbot bauen

RAG alleine macht noch keinen guten Suchbot

<p>In der digitalen Landschaft ist Datenschutz nicht nur ein Schlagwort, sondern eine zentrale Säule der Technologieentwicklung. Stellen wir uns vor, unser Team steht vor der Herausforderung, eine innovative Applikation zu entwickeln, die Nutzerdaten – von Texteingaben bis hin zu sensiblen Dokumenten – intelligent verarbeitet. Intelligent heisst hier, dass die Applikation Dokumente lesen, verstehen, klassifizieren und plausibilisieren kann. Der Benutzer bekommt dabei fundierte und gut formulierte Rückmeldungen wie von einem Experten, und kann so seine Dokumente besser zusammenstellen. Solche Applikationen können wir heute dank den modernen Sprachmodellen (LLMs, Large Language Models) einfach realisieren.</p>
<p>Doch hier stossen wir auf ein Dilemma, das so alt ist wie die IT-Branche selbst: Wie schützen wir die Privatsphäre unserer Nutzerinnen, ohne Kompromisse bei der Funktionalität einzugehen? Die Daten sind eventuell so heikel, dass wir sie am liebsten gar nicht in unserem Unternehmen speichern wollen, und sie schon gar nicht an einen Drittanbieter weiterreichen können. Die grossen Sprachmodelle die wir üblicherweise benutzen, leben in der Cloud. Wenn wir damit intelligente Applikationen bauen, verzichten wir und unsere Benutzerinnen auf die volle Kontrolle über unsere Daten. Wir müssten also wählen zwischen Intelligenz in der Applikation und Datenschutz. Muss das so sein? Können wir nicht beides haben?</p>
<p>Im Sommer 2023 diskutierten wir ein solches Problem bei einem Mittagessen. Es stand die Idee im Raum, die Verarbeitung nicht auf unseren Servern oder in der Cloud durchzuführen, sondern direkt im Browser des Nutzers. Dies würde bedeuten, dass die Daten das Gerät des Nutzers nicht verlassen, was einen enormen Gewinn bezüglich Datenschutz darstellt.</p>
<p>Ich sagte damals: "Im Moment geht das noch nicht. Die Sprachmodelle heissen nicht umsonst "Large Language Models", deshalb ist es ist nicht möglich, so ein Modell kurz mal mit ein bisschen Webseiten-Javascript laufen zu lassen. Ich habe aber so ein Gefühl, dass es nicht mehr lange dauern wird, bis es möglich sein wird." Und tatsächlich - in den letzten Monaten hat sich sehr viel getan. Heute kann ich euch zeigen, wie kleine, aber leistungsstarke Sprachmodelle in Kombination mit neuester Browsertechnologie dabei helfen können, die Privatsphäre unserer Nutzer zu schützen.</p>
<h3>OpenSource Sprachmodelle: Datenschutz ist gewährleistet, aber...</h3>
<p>Als ersten Schritt zu intelligenten Applikationen, die den Datenschutz respektieren, kann man auf Sprachmodelle setzen, die man lokal auf dem eigenen Rechner laufen lässt. Diese Modelle lädt man einmal herunter, und danach passieren die Interaktionen mit dem Modell lokal. Es müssen keine Daten in die Cloud geschickt werden. Woher bekommt man aber solche Modelle? OpenAI rückt seine Modellfiles nicht heraus, die Modelle sind nur via Cloud verfügbar, und man bezahlt für jede Anfrage. Aber schon kurz nach dem Start von ChatGPT kamen viele neue Sprachmodelle heraus, die ChatGPT nacheifern. Die Modelle werden von Hochschulen, Konkurrenten, Startups und staatlich geförderten Organisationen als OpenSource verfügbar gemacht, und jeder kann diese im Prinzip herunterladen und lokal auf dem eigenen Rechner laufen lassen. Ich nenne diese Modelle in diesem Artikel "erste Generation von OpenSource Sprachmodellen". Ein paar Beispiele dafür sind:</p>
<ul>
<li><a href="https://de.wikipedia.org/wiki/LLaMA-Sprachmodell" target="_blank" rel="noopener noreferrer">Llama</a> von Meta</li>
<li>Vicuna LLM</li>
<li>Falcon (in Varianten von 7b = 7 Milliarden Parameter bis 180b = 180 Milliarden Parameter)</li>
<li>Mistral 7b (nur Englisch, <a href="https://www.mistral.ai/" target="_blank" rel="noopener noreferrer">Mistral AI</a>)</li>
<li>Mixtral 8x7B (mehrsprachig, <a href="https://www.mistral.ai/" target="_blank" rel="noopener noreferrer">Mistral AI</a>)</li>
</ul>
<p>Es gibt noch einen ganzen Zoo von weiteren LLms, ich beschränke mich hier auf die Bekanntesten.</p>
<p>GPT-3, das Modell hinter dem ersten ChatGPT, hat 175 Milliarden Parameter, es ist also sehr gross. Bezüglich der neueren Modellen wie GPT-3.5 Turbo und GPT-4 hält sich OpenAI bedeckt und nicht open - es ist nicht bekannt, wieviele Parameter diese wirklich haben.</p>
<h3>Probleme der ersten Generation OpenSource Modelle</h3>
<h4>Problem 1: Umständliche Installation</h4>
<p>Die Modelle sind alle recht gross, und es brauchte zunächst sehr leistungsfähige Rechner und spezialisierte Machine-Learning Software, um überhaupt irgendeine Antwort von diesen Modellen zu bekommen. Später haben es OpenSource Enthusiasten möglich gemacht, diese Modelle auch zuhause oder im Büro auf einem eigenen handelsüblichen PC laufen zu lassen. Mit solchen lokalen Modellen kann man Chatbots und intelligente Applikationen bauen, die kein Bit an schützenswerter Info in die Cloud schicken. Die verbreitetste Library dafür, llama-cpp, ist ein hochoptimiertes Wunderwerk der Technik. Aber um diese Software zu installieren braucht es einerseits einigen technischen Aufwand, und man muss sich auskennen. Die grösseren Modelle brauchen darüber hinaus noch teure Graphikkarten um vernünftig schnell zu laufen, und es kommen oft noch Treiber und sonstige Software dazu. Das ist eher etwas für Techies und Geeks. Und "aus der Ferne" ist es praktisch unmöglich, diese ganze Laufzeitumgebung von einem Unternehmen oder einer Verwaltung aus auf den Rechner des Benutzers zu installieren. Man müsste sich zurückbewegen in der Zeit und die User motivieren, das richtige Softwarepaket für das eigene Betriebssystem und das Rechner- und Graphikkartenmodell herunterzuladen und zu installieren. Naja, für die Steuererklärung und für Computergames machen wir das schon, aber schön ist es nicht. Wir brauchen eine Lösung für das Installationsproblem.</p>
<h4>Problem 2: Schrumfpdummheit</h4>
<p>Neben der umständlichen Installation ist gibt es noch ein weiteres Problem mit der ersten Generation. Die empfohlenen Modelle sind so gross, dass es nicht machbar scheint, sie im Browser laufen zu lassen. Die Modelle sind oft in verschiedenen Grössen zu haben, und deshalb könnte man auf die Idee kommen, einfach nur die kleinen Versionen der Modelle zu benutzen - die kleinsten Versionen würden vielleicht knapp in den Browser passen. Versucht man das mit den Modellen aus der Gruppe von LLama und seinen ersten Abkömmlingen dann sieht man sehr schnell, dass sie mit abnehmender Anzahl Parametern stark an Leistung einbüssen. Bei den kleinsten Versionen (also z.B. den 7b Varianten) verliert man meist die Mehrsprachigkeit, und die Modelle produzieren immer mehr künstliche Dummheit - so werden die Modelle praktisch nutzlos.</p>
<p>Und deshalb wurde zunächst nichts aus der Idee einer lokalen Applikation beim User - mit einem Spatzenhirn ist nicht viel anzufangen. Es braucht eine Lösung für das Problem der Schrumpfdummheit.</p>
<h3>Lösung für die Schrumpfdummheit: Optimieren, optimieren, optimieren</h3>
<p>An den Sprachmodellen wird mit Hochdruck weiterentwickelt. Einerseits arbeiten viele Firmen und Forscher daran, endlich GPT-4 als bestes Sprachmodell der Welt zu überholen oder wenigstens einzuholen. Das ist ein wichtiges Ziel, und der Gewinner wird vorerst wohl ein riesengrosses Modell in der Cloud sein. Um die Schrumpfdummheit zu besiegen, muss man an einer anderen Frage arbeiten: Wie kann man kleinere Modelle trainieren, die mit weniger Parametern gleich gute Leistung erbringen wie deutlich grössere? Diese Herausforderung sieht ähnlich aus wie die vielen Optimierungsprobleme in der Ingenieurskunst: Reduktion des Treibstoffverbrauchs bei Autos, Schrumpfen von Computerchips, Performanceverbesserung von Software, besserer Wirkungsgrad einer Dampfturbine, usw. Weil die Optimierung auch bei Sprachmodellen viel bringt (weniger Stromverbrauch, schnellere Antworten, neue Anwendungen auf kleineren Geräten) haben sich viele Ingenieure  auf dieses Problem gestürzt. Und es gibt Erfolge zu vermelden.</p>
<h4>Microsoft und StabilityAI im Rennen um das kleinste Modell</h4>
<p>Als erstes Beispiel für den Trend zu kleineren Modellen hat Microsoft die phi-Reihe herausgebracht. Die Modelle  Phi-1, Phi-1.5, und schliesslich Phi-2 mit 2.7 Milliarden Parametern im Dezember 2023 sollen leistungsmässig an viel grössere Modelle heranreichen. Phi-2 ist in der Tat klein und leistungsfähig, es ist aber nur in Englisch trainiert worden, und ist für unsere Zwecke deshalb nicht anwendbar - als Schweizer Firma wollen wir für die Benutzer Deutsch, Französisch und Italienisch anbieten.</p>
<p>Aber auch andere Unternehmen machen beim Optimierungsrennen mit: StabilityAI, sonst bekannt für Stable Diffusion (ein Modell für das Generieren von KI-Bildern), hat auch in Sprachmodelle investiert. Die Entwickler in London haben sich zum Ziel gesetzt, mit weniger Parametern auszukommen, damit man die Modelle auf dem Rechner des Benutzers oder sogar im Mobiltelefon laufen lassen kann. Im Dezember 2023 kam "Stable LM Zephyr 3b" heraus. Das Modell zeigt hohe Leistung, obwohl es nur 3 Milliarden Parameter hat. Aber auch bei diesem Modell ist nur Englisch unterstützt. Es ging aber Schlag auf Schlag weiter, und so gab es bereits einen Monat später, am 19. Januar 2024, ein Update. Stability AI präsentierte ein weiteres Modell, "Stable LM 2 1.6B". Das Modell begnügt sich mit 1.6 Milliarden Parametern, und kann trotzdem in Englisch, Deutsch, Spanisch, Französisch, Italienisch, Niederländisch und Portugiesisch brauchbare Resultate liefern.</p>
<p>Ich habe die <a href="https://stability.ai/news/introducing-stable-lm-2" target="_blank" rel="noopener noreferrer">publizierten Tests von stability.ai</a> studiert und mir selbst ein Bild von der Leistung von "Stable LM 2 1.6B" gemacht, und ich finde dass das Modell in Deutsch tatsächlich gut funktioniert. Und damit ist der beste Kandidat für intelligente Applikationen die datengeschützt im Browser laufen gefunden: Mit nur 1.6 Milliarden Parametern ist "Stable LM 2 1.6B" sparsam genug dafür.</p>
<h4>Alle 18 Monate doppelt so gut?</h4>
<p>Was wir hier beobachten: Es gibt rasante Leistungs- und Effizienzsteigerungen bei den Sprachmodellen. Wir sind erst etwas mehr als ein Jahr vom Start von ChatGPT entfernt, und schon haben wir Modelle, die hundertmal kleiner sind und trotzdem gute Leistung bringen. Ist dies ein Hinweis auf ein "AI-Moore's-Law"? Das würde bedeuten dass es wie in den besten Zeiten der Halbleiterindustrie alle 18 Monate doppelt soviel Leistung gibt. Wir werden die Entwicklung weiter verfolgen, ich bin gespannt, wie sich der Trend fortsetzt. Aber zurück zu unserem Problem: Wir haben jetzt die Schrumpfdummheit unter Kontrolle, aber das Installationsproblem ist noch nicht gelöst.</p>
<h3>Lösung für das Installationsproblem: Der Browser als sichere Laufzeitumgebung</h3>
<p>Auf der zweiten Baustelle sieht es so aus: Es ist ja schön, wenn man ein so kleines Modell wie das "Stable LM 2 1.6B" herunterladen kann, aber wenn man das Ganze nur zum laufen bringt, indem man auf komplizierteste Weise und mit Kommandozeilen-Tools mehrere Software-Pakete installiert, viele Anleitungen googelt und die Hilfe von ChatGPT in Anspruch nimmt, dann ist das für die meisten Benutzer keine Option. Aber auch hier gibt es nun Lösungen: Findige Entwickler*innen und Firmen haben einen Standard entwickelt, der es möglich macht, eine viel grössere Bandbreite von Software direkt im Browser laufen zu lassen. Der Kern davon ist "<a href="https://de.wikipedia.org/wiki/WebAssembly" target="_blank" rel="noopener noreferrer">WebAssembly</a>" (Wasm). Mit dieser Technologie kann man fast beliebige Software, die in einer Programmiersprache wie C++ oder Rust geschrieben ist, direkt im Browser laufen lassen. Es gibt unzählige nützliche Softwarepakete, die normalerweise am besten auf Linux und ähnlichen Systemen laufen, die wegen der Installationshürden aber nicht für jeden gut zugänglich sind. Der Browser hingegen ist auf fast allen Geräten vorhanden und ist unterdessen ziemlich unabhängig davon, ob er auf Windows, iOS, MacOS, Linux, Android oder sonst einem Betriebssystem läuft. All das bedeutetet, dass Software sehr schnell für viele Benutzer verfügbar gemacht werden kann - einen Browser hat ja wirklich jeder.</p>
<p>Und genau mit dieser Technologie haben findige Entwickler das bereits erwähnte llama-cpp Projekt in den Browser portiert. Um diese C++-Software herum, die grosse Sprachmodelle (LLMs) wie z.B. LLama und alle Abkömmlinge davon lokal laufen lassen kann, hat jemand ein "Gstältli" gebaut, sodass man die Sprachmodelle jetzt auch in den Browser hängen kann. Das Projekt heisst "llama-cpp-wasm", und ist als open-source verfügbar. Falls ihr das selbst ausprobieren wollt, muss ich eine kleine Warnung abgeben: llama-cpp-wasm ist das Gegenteil von plug-and-play, und es hat auch keine Batterien dabei. Man braucht einiges an Entwicklerwissen über moderne Webtechnologien und LLMs, sowie ein bisschen C++ know-how, um es erfolgreich für eigene Anwendungen zum Laufen zu bringen.</p>
<h3>Kleines OpenSource Modell + WebAssembly + LlamaCPP = Intelligenz ohne Cloud und ohne Installation</h3>
<p>Mit diesen technischen Bausteinen (Kleines Sprachmodell, Web Assembly, LlamaCPP) kann man nun eine Applikation bauen, die für die Endbenutzerin ganz einfach aussieht: Wenn sie auf die Webseite surft, die ein solches Modell anbietet, dann lädt der Browser zuerst das ganze Modell herunter. Ab diesem Zeitpunkt braucht es dann keine Netzwerkverbindung mehr, die Benutzerin könnte das WLAN sogar ausschalten und die Netzwerkkabel ausstecken, die Applikation liefe trotzdem weiter.</p>
<p>Die Applikation benutzt im Hintergrund das in den Browser geladene Modell für intelligente und erstaunliche Features. Die Daten bleiben dabei auf dem lokalen Rechner. Die KI kann nun zum Beispiel die Dokumente für ein Gesuch lesen, prüfen und Rückmeldungen darüber geben, ob alles den Anforderungen für das Gesuch entspricht. Wenn der KI-Prozess fertig ist, können die weiteren Prozesse auf klassische Art und mit klassischen Sicherheitsmassnahmen ablaufen. Für all dies genügt ein Klick auf einen Link, eine Softwareinstallation bei der Benutzerin ist nicht nötig.</p>
<h3>Dezentralisierte Browser-Sprachmodelle für Datenschutz und Skalierbarkeit</h3>
<p>Damit eröffnen sich völlig neue Möglichkeiten: Als Firma oder Verwaltung kann man nun Applikationen bauen und auf der eigenen Website anbieten, die intelligent mit Sprache umgehen ohne dass Datenverkehr aus dem Computer der Nutzer in die Cloud geschickt wird. Das ist ein enormer Vorteil für den Datenschutz. Als Anbieter der Applikation hat man darüber hinaus noch weitere Vorteile: Man muss sich weder auf einen Cloud-Anbieter verlassen, noch muss man im eigenen Haus eine grosse Infrastruktur für die LLMs bereitstellen. Falls plötzlich tausende von Benutzern gleichzeitig auf die Applikation zugreifen wollen ist das kein Problem, denn jeder Benutzer bringt seine eigene Rechenleistung mit und stellt sie für seine lokale Kopie des Sprachmodells zur Verfügung. Skalierungsprobleme sind damit elegant gelöst.</p>
<p>Seid Ihr erstaunt, fasziniert, neugierig oder skeptisch? Wenn ihr diese Technologie selbst live sehen wollt, Euch aber nicht durch den Open-Source-Dschungel wühlen mögt, kontaktiert uns. Wir zeigen Euch gerne, wie das alles funktioniert und welchen Nutzen diese Technologie für Euch haben kann.</p>


Im Blogbeitrag erklären wir, wie man mit Browser-Sprachmodellen Datenschutz für KI-Anwendungen ermöglicht.

poemAI: Browser-Sprachmodelle für KI-Datenschutz

Wie man mit Browser-Sprachmodellen Datenschutz für KI-Anwendungen ermöglicht

Heikle Daten im Browser verarbeiten

<p>Nachdem wir uns alle ans Chatten mit intelligenten Systemen wie ChatGPT gewöhnt haben, sehen wir immer mehr Möglichkeiten, solche modernen Chatbots in den verschiedensten Anwendungen einzubauen. Ein Hindernis dafür ist aber, dass die modernen Chatbots grosse Datenmengen benötigen, und dass sie deshalb nur auf grossen Servern mit hohen Betriebskosten laufen können. "Das ist zu gross für uns", mag mancher denken, "wir wollen nicht riesige Zusatzkosten für Servermiete und Betrieb auf uns nehmen."</p>
<p>Das muss aber gar nicht sein. Wir bei poemAI.ch entwickeln schlanke, effiziente Chatbots wie den <a href="/townbot" target="_blank" rel="noopener noreferrer">TownBot</a>, welche nicht nur intelligent sind, sondern auch in kleine Server passen. In diesem Blogbeitrag tauche ich mit euch in die faszinierende Welt der schlanken Chatbots ein und zeige euch, wie wir diese cleveren kleinen Helferlein dazu trainiert haben, sich mit weniger Platz zufrieden zu geben.</p>
<h4>Fakten statt Halluzinationen</h4>
<p>Um einen <a href="/blog/warum_chatbot_nicht_gleich_chatbot_ist" target="_blank" rel="noopener noreferrer">modernen Chatbot</a> zu bauen, benutzt man  das unterdessen verbreitete "Retrieval Augmented Generation" (RAG) Verfahren. Dieser Prozess besteht aus vier wesentlichen Schritten:</p>
<ol>
<li><strong>Retrieval</strong>: Finde zu einer Frage die relevanten Textpassagen aus einer Wissensbasis.</li>
<li><strong>Prompt zusammenstellen</strong>: Kombiniere die gefundenen Textpassagen mit Anweisungen und mit der Frage des Benutzers zu einem Prompt. In den Anweisungen steht, welchen Stil und welches Output-Format gewünscht ist, und dass das Modell nur Informationen aus den gefundenen Textpassagen verwenden soll.</li>
<li><strong>Prompt an LLM schicken</strong>: Schicke den zusammengestellten Prompt an ein Large Language Model (LLM).</li>
<li><strong>Antwort nachbearbeiten</strong>: Passe die Antwort an, indem du zum Beispiel Links ersetzt oder spezifische Informationen ergänzt.</li>
</ol>
<p>Dieses Verfahren nutzt die Stärke der modernen Sprachmodelle (GPT-3.4, GPT-4) und bügelt gleichzeitig ihre grössten Schwächen aus. Denn wenn dem Modell fundiertes Wissen in der Anfrage vorliegt, verarbeitet es dieses zu einer treffenden und gut formulierten Antwort. Wenn man hingegen einfach nur die Frage ohne Kontext stellt, kann das Modell nur auf Wissen in seinem "Gedächtnis" zurückgreifen. Oft überspielt es dann Wissenslücken mit freien Erfindungen - dies sind die gefürchteten Halluzinationen. Fundiertes Wissen im Input, kombiniert mit guten Anweisungen an ein leistungsfähiges Sprachmodell, reduziert solche Halluzinationen auf ein Minimum. Wie man gute Anweisungen (Prompts) formuliert, haben wir schon anderswo einiges geschrieben, z.B. bei der <a href="/blog/jassen_mit_ki_entscheidungen" target="_blank" rel="noopener noreferrer">Jass-Demo</a>. Hier konzentrieren wir uns jetzt auf den ersten Schritt: Retrieval.</p>
<h4>Retrieval: Die Kunst des Findens</h4>
<p>Bevor der Bot etwas finden kann, braucht es ein bisschen Vorbereitung: Es müssen alle Textpassagen in einen Vektor umgewandelt werden, so wie wir das im Blog "<a href="/blog/semantische_suche" target="_blank" rel="noopener noreferrer">Semantische Suche einfach erklärt</a>" aufzeigen. Die resultierende Liste von Vektoren müssen geeignet abgepeichert werden damit sie für die Suchanfragen bereit sind.</p>
<p>Nun wollen wir die relevanten Passagen finden. Dazu gehen wir in zwei Schritten vor:</p>
<ul>
<li>
<p>1a) <strong>Frage in Embedding transformieren</strong>: Wir wandeln die Frage in ein Embedding um, also in eine mathematische Darstellung im Vektorraum.</p>
</li>
<li>
<p>1b) <strong>Nächste Nachbarn im Vektorraum finden</strong>: Wir suchen die nächsten k (z.B. k=5 oder 10, oder 20)  Nachbarn zu unserem Frage-Embedding. Diese entsprechen den relevantesten Textpassagen zur Frage.</p>
</li>
</ul>
<h4>Grosse Rennsuchmaschinen brauchen grosse Garagen</h4>
<p>Wie wir in unserem Blogpost zur semantischen Suche bereits erläutert haben, hat der Vektorraum, in dem wir arbeiten, über 1500 Dimensionen. Um die nächstgelegenen Nachbarn in diesem hochdimensionalen Raum unter sehr vielen Vektoren (und damit Textpassagen) zu finden, wurden spezielle Vektordatenbanken entwickelt. Von diesen scheint es zur Zeit fast jede Woche eine neue zu geben, oft mit grosser Startup-Finanzierung. Gleichzeitig bauen viele traditionelle Datenbankanbieter Vektor-Funktionalitäten in ihre Produkte ein. Die Vektorsucher in diesen Produkten zielen auf ultrahohe Leistung ab, sie laufen in Clustern auf mehreren grossen Servern, genau so wie es Grossunternehmen oder Big-Data-Projekte brauchen. Die Schattenseite davon: Es gibt viel Komplexität zu managen, die Datenbanken sind nicht einfach aufzusetzen und zu betreiben, und sie sind sehr hungrig nach Hauptspeicher (RAM).</p>
<h4>Der kleine Stall: Schlanke Alternativen für Chatbots</h4>
<p>Aber vielleicht ist der Chatbot, den man haben will, gar nicht für ein Grossunternehmen gedacht, sondern für ein KMU oder eine mittelgrosse Gemeinde. Deshalb basiert er auf einer viel kleineren Wissensbasis, und in diesem Fall sind grosse Vektordatenbanken schlicht zu ineffizient, zu teuer und zu komplex. Machen wir ein Beispiel: Um einen Chatbot für eine mittelgrosse Gemeinde zu bauen, gehen wir von 200.000 Textpassagen aus. Um alle Vektoren in Rohform im Speicher zu halten braucht das bereits 1.2 GB RAM – und das ist noch ohne Index und ohne weitere notwendige Datenstrukturen und Serverprozesse. Klingt nach wenig?  Man hat doch schon mehr RAM in einem Laptop!
Stimmt, aber in einer Cloudumgebung zahlt man für jedes Byte RAM zu jeder Stunde, und so kann sich das schnell zu einem teuren Vergnügen zusammenläppern.</p>
<p>Aber keine Sorge, es gibt schlanke Alternativen. Wir haben unsere Werkzeuge optimiert indem wir bei kleineren Datenmengen ganz auf komplexe Vektordatenbanken verzichten und stattdessen ein schlankeres, direkt eingebautes Verfahren verwenden. Mit diesem Ansatz haben wir den <a href="/townbot" target="_blank" rel="noopener noreferrer">TownBot</a> entwickelt, der gerade bei kleineren Projekten (bis zu 10.000 Dokumente und 100.000 bis 500.000 Textpassagen) sparsam mit den Ressourcen umgeht. Dieser schlanke Bot ist so konzipiert, dass er im Betrieb wenig Hardware- und Speicherkosten verursacht. Das macht es möglich, auch kleinere Projekte gewinnbringend umzusetzen.</p>
<h3>Fazit: Der schlanke Chatbot ist kein Mythos</h3>
<p>Wir haben herausgefunden wie man moderne Chatbots auch in kleinen Servern laufen lassen kann, ohne dass sie an Intelligenz einbüssen. Es erfordert ein wenig Kreativität und die richtigen Werkzeuge, aber das Ergebnis sind effiziente, kostengünstige und intelligente Chatbots, die bereit sind, in der digitalen Welt ihren Dienst zu tun.</p>
<p>Wenn ihr erfahren wollt, wie Ihr für Eure Anwendung einen zu einem effizienten Chatbot kommt, oder wenn Ihr eine Demo des <a href="/townbot" target="_blank" rel="noopener noreferrer">TownBots</a> erleben möchtet, zögert nicht, uns zu kontaktieren.</p>
<p>Und denkt daran: Auch in der digitalen Welt kann weniger manchmal mehr sein. Dann passt der Bot zur Weihnachtszeit gemeinsam mit den Osterhasen in einen kleinen Stall!</p>


Im Blogbeitrag erklären wir, wie moderne Chatbots funktionieren, und wie man sie auch in kleinen Servern halten kann.

poemAI: Schlanke Chatbots

Moderne Chatbots in kleinen Kisten artgerecht halten

Wie man schlanke Chatbots baut

<p>Wir erhalten häufig die Frage, wie wir die Sicherheit und den Schutz der Daten gewährleisten, wenn künstliche Intelligenz ins Spiel kommt. Das Interesse an dieser Thematik ist nicht nur erfreulich, sondern auch höchst bedeutsam. In diesem Blog-Beitrag möchte ich dieses Thema genauer unter die Lupe nehmen und einige Datenschutzstrategien erörtern.<br>
Wenn wir Datenschutz in KI-Systemen sicherstellen wollen, müssen wir die jeweiligen Verwendungsweisen der Daten unterscheiden.</p>
<h5>Wo genau ist Datenschutz relevant?</h5>
<ul>
<li><strong>Relevant: wenn Daten dem Trainieren von Modellen dienen.</strong><br>
Beim Trainieren von eigenen Modellen zur Lösung spezifischer Probleme sprechen wir von Machine Learning (vgl. auch unseren Blog zur <a href="https://poemai.ch/blog/ki_landschaft" target="_blank" rel="noopener noreferrer">KI-Landschaft</a>). In diesem Bereich gibt es zahlreiche datenschutzrechtliche Risiken zu beachten. Hierzu zählen die Gefahr der Manipulation von Trainingsdaten, Datenlecks oder das Risiko der unbeabsichtigten Offenlegung von personenbezogenen Daten während des Trainingsprozesses und bei der Verwendung eines KI-Systems im Produktivbetrieb. Gleiches gilt für das Trainieren eigener Sprachmodelle. Da poemAI (zumindest bis anhin) kein Machine Learning betreibt und keine eigenen Sprachmodelle trainiert, lasse ich diese Datenschutzfragen aussen vor. Für eine Übersicht zu Datenschutzfragen beim Machine Learning empfehle ich einen Blick auf die Webseite von David Rosenthal und seinen Beitrag <a href="https://www.rosenthal.ch/downloads/Rosenthal-KI-Datenschutz.pdf" target="_blank" rel="noopener noreferrer">Datenschutz und KI: Worauf in der Praxis zu
achten ist</a>.</li>
<li><strong>Kaum relevant: wenn Vortrainierte Sprachmodelle zur Bearbeitung unempfindlicher Daten genutzt werden.</strong><br>
Das typische Beispiel hierfür sind Chatbots. Diese verarbeiten oft lediglich Informationen, die bereits auf der Webseite des Unternehmens verfügbar sind oder keine sensiblen Daten und/oder Geschäftsgeheimnisse enthalten. Hier stellt sich einzig die moralische Frage, ist, ob es vertretbar ist, ein Sprachmodell zu verwenden, das möglicherweise mit urheberrechtlich geschützten Daten trainiert wurde. Ob OpenAI und andere Anbieter beim Training ihrer Sprachmodelle gegen Urheberrechte verstoßen hat, wird derzeit in verschiedenen Rechtsstreitigkeiten geklärt.</li>
<li><strong>Relevant: bei der Bearbeitung sensibler Daten mit vortrainierten Sprachmodellen.</strong><br>
Einen grossen Nutzen bringt der Einsatz von künstlicher Intelligenz, wenn ein vortrainiertes Sprachmodell verwendet wird, um Geschäftsprozesse zu unterstützen. Hier gibt es verschiedene Möglichkeiten, wie Kundendaten, Geschäftsgeheimnisse und weitere Informationen geschützt werden können. Und damit komme ich zum Kern meines Blogs.</li>
</ul>
<h5>Datenschutzstrategien beim Einsatz von vortrainierten Sprachmodellen</h5>
<p>Datenschutz muss beim Einsatz von vortrainierten Sprachmodellen in zwei Schlüsselbereichen im Auge behalten werden. Erstens, wenn Entwickler und Anbieter KI-Modelle zum Leben erwecken und Vektoren sowie embeddings erstellen. Wenn sie also Daten zu OpenAI oder anderen Betreibern von Sprachmodellen senden, um sie dort zu verarbeiten. Genauso wie wir Daten zu Google senden, wenn wir klassisch googeln. Zweitens rücken Datenschutzfragen ins Zentrum, wenn Nutzer diese KI-Modelle verwenden. Hier besteht zum Beispiel die unerwünschte Gefahr, dass eine Kundin aus Unachtsamkeit schützenswerte Informationen von sich selber preisgibt, wenn sie einem Chatbot eine Frage stellt.</p>
<p>Hier sind einige Datenschutzstrategien, die in beiden Szenarien nützlich sind:</p>
<ul>
<li>
<p><strong>Dokumente anonymisieren</strong><br>
Bei vielen KI-Anwendungen benötigt man keine schützenswerten Informationen, teilweise will man sie auch gar nicht haben. Sie sind aber möglicherweise trotzdem aus irgendwelchen Gründen vorhanden. In diesen Fällen kann man die schützenswerten Informationen aus den Dokumenten entfernen und die somit anonymisierten Dokumente weiterverarbeiten.</p>
</li>
<li>
<p><strong>Dokumente pseudonymisieren</strong><br>
Braucht man die schützenswerten Informationen nach der Datenverarbeitung wieder, kann man die Dokumente, die von der künstlichen Intelligenz bearbeitet werden sollen, pseudonymisieren. Bei der Pseudonymisierung werden schützenswerte Inhalte durch nicht sprechende Codes oder Identifikationsnummern ersetzt. Im Gegensatz zur Anonymisierung kann nach der Bearbeitung der Daten der Personenbezug wieder hergestellt werden. Dies, indem man den sicher aufbewahrten Schlüssel, mit dem man die Daten pseudonymisiert hat, verwendet, um die Identifikationsnummern wieder durch die ursprünglichen Daten zu ersetzen.</p>
</li>
<li>
<p><strong>Lokales (kleineres) Sprachmodell nutzen</strong><br>
Man kann statt grosser Sprachmodelle wie GPT 3 oder GPT4 auch ein kleineres Sprachmodelle nutzen, falls dieses für die jeweilige Aufgabe gute Ergebnisse liefern kann. Es gibt viele Sprachmodelle, die open source und kommerziell nutzbar sind. Kleine Sprachmodelle können aufgrund ihrer Grösse lokal statt in der Cloud betrieben werden. Sensible Daten verlassen somit den eigenen Computer oder das eigene Netzwerk nicht.</p>
</li>
<li>
<p><strong>Private Cloud eines etablierten Anbieters nutzen</strong><br>
Man kann sich entscheiden, eine private Cloud bei einem etablierten Anbieter zu nutzen. Die Informationen werden besonders sicher aufbewahrt und zudem nicht für das Training neuer Sprachmodelle zugänglich gemacht. In diesem Sinne kann man übrigens auch Bing Chat Enterprise statt ChatGPT nutzen.</p>
</li>
<li>
<p><strong>Nur tatsächlich schützenswerte Daten schützen</strong><br>
Wir alle sind darauf bedacht, unsere Daten zu schützen, und das ist sicherlich klug. Dennoch sollten wir uns gelegentlich die Frage stellen, welche Daten tatsächlich besonders schützenswert sind. Wer kein Problem damit hat, (einen Teil) seiner Daten mit Microsoft Office Produkten wie Word, Excel oder Outlook zu bearbeiten, kann die gleichen Daten konsequenterweise auch mit GPT- oder anderen Modellen bearbeiten.</p>
</li>
</ul>


Im Blogbeitrag stelle ich verschiedene Möglichkeiten zum Schutz von Personendaten und Geschäftsgeheimnissen vor

poemAI: KI und Datenschutz

Je nach Einsatzgebiet die passende Strategie für die Datensicherheit wählen.

KI und Datenschutz

<h3>Informationssuche in einer komplexen Welt</h3>
<p>Beginnen wir mit einer Herausforderung, die viele von Euch kennen: Ihr seid keine Experten im Baurecht, aber ihr habt eine konkrete Frage. Zum Beispiel: "Was muss ich beachten, wenn ich in Beromünster eine laute Maschine installieren will?" Wenn ihr diese Frage in ein herkömmliches Suchfeld auf einer Website eingebt, werdet ihr wahrscheinlich nicht fündig werden. Der Grund? Die Laien-Schlüsselwörter sind nicht wörtlich in Gesetzestexten oder Fachartikeln zu finden und kommen auch nicht in den manuell eingepflegten Stichwortlisten vor. Wer Suchmasken auf Webseiten benutzt, begegnet dem Problem sicher sehr oft: Die Stichwortsuchen finden nur selten das, was wir brauchen, deshalb ist die traditionelle Art der Suche oft frustrierend.</p>
<h4>Es versteht mich!</h4>
<p>Aber seht Euch mal unsere Demo zur <a href="/semantische_suche_baugesetze_luzern" target="_blank" rel="noopener noreferrer">Semantischen Suche</a> an. Ihr werdet festellen, dass es unserem System gelingt, auf laienhafte Fragen
treffende Antworten zu finden. Die Technik, die das leistet, heisst semantische Suche. Wie Ihr an diesem Beisipielbild seht, passen die Ergebnisse auf überraschende Weise zur gestellten Frage:</p>
<p><img src="/assets/blogimg/laute_maschine.png" alt="Laute Maschine suchen"></p>
<p>Von Lärm oder Gewerbe hatten wir wörtlich nichts erwähnt, aber das System hat die relevanten Passagen gefunden. Wie funktioniert das denn?</p>
<h4>Transformation ins Unbegreifliche: Semantik im Vektorraum</h4>
<p>Die semantische Suche funktioniert deshalb, weil sie sich nicht auf exakte Wortübereinstimmungen verlässt, sondern versucht, die Bedeutung von Texten und Fragen mathematisch abzubilden. Ein zentrales Konzept dafür ist die Transformation von Text, also Sätzen oder Abschnitten, in einen multidimensionalen Vektorraum. In diesem Raum werden Sätze als Punkte dargestellt, deren Position die "Bedeutung" des Satzes abbildet. Diese Technik heisst "Embedding". Klingt kompliziert? Ist es auch – aber gleichzeitig ist das der Grundstein für die semantische Relevanz unserer Suche. Denn in einem Vektorraum kann man die Nähe zwischen Punkten mathematisch exakt berechnen. Je ähnlicher die Bedeutung zweier Sätze ist, desto näher liegen sie im Vektorraum nebeneinander. Und genau das ist die Grundlage für die Suche: Wir suchen nach Abschnitten in den Dokumenten, die in der Nähe der Bedeutung unserer Frage liegen.</p>
<h4>Und woher bekommt man die Embeddings?</h4>
<p>Die Idee zur Vektorisierung von Text ist eigentlich sehr alt, erste Versuche damit gab es schon in den 1950er Jahren. Lange scheiterten die Forscher aber daran, eine zuverlässige Methode für gute Embeddings zu entwickeln. Ab 2015 begannen Forscher intensiv damit, mit Deep-Learning-Techniken neuronale Netze für diese Aufgabe zu trainieren, und erzielten damit erste Erfolge. Um 2018 kam dann BERT, das erste Transformer-LLM (Large Language Model) heraus, und findige Forschende haben sogleich begonnen, damit Embeddings zu berechnen, mit noch besserem Erfolg. All dies hat zu einer Renaissance der semantischen Suche mit Vektoren geführt. Und es bedeutet, dass die Qualität der Embeddings nun mit der Qualität der LLMs mitwächst. Je bessere LLMs man hat, desto bessere Embeddings kann man berechnen. Die Embeddings sind also ein sehr wertvolles Nebenprodukt der LLMs.</p>
<p>Unterdessen haben die meisten von uns mit dem bekanntesten LLM, GPT-3.5, schon Bekanntschaft gemacht. Es ist das mächtige Modell, das hinter ChatGPT von OpenAI steckt. Die OpenAI Ingenieure haben auf Basis von GPT-3 LLMs auch einen Embedding-Rechner gebaut, den man für ein Entgelt benutzen kann, siehe <a href="https://platform.openai.com/docs/guides/embeddings/embeddings" target="_blank" rel="noopener noreferrer">OpenAI embeddings</a>. Das GPT-3 Modell wurde auf riesigen Textmengen in vielen Sprachen trainiert und es kann die Bedeutung von Text in seinem internen Zustand sehr treffend abbilden. Je nach Bedeutung werden andere Gruppen der 1500 künstlichen Neuronen im Modell angeregt, und dieses Muster wird als Ebedding-Vektor benutzt. Die so erzeugten Embeddings legen dann die "laute Maschine" in die Nähe von "Lärmvorschriften" und "Gewerbe". Das kriegen kleinere, weniger weltgewandte Modelle nicht so gut hin. Und wie wir das von ChatGPT gewohnt sind, funktioniert das auch sehr gut im "zero shot" Modus, das heisst, ohne dass man das Modell zuerst z.B. auf Baugesetze, wissenschaftliche Papers oder Software-Handbücher nachtrainieren müsste. All das macht die frappante Treffsicherheit der semantischen Suche mit den OpenAI Embeddings aus.</p>
<h4>Die Mechanik der Semantischen Suche</h4>
<p>Mit diesen Bausteinen kann man nun ein semantisches Suchsystem bauen. Man folgt dabei diesem Rezept:</p>
<ul>
<li>Man nimmt man die Dokumente, die man durchsuchen will, und zerschneidet sie in passend kleine Textpassagen.</li>
<li>Für jede dieser Textpassagen lässt man ein Embedding berechnen und man bekommt so einen Vektor. Diese Vektoren speichert man ab, zusammen mit den Referenzen auf die Textpassagen.</li>
<li>Sobald die Benutzerin eine Frage stellt, transformiert man die Frage auch in einen Vektor</li>
<li>Man sucht die fünf bis zehn nächstgelegenen Vektoren in der Umgebung der Frage. Diese entsprechen den Passagen in den Dokumenten, welche für die Antwort auf die Frage relevant sind.</li>
<li>Man zeigt diese Textpassagen und Referenzen als Suchergebnisse an.</li>
<li>Den Abstand im Vektorraum zwischen Frage und Textpassage zeigt man auch an, als Hinweis auf die Relevanz der Antwort.</li>
</ul>
<p>Wenn man sehr viele Dokumente hat, in denen sehr viele Leute gleichzeitig suchen wollen, dann wird diese mathematisch einfach zu formulierende Aufgabe zu einer etwas grösseren Herausforderung. Zum Glück ist das aber ein bereits gut gelöstes Problem, und es gibt auf dem Markt viele sogenannte <a href="https://de.wikipedia.org/wiki/Vektordatenbank" target="_blank" rel="noopener noreferrer">Vektor-Datenbanken</a>, die genau für diese Aufgabe optimiert sind. Für unsere Demos verwenden wir <a href="https://qdrant.tech/" target="_blank" rel="noopener noreferrer">qdrant</a>, weil diese Datenbank schlank, einfach aufzusetzen, schnell und Open-Source ist.</p>
<h4>Ein Bild sagt mehr als tausend Vektoren: UMAP</h4>
<p>Bei den <a href="https://platform.openai.com/docs/guides/embeddings/embeddings" target="_blank" rel="noopener noreferrer">OpenAI embeddings</a> hat der Vektorraum, mit dem die Bedeutung dargestellt wird, über 1500 Dimensionen. Kann man sich einen solchen Raum vorstellen? Leider nein, unser Gehirn ist dafür nicht ausgelegt, das braucht man  halt nicht um Eiszeitbären zu jagen. Hier kommt <a href="https://umap-learn.readthedocs.io/en/latest/index.html" target="_blank" rel="noopener noreferrer">"Uniform Manifold Approximation and Projection for Dimension Reduction" (UMAP) </a> ins Spiel. Klingt extrem kompliziert, ist aber ein Open-Source-Tool, welches mit einer komplexen mathematischen Methode die Embeddings in eine einfache 2D-Graphik umwandelt. Das macht es uns möglich, ein flaches Abbild dieses hochdimensionalen Raums anzuschauen. Wir haben mit diesem Tool eine Visualisierung der Embeddings für das Baugesetz einer Gemeinde erstellt, und das Ergebnis ist das folgende Bild. Es zeigt die semantische Struktur des Gesetzes:</p>
<p><img src="/assets/blogimg/semantik_baugesetz_visu.svg" alt="Semantik Visualisierung"></p>
<p>In der Darstellung sehen wir:</p>
<ul>
<li>Weisse Punkte: Abschnitte aus dem Baugesetz.</li>
<li>Kreise: Wolken von Schlagworten, die verschiedene Bereiche des Gesetzes markieren.</li>
<li>Gelbe Punkte: Beispielfragen, die wir dem System gestellt haben.</li>
</ul>
<p>Diese Visualisierung zeigt, welche Fragen in welche Bereiche des Gesetzes fallen. Zum Beispiel landet die Frage "Was passiert, wenn ich im Naturschutzgebiet einen Baum fälle?" in der Schlagwortwolke der "Strafen", weil unbewilligte Veränderungen im Naturschutzgebiet verboten sind. Mit einer herkömmlichen Suche wäre diese sinnvolle Verbindung wohl kaum gefunden worden.</p>
<h4>Die dunkle Seite</h4>
<p>Es gibt wie immer auch Schattenseiten. Zum einen ist es wohl keine gute Idee, Texte, welche potentiell personenbezogene Daten oder Geschäftsgeheimnisse enthalten, extern von OpenAI embedden zu lassen. Und zweitens können sich die Kosten für die Embeddings bei sehr vielen sehr grossen Dokumenten zu einer rechten Summe zusammenläppern. Die Forschung und Entwicklung läuft in diesem Bereich aber auf Hochtouren, und es gibt bereits Alternativen, die Open Source sind und ohne Datenschutzbedenken verwendet werden können. Um diese Möglichkeiten genauer zu beschreiben muss ich tiefer in die Technik abtauchen, und deshalb werde ich das in einem späteren Blogbeitrag behandeln.</p>
<h4>Fazit</h4>
<p>Embeddings von hoher Qualität und Treffsicherheit sind Nebenprodukte aus den immensen Leistungssteigerungen bei den Large Language Models (LLMs). Sie machen die schon länger bekannte semantische Suche zu einer noch viel mächtigen Technik als sie es bisher war, und das alles ohne spezifisches Training von eigenen Modellen. Und damit bekommen wir Laien auf unsere Fragen auch dann gute Antworten, wenn wir die Geheimsprache der Experten nicht sprechen.</p>


Im Blogbeitrag erklären wir, wie die semantische Suche funktioniert und wie sie die Suche nach Informationen revolutioniert.

poemAI: Semantische Suche

Wie funktioniert die semantische Suche?

Semantische Suche einfach erklärt

<p>Am 13. September 2023 führte <a href="https://www.opacc.ch" target="_blank" rel="noopener noreferrer">Opacc</a> im Rahmen des Campus Talk mit uns als Gastredner eine Veranstaltung zum Thema künstliche Intelligenz durch. Das Hauptziel unserer Keynote war, Geschäftsleitenden und anderen Teilnehmer/innen von kleinen und mittelständischen Unternehmen eine Basis zu legen, damit sie während und nach unserer Präsentation Ideen für den nutzbringenden Einsatz von KI in ihrem Unternehmen entwickeln können. Da der Begriff KI ein breites Spektrum an Technologien, Methoden, Tools, Anwendungen und Prozessen umfasst, haben wir die wichtigsten Elemente in Form einer KI-Landschaft dargestellt und unseren Vortrag entlang dieser Landschaft strukturiert.</p>
<p><img src="/assets/blogimg/KI_Landschaft_V6.svg" alt="KI-Landschaft"></p>
<h5>Vertikale Achse: die Technologiestufen von der klassischen IT über generative AI bis zu AI Expertenteams</h5>
<p>In unserer KI-Landschaft sind die verschiedenen Elemente entlang zweier Dimensionen angeordnet. Auf der vertikalen Achse repräsentieren wir die Technologieebene, die gleichzeitig eine historische Dimension aufweist. Das Fundament bildet die klassische IT, mit der enorme Datenmengen verarbeitet und zahlreiche Prozesse automatisiert werden können. Auf dieser Basis baut das Machine Learning auf, das die Grundlage für viele heute sichtbare KI-Anwendungen wie Bild- und Gesichtserkennung, Robotik, das Internet der Dinge und Chatbots bildet. Letztere lieferten jedoch noch nicht immer zufriedenstellende Ergebnisse, wie ich bereits in meinem Blogbeitrag <a href="/blog/warum_chatbot_nicht_gleich_chatbot_ist" target="_blank" rel="noopener noreferrer">"Warum Chatbot nicht gleich Chatbot ist"</a> erläutert habe. Beim Machine Learning werden Modelle mit strukturierten Daten trainiert, um spezifische Aufgaben zu lösen.</p>
<p>Ab 2022 eroberte generative KI die Szene und Anfang 2023 nach Einführung von ChatGPT die ganze Welt. Im Gegensatz zum herkömmlichen Machine Learning stehen jetzt bereits vortrainierte Sprachmodelle zur Verfügung, die von praktisch jedem genutzt werden können, selbst wenn man keine tiefe Informatik- oder KI-Kenntnisse hat. Diese benutzerfreundlichen Tools sind in unserer KI-Landschaft als rosa Bildschirm gekennzeichnet. Schaut sie euch an, probiert sie aus! Auf <a href="https://www.theresanaiforthat.com" target="_blank" rel="noopener noreferrer">theresanaiforthat.com</a> findet ihr tausende solcher Tools für eine Vielzahl von Anwendungsbereichen. Diejenigen direkt nutzbaren Tools, die etwas mehr Hintergrundwissen, Programmiererfahrung oder spezielle Kenntnisse erfordern, haben wir zusätzlich mit einer Brille versehen.</p>
<p>In der obersten Region der vertikalen Achse in Dunkelviolett sind Technologiestufen dargestellt, an denen neuste Forschungen und Entwicklungen stattfinden. Hier besteht die Herausforderung darin, Tools zu entwickeln, die KI-Agenten und kollaborative KI-Agenten erstellen können. Die Bedeutung dieser Konzepte wird beim Betrachten der horizontalen Achse klarer.</p>
<h5>Horizontale Achse: das Leistungspotenzial der KI vom Niveau einer Maschine über jenes einer Fachkraft bis zum Expertenteam-Niveau</h5>
<p>Wir haben die horizontale Achse mit "Leistungsanforderung" bezeichnet, um abzubilden, welche Arten von Aufgaben KI bewältigen kann. Dies reicht von Aufgaben, die bereits zuvor von Maschinen erledigt wurden, jedoch möglicherweise weniger effizient, bis hin zu Aufgaben, bei denen generative KI Fachkräften zumindest assistieren kann. Beispiele sind die Suche nach Informationen, deren Aufbereitung und Zusammenfassung sowie das Ziehen von Schlussfolgerungen und das Begründen von Entscheidungsgrundlagen. Aktuelle Anwendungen versuchen sogar, Aufgaben von Experten oder Expertenteams zu unterstützen, indem KI in parallelen und iterativen Prozessen verschiedene Aufgaben und Rollen übernimmt.</p>
<table>
<thead>
<tr>
<th></th>
<th></th>
<th></th>
<th></th>
<th></th>
</tr>
</thead>
<tbody>
<tr>
<td><img src="/assets/blogimg/CampusTalk-KI-012.jpg" alt="Foto_Campus_Talk_Markus"></td>
<td></td>
<td><img src="/assets/blogimg/CampusTalk-KI-2-003.jpg" alt="Foto_Campus_Talk_Publikum"></td>
<td></td>
<td><img src="/assets/blogimg/CampusTalk-KI-017.jpg" alt="Lerngespräch Perplexität Teil 3"></td>
</tr>
</tbody>
</table>


Im Blogbeitrag stelle ich unsere grafische Darstellung der aktuellen KI-Landschaft vor

poemAI: KI-Landschaft

Ein Überblick über Technologien, Methoden, Tools und Applikationen.

KI-Landschaft

<p>Algorithmen und künstliche Intelligenz können menschliche Entscheidungsfindungsprozesse unterstützen. Am Beispiel des Jassens zeigen wir auf unserer <a href="/jassen_mit_ki" target="_blank" rel="noopener noreferrer">Website</a>, wie das funktioniert. Der Einsatz von KI im Rahmen von Entscheidungen ist umstritten. Problematisch ist der Einsatz von KI insbesondere, wenn die Entscheidungen intransparent und weitgehend abgekoppelt vom menschlichen Handeln getroffen werden. Dass Maschinen Entscheidungen fällen, die zum Nachteil einzelner Menschen gereichen, ist nicht hinnehmbar.  SRF Doc hat zu solchen Fällen am 29. Juni 2023 eine interessante <a href="https://www.srf.ch/play/tv/dok/video/algorithmen---die-unberechenbare-gefahr?urn=urn:srf:video:068fbc58-79a6-42ea-8746-311ebc472eac" target="_blank" rel="noopener noreferrer">Dokumentation</a> gesendet.</p>
<p>PoemAI arbeitet ebenfalls mit dem Einsatz von KI im Rahmen von Entscheidungsfindungen. Wir sehen darin ein riesiges Potenzial, das genutzt werden kann, ohne dass dabei jemand zu Schaden kommt. Denn es gibt erstens unzählige Einsatzmöglichkeiten, die keinerlei Einfluss auf menschliche Existenzen haben. Das Zuweisen von Kundenanfragen an den dafür am besten qualifizierten Sachbearbeiter hat für niemanden negative Konsequenzen. Oder wenn eine Buchhaltungssoftware die Kontierung von Belegen mittels künstlicher Intelligenz vorbereitet, kann kein grösserer Schaden als eine Fehlbuchung entstehen.</p>
<p>Zweitens kann KI durchaus auch bei heikleren Vorgängen einen Teil der Arbeit erledigen und Nutzen stiften, ohne Schaden anzurichten. Die KI muss im Einsatzgebiet der Entscheidungsfindung nicht zwingend ein Fluch sein. Es liegt nämlich immer in der Hand des Menschen bzw. des Betriebes, der eine KI einsetzt, zu entscheiden, ob ein Mensch den Prozess überwachen und Entscheide überprüfen soll (human in the loop). Ebenso liegt es im Ermessen des Menschen vorzugeben, dass eine Entscheidung final immer von einem Menschen gefällt werden muss (human in the lead). Über solche ethischen Fragen wie Fairness, Autonomie, Schadensvermeidung, Transparenz und Rechenschaftspflicht werde ich mich in einem separaten Blogbeitrag auseinandersetzen.</p>
<p>In den Medien tauchen in der Regel imposante Beispiele zum Einsatz von künstlicher Intelligenz auf, die von grossen Unternehmen genutzt und von noch grösseren entwickelt werden. Im Sinne eines Kontrapunktes zeigen wir an einem ganz lokalen und harmlosen Beispiel auf, wie künstliche Intelligenz in Entscheidungsfindungsprozessen eingesetzt werden kann und welche Leistungen es erbringen kann. Und das Schönste daran ist, und darauf freuen wir uns besonders: alle können mitreden. Mit Sicherheit wird sich zeigen, dass die künstliche Intelligenz den Profis unterlegen ist. Das macht aber nichts – einmal mehr wollen wir illustrieren, dass künstliche Intelligenz einen Mehrwert bringen und unterstützen kann, ohne dass sie exzellent und fehlerfrei sein muss.</p>
<h5>Jassen mit künstlicher Intelligenz – selber ansagen oder doch lieber schieben?</h5>
<p>Du kennst die Situation: ihr sitzt zu Viert am Jasstisch beim Schieber.  Du wunderst du dich ab und zu darüber, warum deine Partnerin jenes angesagt hat anstatt zu schieben. Oder du wirst mehr oder weniger freundlich darauf hingewiesen, dass man mit deinen Karten dieses statt jenes hätte tun sollen. Weil mit Dreifärber muss man doch zwingend ansagen oder Nell As zu fünft reicht aus – auch wenn man keine Böcke hat.</p>
<p>Das Beispiel Jassen illustriert das Potenzial von KI in Entscheidungsprozessen sehr gut. Probier doch mal unsere <a href="/jassen_mit_ki" target="_blank" rel="noopener noreferrer">Demo</a> aus, würfle ein paar Kartendecks und überprüf die Qualität der Empfehlungen und Erläuterungen der KI. Oder lass Dir die Demo <a href="https://youtu.be/IFWgf0iHeRc" target="_blank" rel="noopener noreferrer">in unserem YouTube Video</a> vorführen. Der Auftrag der KI in unserem Demobeispiel ist, beim Schieber zu entscheiden, ob man selber ansagen soll, und wenn ja, was. Oder ob man mit diesen Karten besser schieben sollte. Und sie soll ihre Entscheidung kurz begründen.</p>
<p><img src="/assets/blogimg/Jassdeck_inkl_entscheidung_poemai.png" alt="Jassdeck_inkl_entscheidung_poemai"></p>
<p>Die Begründung ist unseres Erachtens ein zentrales Element, wenn KI Urteilsfindungen vorbereiten. Anhand der Begründung kann der Mensch, der die finale Entscheidung fällt, die Qualität der vorbereiteten Entscheidung besser abschätzen und sie plausibilisieren. Genauso wie wir es von Mitarbeitenden kennen, die zuhanden ihrer Vorgesetzten eine Entscheidungsgrundlage vorbereiten und diese mit Argumenten unterlegen. Darin liegt übrigens auch der grosse Vorteil der KI-Lösung im Vergleich zur klassischen IT. Es gibt schon längst sehr gute Jassprogramme, die wunderbar funktionieren. Hut ab vor den Programmierer*innen! Allerdings ist es mit Sicherheit um ein Vielfaches aufwändiger, Jassen mit klassicher IT zu programmieren als mit künstlicher Intelligenz. Was die klassische IT zudem nicht erleisten kann, ist die Produktion einer kurzen, knackigen und semantisch ansprechenden Begründung. Ganz anders die auf Sprachmodellen beruhende KI. Wir haben in unserer Jass-Demo ausschliesslich mit Sprachmodellen gearbeitet und nicht mit machine learning. Sprachmodelle sind besonders stark darin, die Regeln und Prinzipen, die sie zur Lösungsfindung anwenden, in ihre Erklärungen einzubringen.</p>
<h5>Alte und neue Erkenntnisse</h5>
<p>Jassen ist keine exakte Wissenschaft (man erinnere sich an die hitzigen Diskussionen in Wohnzimmern und Stammtischen). In unserer Jass-Demo haben wir der KI die Faustregelen mitgegeben, die ich als Kind von meinem Grossvater gelernt habe. Mit Hilfe dieser Heuristiken soll die KI für alle Möglichkeiten (Eichle, Rose, Schilte, Schelle, Undenufe, Obenabe und schieben) prüfen, ob die Karten auf der Hand ausreichend gut sind, um selber anzusagen oder nicht. Und falls mehrere Trümpfe bzw. Obenabe und/oder Undenufe in Frage kämen, die beste Option zu wählen.</p>
<p>Unsere Jass-KI ist ein Beispiel dafür, dass Entscheidungsfindungsprozesse mittels KI bestens begleitet werden können. Dabei spielt nicht nur Prozessuales eine Rolle (wie binde ich KI in meine Prozesse ein?), sondern auch Ethisches (an welche Regeln soll sich die KI halten? wie soll sie sich ausdrücken?). In diesem Zusammenhang gibt es einige typische Herausforderungen, denen wir auch beim Erstellen der Jass-KI begegnet sind und die ich Euch nicht vorenthalten will.</p>
<ul>
<li>
<p><strong>Die Sprachmodelle neigen zum Halluzinieren</strong> Wir haben einiges an Energie und Zeilen beim Prompten aufwenden müssen, um zu verhindern, dass die KI halluziniert. In unserem Fall hat sie in den ersten Versionen häufig Karten hinzuerfunden oder weggelassen. Naja, wer wünscht sich zum Nell, As und König nicht auch noch den Bauer dazu? Aber für eine gezähmte KI ist das natürlich ein No-Go. Zu 100% Prozent konnten wir das Halluzinieren nicht ausschliessen, aber weitgehend. Am häufigsten erfindet unsere Jass-KI Asse und Bauern.</p>
</li>
<li>
<p><strong>Die Sprachmodelle neigen zum Fabulieren.</strong> Es war deshalb nicht ganz einfach, Vorgaben zur Länge der Begründung der Jass-Entscheidung zu machen. Soll die KI viel begründen, dann produziert sie eher mal eine falsche Begründung. Soll sie kurz begründen, dann ist ihre Urteilseinschätzung nicht immer nachvollziehbar.</p>
</li>
<li>
<p><strong>Kurze Prompts funktionieren besser als lange.</strong> Es ist wie bei Kindern: Kindern kann man nicht drei Dinge aufs Mal auftragen, man muss sie eine Aufgabe nach der anderen abarbeiten lassen. Wir hatten allerdings den Ehrgeiz, die ganze Demo mit möglichst nur einem Prompt zu erstellen. Damit hatten wir keine Chance, wir mussten die Aufgabe in zwei Prompts aufteilen: mit dem ersten Prompt wird bestimmt, welche Trümpfe überhaupt in Frage kommen. Der zweite Prompt sollte die beste Option identifizieren und die finale Antwort liefern.</p>
</li>
<li>
<p><strong>Ich bin sexistisch.</strong> Als wir die Resultate getestet haben, habe ich mit Schrecken festgestellt, dass unsere KI beim Schieben ab und zu schreibt, man soll besser dem Partner schieben oder ähnliches. Ich bezichtigte unsere KI sofort des Sexismus, bis ich peinlich berührt festgestellt habe, dass ich selber die Übeltäterin bin. Ich habe eigenhändig in den Prompts an zwei Stellen einzig die männliche Form verwendet – die KI hat nur reproduziert, was sie von mir vorgelegt bekommen hat. Es sind Sätze wie: «Beim Jassen haben alle vier Spieler jeweils neun Karten in der Hand». Kein Wort von Spielerinnen. Oder: «Schieben: Wer an der Reihe ist, kann seinem Partner schieben». Ich gelobe Besserung!</p>
</li>
</ul>
<p>Und dann zeigte sich in unserer Jass-Demo noch eine ganz spezifische Herausforderung:</p>
<ul>
<li><strong>Die Macht des As.</strong> Eine spannende Erkenntnis war, dass wir der KI die Trümpfe und Obenabe relativ leicht beibringen konnten, jedoch nicht Undenufe. Da es sich schlussendlich nur um eine Spielerei handelt, haben wir bei der Jass-Demo in diesem einen Fall die Waffen gestreckt und einen Teil der Analysearbeit bezüglich Undenufe mit klassischer IT programmiert. Möglicherweise wäre es uns gelungen, wenn wir für Undenufe einen separaten Prompt erstellt hätten. Viel lieber haben wir uns mit dem Warum beschäftigt. Das As ist übermächtig und wollte in unserem Jassbeispiel immer wieder die Sechs stechen. In der internationalen Welt kommt Jassen kaum vor, entsprechend auch in den Daten von openAI nicht. Poker hingegen schon, vielleicht auch Bridge und andere Kartenspiele. Dort sticht niemals die Sechs eine Sieben oder ein As.</li>
</ul>
<p><img src="/assets/blogimg/Schilte_As.png" alt="Schilte_AS"></p>
<p>Weitere technische Herausforderungen, die wir im Rahmen der Erstellung der Jass-Demo gemeistert haben, beschreibt Markus in seinem Blogpost <a href="/blog/jassen_mit_KI_sprachmodell_technik" target="_blank" rel="noopener noreferrer">"Wie bringt man einer KI das Jassen bei?"</a></p>


Im Blogbeitrag demonstriere ich, dass der Einsatz von KI im Rahmen von Entscheidungsfindungen Nutzen stiften kann

poemAI: Jassen mit KI

Ein Beispiel für den Einsatz von KI bei der Entscheidungsfindung.

Warum bringt man einer KI das Jassen bei?

<p>Wir hatten den Ehrgeiz, ein KI-Sprachmodell allein durch Prompten dazu zu bringen, gute Entscheidungen für das Ansagen oder Schieben beim Jassen zu treffen. Das tönt nach einer einfachen Aufgabe. Bis wir Euch jedoch auf unserer Website eine fertige Demo zum Ausprobieren anbieten konnten, mussten wir einige technische Probleme lösen. Eine solche Applikation muss nämlich das Sprachmodell, die Prompt-Erzeugung, das Weiterverarbeiten und Darstellen der Ergebnisse zu einem Gesamtkunstwerk integrieren. In diesem Blogbeitrag wollen wir Euch zeigen, wie wir das gemacht haben.</p>
<h5>Mit Schere und Klebstoff an die Prompts?</h5>
<p>Als erstes mussten wir herausfinden, wie wir effizient komplexe Prompts generieren und diese Prompts während der Entwicklungszeit schnell und zuverlässig optimieren und abändern können. Wie in <a href="/blog/jassen_mit_ki_entscheidungen" target="_blank" rel="noopener noreferrer">Nathalie's Blogpost</a> beschrieben ist, waren die Ergebnisse des Sprachmodells mit unseren ersten Prompts noch nicht sehr gut - es hatte manchmal Halluzinationen und verstieg sich bei den Erklärungen. Wir mussten also die Prompts optimieren und lernen, wo im Prompt wir die nötigen Informationen zum aktuellen Problem (nämlich: welche Karten hast du auf der Hand?) einfügen müssen, und welche Instruktionen wir geben müssen, um Halluzinationen und Denkfehler zu minimieren. Mit Schere und Kleber kann man das aber nicht machen - und copy/paste ist ja fast dasselbe.</p>
<p>Es musste eine Möglichkeit her, um längere Prompt-Texte zu verwalten, die dann an verschiedenen Stellen Lücken enthalten, so dass man sie zur Laufzeit, passend für die Situation, befüllen kann.</p>
<p>Bei der Jass-Demo haben wir das pragmatisch und einfach mit Python Bordmitteln gelöst. Python kann mit der <code>format</code> Methode Variablen in einen String einfügen.  Das geht so:</p>
<pre><code>prompt = "Du hast folgende Karten in der Hand: {karten}. Sortiere sie nach Farbe und Wert."

karten = "Schilten Banner, Rosen Under, Schilten As, Rosen Ober"
print(prompt.format(karten=karten))

# Resultierender Prompt: Du hast folgende Karten in der Hand: Schilten Banner, Rosen Under, Schilten As, Rosen Ober. Sortiere sie nach Farbe und Wert.

karten = "Eichle Under, Rosen Banner"
print(prompt.format(karten=karten))

# Resultierender Prompt: Du hast folgende Karten in der Hand: Eichle Under, Rosen Banner. Sortiere sie nach Farbe und Wert.
</code></pre>
<p>Das funktioniert zwar gut, in neueren Projekten verwenden wir aber das <a href="https://python.langchain.com/" target="_blank" rel="noopener noreferrer">LangChain Framework</a>, denn es bietet noch ausgefeiltere Möglichkeiten, um komplexe Prompts zusammenzustellen.</p>
<h5>Ein bisschen mehr Struktur, bitte!</h5>
<p>Nach einigen Prompt-Optimierungsrunden waren wir so weit, dass das Sprachmodell gute Ergebnisse geliefert hat. Bei der Optimierung stellte sich sehr schnell heraus, dass das ChatCPT Standardmodell (GPT-3.5) mit der Aufgabe überfordert war. Das GPT4-Modell ist viel stärker im Bereich "Reasoning", d.h. beim Schlussfolgern und Begründen, und wir haben uns bald entschieden, für diese Aufgabe ausschliesslich das GPT4-Modell zu verwenden.
Allerdings musste Nathalie, um die guten Ergebnisse mit GPT-4 zu erreichen, in den Instruktionen das Modell dazu anleiten "laut zu denken" und die Zwischenschritte in der Antwort auszugeben. Wenn man das Modell nämlich nicht so instruiert, neigt auch GPT-4 dazu, denkfaul zu sein und oberflächlich eine Antwort zu generieren. Dabei übersieht es Informationen oder erfindet nicht zutreffende Aussagen (Halluzinationen).
Mit der Instruktion zur Ausgabe der Zwischenschritte klappt das deutlich besser. Diese Technik hat aber den Nachteil, dass das Modell sehr ausführliche Antworten generiert, wobei die Form der Antwort oft variiert, denn das Modell bemüht sich, keine eintönigen Texte zu erzeugen. Das macht es schwierig, die Antworten anschliessend weiterzuverarbeiten. Zu versuchen, im Prompt immer genauere Anweisungen zu geben, in welcher Reihenfolge, Form und Länge das Modell die Teile der Antwort ausgeben soll, führt zu keinen besseren Ergebnissen.
Wir haben stattdessen eine elegante Lösung aus dem LangChain Framework nachgebaut. In LangChains gibt es die Möglichkeit eine Instruktion erstellen zu lassen welche das Sprachmodell anweist, die <a href="https://python.langchain.com/docs/modules/model_io/output_parsers/pydantic" target="_blank" rel="noopener noreferrer">Antwort gemäss einem JSON-Schema zu generieren</a>. Diese Instruktion fügt man dann gegen Ende des Prompts als zusätzliche Anweisung ein. Unser Nachbau dieser Technik sieht als Skizze etwa so aus:</p>
<pre><code>FORMAT_INSTRUCTIONS = """Deine Antwort muss als JSON Instanz formatiert sein, welche dem untenstehenden JSON Schema entspricht.

Beispiele: Für das Schema {{"properties": {{"foo": {{"title": "Foo", "description": "a list of strings", "type": "array", "items": {{"type": "string"}}}}}}, "required": ["foo"]}}}}
ist das Objekt {{"foo": ["bar", "baz"]}} eine wohlgeformte Instanz des Schemas. Das Objekt {{"properties": {{"foo": ["bar", "baz"]}}}} is nicht wohlgeformt.

Hier ist das Schema:
{schema}
"""
</code></pre>
<p>Dieses Prompt-Fragment ist übrigens selbst ein Besipiel für eine mächtige Prompting-Technik: Man gibt eine kleine Anzahl von Beispielen im Prompt an, das Modell lernt daraus gleich, was von ihm erwartet wird. Dieses Lernen aus wenigen Beispielen nennt man "few-shot learning".</p>
<p>Das benötigte Schema kann man nun bequem mit <a href="https://docs.pydantic.dev/" target="_blank" rel="noopener noreferrer">Pydantic</a> erzeugen, oder, wem das Spass macht, von Hand. Im Original von LangChain war diese Instruktion in Englisch, aber da der Rest des Prompts in Deutsch gehalten ist, haben wir das übersetzt. Das funktioniert gut so, offenbar werden im Modell Konzepte von einer Sprache in die andere übertragen, denn ich gehe nicht davon aus, dass das Modell mit vielen Deutschsprachigen JSON-Schemata und Python-Files trainiert wurde.
Schlussendlich bekommen wir mit dieser Technik eine Antwort, welche dem gegebenen Schema entspricht. Das Schema wählen wir so, dass wir die Daten gut weiterverarbeiten können. In der <a href="/jassen_mit_ki" target="_blank" rel="noopener noreferrer">Live-Demo</a> könnt Ihr den resultierenden Prompt unter "Prompt Gesamtanalyse" sehen. In der Anzeige des Resultats verwenden wir dann nur die Texte in den Feldern <code>Ansage</code> (als Titel) und <code>Begründung</code>  (als Fliesstext).</p>
<h5>Umlernen ist schwierig: Die Grenzen des Sprachmodells mit Algorithmen austricksen</h5>
<p>Als wir schon fast am Ziel waren, kamen wir an eine Grenze des Sprachmodells: Trotz einiger Versuche ist es uns nicht gelungen, das Sprachmodell zum Kopfstand zu bringen und die Welt mal als Undenufe zu betrachten. Die Macht des As war stärker als unsere Prompts. Was tun? Sollen wir es mit einem extra-Prompt nur für Undenufe probieren? Sollen wir die Funktionalität der Demo einschränken und auf Undenufe verzichten? Oder gibt es eine Möglichkeit, das Problem zu umgehen? Wir haben den Weg gewählt, einen klassischen Algorithmus einzubauen, der das Sprachmodell bei dieser Schwäche unterstützt. Wir haben eine kleine Python-Funktion gebaut, welche für das gegebene Kartenblatt die Basis für das Anwenden von Faustregeln berechnet. Die Funktion berechnet die Anzahl sicherer Stiche (d.h. alle Stiche,  die man am Anfang beim Undenufe-Spiel ohne Unterbruch ausspielen kann) und ebenso "fast sichere Stiche", also solche, die man mit etwas partnerseitigem Kartenglück auch noch machen kann (z.B. eine 8 zu einer 6 oder ein Banner zu einer 6,7,8er Folge). Diese Information geben wir dem Sprachmodell im Prompt für die Schlussanalyse mit, und dann kann es die Faustregeln, welche auf solchen Stichen beruhen, wieder selbst anwenden. Der Nutzen des Sprachmodells bleibt dabei erhalten: Es kann in der Begründung erklären, auf der Basis von welchen Faustregeln es die Ansage macht, auch wenn es selbst mit dem Erstellen der Basisinformationen überfordert ist. Wenn Ihr in der <a href="/jassen_mit_ki" target="_blank" rel="noopener noreferrer">Demo</a> die Prompts anschaut findet ihr die berechneten
Informationen in Form der "Obenabeliste" und "Undenufeliste" .</p>
<h5>Das Beste aus zwei Welten</h5>
<p>Bei der Entwicklung unserer Jass-Demo sind wir bis an die Grenzen der Sprachmodelle gestossen. Unsere Lösungen reichten von der kreativen Optimierung der Prompts, über die Einbindung von JSON-Schemas zur Strukturierung der Antworten, bis hin zur Kombination von klassischem Algorithmus und dem Sprachmodell. Dabei hat es sich bewährt, Stärken des KI-Sprachmodells und der "klassischen IT" miteinander zu kombinieren. Das Sprachmodell hat es ermöglicht, Entscheidungen auf der Basis von Regeln zu treffen und zu erklären, während die klassischen IT-Techniken die Berechnungen ausführen, die für das Sprachmodell zu komplex waren.</p>
<p>In unserem Projekt hat sich gezeigt, dass ähnlich wie beim Jassen die beste Strategie oft darin besteht, flexibel auf die jeweilige Situation zu reagieren - sei es beim Entscheiden, ob du 'schieben' oder 'ansagen' solltest, oder beim Wählen, ob du Python f-Strings, LangChain oder einen klassischen Algorithmus verwendest. Wie im Jassen sind die beste Entscheidungen oft diejenigen, die sich am flexibelsten an die Herausforderungen anpassen, die dir das Spiel - oder das Projekt - stellt.</p>
<p>Am Ende des Tages ist es nicht nur wichtig, die richtigen Werkzeuge zu haben, sondern auch zu wissen, wie und wann man sie einsetzt. Wir teilen unsere Erfahrungen gern, und Ihr könnt die Tipps in eigenen Projekten anwenden, oder uns kontaktieren, wenn Ihr Unterstützung braucht.</p>
<p>Und falls Ihr immer noch an der Frage hängt, ob Ihr eine Schere zur Bearbeitung der Prompts braucht – die Antwort ist immer noch nein. Aber mit der richtigen Mischung aus KI, klassischer IT und ein bisschen Kreativität kann man die Applikationen auf ein neues Level heben, ganz ohne Papier und Klebstoff.</p>


Der Blogbeitrag zeigt wie unsere Jass-Demo funktioniert.

poemAI: Die Technik hinter der KI Jass-Demo

Was ist die Technik hinter der KI, die Trumpf ansagen kann?

Wie bringt man einer KI das Jassen bei?

<p>Willkommen auf unserer Website und bei meinem neuesten Blog-Beitrag. Wenn Ihr das lesen könnt und Ihr das künstlerische Bild oben an diesem Post anschauen könnt, dann bedeutet das, dass unsere Website funktioniert. Aber wie sind wir in so kurzer Zeit so weit gekommen? Wenn man das Bild mit zugekniffenen Augen ansieht könnte man vielleicht so etwas wie drei Roboter erkennen, die in einem Serverraum tanzen. Das Bild habe ich ausgewählt, weil wir einige maschinelle Hilfe bei der Erstellung unserer Website hatten. Ich möchte Euch in diesem Blog-Beitrag zeigen, welche Werkzeuge wir verwendet haben und was diese leisten können.</p>
<p>Unsere Vision war eine schlanke Webseite mit flotten Animationen, einem sauberen Layout, selbst hergestellten Bildern und aktiven Demoinhalten, die das Potenzial von KI-Anwendungen illustrieren. Normalerweise ist das Design und die Planung einer solchen Website eine Aufgabe für ein kleines Expertenteam. Dazu braucht man Designer, Web-Entwickler, Backend-Entwickler, KI-Prompter, IT-Operations-Experten und Redaktoren. Davon können wir einiges, aber nicht alles.</p>
<p>Wir hatten nun die Idee, dass wir ja maschinelle Mitarbeiter anheuern könnten, und gemeinsam mit diesen würden wir unsere Website von Grund auf selber erstellen. Wir halten viel vom Motiv "eat your own dogfood" und wollten die künstliche Intelligenz auf die Probe stellen. Kann man als Webdesign-Laien mit Hilfe von KI in kurzer Zeit eine komplexe Webseite erstellen? Wie man nun sieht, hat das tatsächlich geklappt. Im Folgenden zeigen wir Euch, wie.</p>
<h5>Die Werkzeuge</h5>
<p>Wie schon kurz erwähnt sollte unsere Website folgende Elemente enthalten:</p>
<ul>
<li>Ein sauberes Layout</li>
<li>Eine eye-catching Animation von Neuronalen Netzwerken</li>
<li>Mindestens eine Demo, die den Einsatz von KI-Technologien bei einer Rechercheaufgabe illustriert (wir haben uns hier für <a href="/semantische_suche_baugesetze_luzern" target="_blank" rel="noopener noreferrer">semantische Suche</a> mit nachgelagerter Textgenerierung entschieden)</li>
<li>Ein paar schöne Bilder, die die Website auflockern</li>
<li>Texte die unsere Vision und unsere Dienstleistungen beschreiben</li>
</ul>
<p>Um die Website zu erstellen, haben wir folgende KI Werkzeuge und Elemente verwendet:</p>
<hr>
<table>
<thead>
<tr>
<th>Werkzeug</th>
<th></th>
<th>Quelle</th>
<th></th>
<th>Zweck</th>
</tr>
</thead>
<tbody>
<tr>
<td><a href="https://openai.com/chatgpt" target="_blank" rel="noopener noreferrer">ChatGPT</a></td>
<td></td>
<td>OpenAI</td>
<td></td>
<td>Textgenerierung, Lernen</td>
</tr>
<tr>
<td><a href="https://github.com/features/copilot" target="_blank" rel="noopener noreferrer">Github Copilot </a></td>
<td></td>
<td>Github</td>
<td></td>
<td>Codeassistent, Schreibassistent</td>
</tr>
<tr>
<td>GPT-3.5-turbo</td>
<td></td>
<td>OpenAI</td>
<td></td>
<td>Textgenerierung</td>
</tr>
<tr>
<td>text-embedding-ada-002</td>
<td></td>
<td>OpenAI</td>
<td></td>
<td>Semantische Analyse von Texten</td>
</tr>
<tr>
<td>Stable Diffusion</td>
<td></td>
<td>stability.ai</td>
<td></td>
<td>Generieren von Bildern</td>
</tr>
</tbody>
</table>
<hr>
<p></p>
<p>In diesem Blogpost erläutere ich die Verwendung von Github Copilot und ChatGPT. Wie wir semantische Suche mit Textproduktion implementiert haben, und wie wir zu den Bildern gekommen sind, werde ich in späteren Blogposts beschreiben.</p>
<h5>GitHub Copilot</h5>
<p>Entlang des gesamten Produktionsprozesses war <a href="https://github.com/features/copilot" target="_blank" rel="noopener noreferrer">Github Copilot </a> tatsächlich mein Co-Pilot. Github Copilot ist ein fantastisches KI-Tool, das den Kontext des Codes versteht und aufgrund dieses Kontexts diskret den nächsten Codeabschnitt vorschlägt. Es ist, als hätte man einen erfahrenen Programmierer neben sich sitzen, der immer wieder mal einen Tipp gibt. Bei der Entwicklung der aktiven Teile der Seite mit React.js habe ich dieses Feature enorm geschätzt. So sehr ich das Programmieren auch liebe, muss ich zugeben, dass das Suchen nach Code-Schnipseln und Dokumentationen ziemlich nervig sein kann. Es unterbricht den Flow und nimmt viel Zeit in Anspruch. Aber mit Github Copilot an meiner Seite fühlte sich der Entwicklungsprozess massiv anders an. Es war, als hätte ich einen Assistenten, der stets wusste, was ich brauche. Er konnte den Code, den ich im Begriff war zu schreiben antizipieren und mir qualitativ hochwertige Vorschläge machen. Somit konnte mich mehr auf das Gesamtbild und die Struktur der Website konzentrieren, anstatt mich in den Details zu verlieren.</p>
<p>Ich möchte Euch Copilot an einem interessanten Beispiel vorführen. Ich arbeitete an einem speziellen Teil des React.js-Codes auf unserer Website. Er ist dafür verantwortlich, dieses Bild mit dem neuronalen Netzwerk auf unserer Seite zu animieren:</p>
<p><img src="/assets/blogimg/mini_ai_animation.gif" alt="Neuronales Netzwerk"></p>
<p>Wer sich schon einmal mit Vektorgeometrie und Animation auseinandergesetzt hat, weiss, dass es sich dabei um eine äusserst anspruchsvolle Thematik handelt. Vielleicht erinnert Ihr Euch an lange Mathestunden am Gymnasium mit pfeilübersäten Wandtafeln. Just in diesem Bereich hat mich Github Copilot einmal mehr überrascht.</p>
<p>Die KI hat nicht nur den Stil meiner vorherigen Codes nachgeahmt, sie hat einen komplexen Code vorgeschlagen, um die Vektorgeometrie in der Animation zu handhaben. Die Lösung war präzise, korrekt und überraschend gut passend. Ich habe einen ganz kleinen Ausschnitt aus dem gesamten Prozess in einem animierten Gif festgehalten:</p>
<p><img src="/assets/blogimg/copilot_code_completion.gif" alt="Github Copilot schreibt Vektorgeometrie-Code"></p>
<p>Man sieht, wie Copilot und ich zusammenarbeiten. Das Graue ist jeweils der Vorschlag der KI, den ich annehmen kann. Wenn mir der Vorschlag nicht gefällt, schreibe ich einfach weiter, und sofort passt die KI sich an und macht bald einen neuen Vorschlag. Es ist erstaunlich, wie gut die KI dabei den Kontext und die Struktur des Codes versteht, aber auch auf welchen grossen Schatz an Code aus verschiedensten Anwendungsbereichen sie zurückgreifen kann - dass das Modell den Code von 54 Millionen GitHub Projekten gelesen hat, merkt man hier gut.</p>
<p>Ich benutze den Copilot nun schon seit mehreren Monaten, und es passiert trotzdem immer wieder, dass mich die KI mit extrem gut passendem Code überrascht.</p>
<h5>Copilot als Schreibassistent</h5>
<p>Eine nette Entdeckung auf unserer Reise war, dass Github Copilot nicht nur beim Programmieren assistiert. Ein bedeutender Teil unserer Arbeit ist es, Texte zu generieren. Wir erstellen Inhalte für unsere Website, darunter Dokumentationen und Blogbeiträge. Und es hat sich gezeigt, dass Github Copilot auch in diesem Bereich eine grosse Hilfe ist.</p>
<p>Dies funktioniert in gewöhnlichen "Plain Text" files, aber besonders gut geht es beim Verwenden von Markdown. Ich beginne einen Satz, Github Copilot schlägt die Vervollständigung vor und ehe ich mich versehe, habe ich einen vollständig fertigen, gut formatierten Textbeitrag. Es ist wie ein Co-Autor, der immer da ist, bereit, mit Ideen und Vorschlägen einzuspringen.</p>
<p>Auch dazu haben wir ein kleines Gif-Filmchen erstellt, das einen Einblick in die Textergänzungsfunktion von Github Copilot gibt:</p>
<p><img src="/assets/blogimg/copilot_text_completion.gif" alt="Github Copilot in Aktion"></p>
<p>In diesem Gif schreibe ich einen Abschnitt dieses Blogposts. Ich beginne etwas zu schreiben, und sobald Copilot genug Kontext hat, schlägt er mir eine Vervollständigung (in grau) vor. Wenn sie mir gefällt, akzeptiere ich sie, und wenn nicht, schreibe ich einfach weiter. Das Tool trifft nicht immer genau ins Schwarze, aber es gibt mir oft einen Anfangspunkt. Noch besser ist seine Fähigkeit, den Kontext zu verstehen. Wenn ich etwas schreibe, das sich auf einen vorherigen Abschnitt bezieht, ist es klug genug, Vorschläge zu machen, die dazu passen. Es ist nicht perfekt, aber es ist ein leistungsfähiges Werkzeug.</p>
<h5>ChatGPT</h5>
<p>ChatGPT kann in vielen Belangen dienlich sein. Sehr schätzen gelernt haben wir dieses KI-Tool im  Zusammenhang mit dem Erlernen von neuen Konzepten. Wir haben den Chatbot als Tutor genutzt um Lerngespräche zu führen.</p>
<p>Das Lerngespräch beginnt man mit einer einfachen, allgemeinen Frage zu einem Thema. Dann taucht man tiefer ein und stellt spezifischere Fragen zu Dingen, die man noch nicht ganz versteht. Es ist einfach, effizient, spannend und lehrreich. Zum Beispiel habe ich ChatGPT verwendet, um in Themen wie "Semantische Suche" und "Perplexität" einzutauchen und ein solides Verständnis dafür zu erlangen. Gelernt habe ich, dass semantische Suche im Wesentlichen eine Technik zur Datensuche ist, die die Absicht des Benutzers und die kontextuelle Bedeutung einer Suche versteht. Perplexität ist ein Mass dafür, wie gut eine Wahrscheinlichkeitsverteilung ein Ereignis vorhersagt. Falls Du das noch nicht ganz verstehst - löchere doch mal ChatGPT in Form eines Lerngesprächs. Beachte dabei, dass es wirklich ein Gespräch sein sollte. Kurze Antworten auf faktische Fragen ("Wer hat das KKL gebaut?") sind keine Stärke von ChatGPT, dafür benutzt man besser eine Suchmaschine. Aber je mehr Kontext es gibt und je mehr es um Zusammenhänge zwischen Konzepten geht, desto besser wird die Qualität der Antworten und der Lerneffekt.</p>
<p>Für ein Lerngespräch habe ich auch ein Beispiel bereit:</p>
<table>
<thead>
<tr>
<th>Teil 1</th>
<th></th>
<th>Teil 2</th>
</tr>
</thead>
<tbody>
<tr>
<td><img src="/assets/blogimg/perplexity_chat_1.gif" alt="Lerngespräch Perplexität Teil 1"></td>
<td></td>
<td><img src="/assets/blogimg/perplexity_chat_2.gif" alt="Lerngespräch Perplexität Teil 2"></td>
</tr>
</tbody>
</table>
<p></p>
<p>Wie Ihr seht habe ich mir hier GPT4 als Modell gegönnt, die Antworten sind noch etwas besser als mit GPT-3.5, aber auch mit dem Standardmodell sind die Gespräche sehr lehrreich. Nach diesen Antworten möchte man gleich weiterfragen "Was hat das alles mit Logarithmen und Entropie zu tun?" - falls einen das interessiert. Wer genau hingeschaut hat im GIF-Film, bemerkt: Es handelt sich um einen geduldigen Lehrer - Er muss Grammatikfehler, die ich in der Hitze des Gefechts gemacht habe, nicht gleich korrigieren. Ihr braucht keine Angst vor "dummen" oder schlecht formulierten Fragen zu haben.</p>
<p>Im Zusammenhang mit der Entwicklung unserer Website und der Beschäftigung mit next.js führte ich interessante Lerngespräche zu nicht wirklich selbsterklärenden Konzepten wie 'Pre-Rendering', 'Server-Side Rendering' und 'Static Generation'. Wenn man etwas Neues lernt, ist der Prozess nicht linear. Man stolpert, fällt, versucht zu verstehen, und schliesslich begreift man. Es ist wie das Zusammensetzen eines komplexen Puzzles. ChatGPT war in diesem Prozess an meiner Seite und brachte mich Stück für Stück weiter.</p>
<h5>Und was ist mit den Robotern?</h5>
<p>Ich habe Euch nun einige der Werkzeuge gezeigt, die wir im Werkzeugkasten haben. Sie helfen uns dabei, Projekte für unsere Kunden effizient umzusetzen. In Kundenprojekten reicht es nicht, nur Copilot und ChatGPT zu verwenden. Hier geht es darum, Sprachmodelle und semantische Analyse und Suche in  Applikationen und Geschäftsprozesse zu integrieren. Dies sind die Technologien, die im Maschinenraum unserer Demo <a href="/semantische_suche_baugesetze_luzern" target="_blank" rel="noopener noreferrer">Semantische Suche in den Luzerner Bau- und Zonenreglementen</a> vor sich hin werkeln. In einem zukünftigen Blog werde ich die Mechanismen hinter der Demo genauer beleuchten. Und bald werden wir auch das Geheimnis darüber lüften, wie die drei Roboter in den Serverraum gekommen sind.</p>


Der Blogbeitrag zeigt wie wir künstliche Intelligenz eingesetzt haben, um unsere Website zu erstellen

poemAI: KI in der Webentwicklung

Wie wir künstliche Intelligenz eingesetzt haben, um unsere Website zu erstellen

Wie haben wir poemAI.ch gebaut? Mit KI!

<p>Der KI-Kosmos entwickelt sich rasant. Besonders gut ist das zurzeit daran erkennbar, dass im letzten Jahr trainierte Modelle bzw. künstliche Intelligenzen bereits überholt sind oder dass Chatbots, die noch vor 2 Jahren entwickelt worden sind, heute aus technischer Sicht bereits veraltet sind. Denn es hat ein Quantensprung stattgefunden, dessen Nutzen der breiten Öffentlichkeit etwas entgangen ist. Dies erkennen wir daran, mit welchen Argumenten in den Medien von Exponenten des öffentlichen Lebens bis hin zu Kolumnistinnen über KI räsoniert wird. Dies ist allerdings verzeihlich, denn heute auf dem Markt befindliche Chatbots überzeugen oft tatsächlich nicht. Chatbot ist allerdings nicht gleich Chatbot.</p>
<p>Gerade am Beispiel Chatbot kann die rasante technische Entwicklung sehr gut illustriert werden.</p>
<p><strong>Am Anfang war die klassische IT.</strong> Man kann schon lange Bots erstellen, indem die Maschine mit eindeutigen Regeln zur Bearbeitung von Inputs programmiert wird. Wenn der Maschine dann spezifische Fragen in einem festgelegten Format gestellt werden, wendet sie diese vordefinierten Regeln an und liefert eine vorab festgelegte Antwort. Wenn jedoch die Fragen nicht genau im vorgegebenen Format eingegeben werden oder wenn für die gestellte Frage keine vorprogrammierten Informationen vorhanden sind, versagt der Bot.</p>
<p><strong>Dann kam das machine learning.</strong> Beim machine learning werden kleine neuronale Netzte bzw. Sprachmodelle trainiert. Das Training verläuft in der Regel so, dass die Maschine mit sehr vielen Beispielen gefüttert wird und selber Regeln zur spezifischen Problemlösung entdeckt und anwendet. Dies ist mit sehr viel Aufwand verbunden und die Bots können nur Aufgaben lösen, für die sie spezifisch trainiert worden sind. Im Gegensatz zu den Bots, die mit klassischer IT programmiert worden sind, sind sie jedoch nicht mehr auf exakt vorgegebenen Wortlaut bei der Fragestellung angewiesen und das Programmieren von jeglichen erdenklichen Antwortmöglichkeiten wurde hinfällig. Für viele Anwendungsfälle ist auch heute noch das Training von Modellen die beste Lösung - aber längst nicht für alle.</p>
<p><strong>Heute werden fast wöchentlich neue generische vortrainierte Modelle geboren.</strong> 2018 wurden die ersten sogenannten large language Models vorgestellt. Sie bilden die Gundlage für die neuen generativen (engl: generative) vortrainierten (engl: pretrained) Modelle. Die sind nicht nur niederschwellig für alle und jeden zugänglich, sie läuteten auch eine neue Ära der Informationsverarbeitung ein. Das prominenteste Beispiel eines Bots dieser neusten Generation ist <a href="https://chat.openai.com/" target="_blank" rel="noopener noreferrer">ChatGPT</a> - wie es der Name sagt ein generischer vortrainierter Chatbot. Es werden fast wöchentliche neue vortrainierte Modelle vorgestellt – alle mit interessanten spezifischen Eigenschaften. Zu finden sind sie z.B. auf <a href="https://huggingface.co/" target="_blank" rel="noopener noreferrer">Hugging Face</a>. Und das ist der oben erwähnte Quantensprung: wer KI nutzen möchte, muss nicht mehr für jeden Anwendungsfall selber Modelle trainieren. Er kann für viele Anwendungen auf vortrainierte Modelle zurückgreifen und so KI niederschwellig und effizient nutzen. Ein Beispiel für eine solche Nutzung stellen wir in unserem Demobeispiel <a href="/semantische_suche_baugesetze_luzern" target="_blank" rel="noopener noreferrer">Semantische Suche in den Luzerner Bau- und Zonenreglementen</a> vor.</p>
<p>So. Diesen Text haben wir ganz ohne KI geschrieben. Vielleicht ein Fehler? Hätten wir die ChatGPT-Version nehmen sollen? Folgender Text ist mit dem prompt «schreibe den obigen Text in lustig» entstanden:</p>
<h5>Chatbots im Wandel der Zeit: Von Retro bis Hightech</h5>
<p>Der verdammte KI-Kosmos entwickelt sich so schnell weiter, dass die Modelle von gestern schon so out sind wie ein Faxgerät im Jahr 2023. Ich meine, Leute, vor gerade mal zwei Jahren waren die Chatbots der absolute Shit, aber jetzt sind sie technisch gesehen so veraltet wie ein Game Boy Color. Da hat doch echt ein Mega-Sprung stattgefunden, von dem die meisten von euch vermutlich noch gar nichts mitbekommen haben. Und das merkt man daran, wie die Promis und Kolumnistinnen in den Medien über KI labern. Apropos, kennt ihr diese Chatbots, die so gar nichts draufhaben? Ich sag nur: Epic Fail!</p>
<p>Lasst mich euch am Beispiel Chatbot zeigen, wie krass sich die Technik entwickelt hat. Am Anfang gab's die gute alte IT, wo man einen Bot gebastelt hat, indem man ihm klare Regeln zur Verarbeitung von Inputs eingetrichtert hat. Wenn man dann der Maschine eine spezifische Frage im genau vorgegebenen Wortlaut gestellt hat, hat sie diese Regeln angewendet und 'ne vordefinierte Antwort ausgespuckt. Aber wehe, die Fragen waren nicht nach dem Regelbuch gestellt oder es gab keine vorprogrammierten Infos dazu - der Bot war einfach überfordert, Alter.</p>
<p>Dann kam die erste Phase der KI, wo es plötzlich Methoden und Ressourcen gab, um spezielle Modelle zu allen möglichen Themen zu trainieren. Das lief so ab, dass man der Maschine eine riesige Ladung Beispiele reingeschoben hat und sie dann selbst Regeln zur Problemlösung entdeckt und angewendet hat. Das war echt 'ne Menge Arbeit, und die Bots konnten nur Aufgaben erledigen, für die sie speziell trainiert worden waren. Im Gegensatz zu den ollen IT-Bots waren diese aber nicht mehr so krass auf den exakten Wortlaut der Fragen angewiesen, und das ewige Programmieren von tausend verschiedenen Antwortmöglichkeiten war Geschichte. Danke, KI!</p>
<p>Und jetzt werden fast jede Woche neue supercoole vortrainierte Modelle geboren. Das sind so generische Dinger, die nicht nur für jedermann easy peasy zugänglich sind, sondern auch eine neue Ära in der Informationsverarbeitung einläuten. Das absolute Highlight unter den Bots dieser neuen Generation ist ChatGPT. Der Name sagt ja schon alles - ein generischer vortrainierter Chatbot. Und fast jede Woche werden neue vortrainierte Modelle vorgestellt, die alle so interessante spezifische Eigenschaften haben. Ihr könnt die Dinger zum Beispiel auf Hugging Face finden (ja, echt!). Das ist der absolute Gamechanger, Leute: Wenn ihr KI nutzen wollt, müsst ihr nicht mehr für jede kleine Anwendung selbst Modelle trainieren. Ihr könnt auf diese vortrainierten Teile zurückgreifen und KI viel einfacher und effizienter nutzen. Ist das nicht der Hammer? Wir zeigen euch das in unserem mega Demobeispiel "Semantische Suche in den Luzerner Bau- und Zonenreglementen". Oh ja, da geht's ab, Baby!</p>


Der Blogbeitrag plädiert dafür, Chatbots eine neue Chance zu geben. Künstliche Intelligenz macht Chatbots zu einem wertvollen Tool für Unternehmen.

poemAI Blog