Self-Hosted / Privatsphäre-Fokussierter KI-Sprach-Bot
Innerhalb der Informatikdienste wird jedes Jahr ein ID-Innovationspreis vergeben. Eine der Bewertungskriterien ist u.a der Innovationsgehalt und ob es wirklich eine neue Idee an der ETH oder innerhalb der ID ist.
Dieses Jahr hat das Projekt mit dem Namen «Self-Hosted / Privatsphäre-Fokussierter KI-Sprach-Bot» den ID-Innovationspreis gewonnen (zusammen mit «Chatbot mit ChatGPT4»). Der Name tönt kompliziert. Dabei sagt der Titel schon viel über das Projekt.
Matrix.org ist ein Messanger-Dienst wie Slack oder WhatsApp. Wenn man angemeldet ist, kann man in einem Raum mit anderen Teilnehmenden Informationen austauschen, ähnlich wie man das in einer WhatsApp-Gruppe gewohnt ist. Der Vorteil von Matrix.org ist, dass die Software Opensource und die Kommunikation dezentralisiert ist. Es gibt also keine zentrale Serverinstallation, über welche alle Kommunikation läuft. Stattdessen kann jede beliebige Organisation einen Matrix-Server betreiben. Das ist aus Datenschutzgründen relevant. Wenn meine Organisation einen Matrix-Server betreibt, ist diese Organisation verantwortlich dafür, dass die Informationen sicher und geschützt übermittelt werden.
Die Informatikdienste betreiben einen solchen Matrix-Server. Damit ist die Voraussetzung für eine Kommunikation, welche die Privatsphäre schützt, vorhanden. Dieses Angebot wird rege genutzt. Auf dem Matrix-Netz der Informatikdienste gibt es etliche Räume und einen regen Informationsaustausch.
Diese Voraussetzungen haben Mitglieder in der ID-Software-Entwickler-Community zu einem Experiment veranlasst. Wäre es nicht möglich, so seine Frage, einen Matrix-Raum anzubieten, in welchem nicht eine Person auf Fragen antwortet, sondern ein KI gesteuerter Chat-Bot?
Um diese Idee zu testen, kopierten sie sich das vortrainierte und öffentlich verfügbare Sprachmodell LLaMA herunter, integrierte dieses in eine kleine Server-Anwendung und fertig war der Sprach-Bot.
Das Ergebnis funktioniert erstaunlich gut. Es ist allerdings noch nicht stabil genug, dass es für einen produktiven Einsatz genutzt werden könnte. Ausserdem ist der Sprach-Bot nicht fein abgestimmt, was seinen Sprachschatz und sein Antwortverhalten betreffen. Das macht sich beispielsweise in Antworten bemerkbar, die als Halluzinationen bezeichnet werden können.
Die Machine Learning Insights Group der Software-Entwickler-Community will auf diesem Projekt aufbauen und die Anwendung schrittweise so weit bringen, dass sie dereinst für den produktiven Einsatz bei den Informatikdiensten eingesetzt werden kann.
Kontakt
Innovationspreis-Teammitglieder: Gerhard Bräunlich, ID SIS, Uwe Schmitt, ID SIS, Aires Marques, ID CCR & Benno Luthiger, ID APPS & Community-Head, Informatikdienste, ID-Fachkarriere
Posted on
in News, Software, Arbeitsplätze, Support
