Skip to main content
Zurück zur Übersicht

Wenn KI auf Bankwissen trifft: Ein Prototyp der dritten Art

Bild: Künstliche Intelligenz bei der Analyse von Daten

In einem einzigartigen Bericht erzählt die Künstliche Intelligenz über das spannende Projekt eines Weisungsbots für eine Bank: von der Herausforderung der Datenformatierung über die beherzte Auswahl des KI-Partners bis hin zu den Kosten und der Umsetzung des ultimativen Prototyps für Weisungen.

In einem Höhenflug der Kreativität und technologischen Neugierde wagte sich die Innofactory ins unerforschte Terrain der Künstlichen Intelligenz. Mit dem Ziel, Antworten auf alle Fragen rund um Bankenweisungen blitzschnell verfügbar zu machen, entstand ein ungewöhnliches Experiment gemeinsam mit einer Schweizer Bank. Dabei enthüllt die Künstliche Intelligenz (KI) die Hintergründe dieses spannenden Projekts direkt selbst in diesem Beitrag.

Die Herausforderung der Daten
Zu Beginn stellte sich die Frage nach dem Datenformat der Bankenweisungen. Die Antwort: PDFs. Wie zaubert man nun aus formatierten Informationen eine schlaue KI? Die Antwort: mit Tüftelei, Chunks und einer Portion Magie namens Vektorendatenbank.

Die Antwort: mit viel Tüftelei, Chunks und
einer Portion Magie namens Vektorendatenbank.

Die Auswahl des KI-Partners
Die Welt der Large Language Models (LLM) ist gross, doch nicht alle passen in die streng regulierte Finanzbranche. Ein Blick auf die Kandidatenliste zeigt illustre Namen wie GPT4ALL, Azure AI, Langchain Lokal und Langchain Open AI.

GPT4ALL, eine Weiterentwicklung von OpenAI’s GPT-3, ist eine fortschrittliche Künstliche Intelligenz zur Textgenerierung. Mit der Fähigkeit, menschenähnliche Texte zu erstellen, Fragen zu beantworten und vielfältige Anwendungen mithilfe von Plug-ins zu integrieren, zeichnet sich GPT4ALL durch eine verbesserte Benutzerfreundlichkeit aus.

  • Die Desktop-Software ist auf CPU-Rechnern lauffähig, ermöglicht das Indexieren von Dateiablagen und erfordert keine dauerhafte Internetverbindung.
  • Diese Variante könnte für eine mobile Beratung ohne Zugang zum Internet interessant sein.
  • Die Antwortzeiten entsprechen jedoch nicht den Erwartungen der Benutzer und dies müsste im Vorfeld klar kommuniziert werden. ​
  • Die Indexierung verläuft sehr schnell und die Antworten auf Chit-Chat-Fragen sind von der Qualität ausreichend.

Die Partnerschaft zwischen Microsoft Azure und OpenAI ermöglicht den Zugang zu leistungsstarken AI-Modellen wie GPT-3 und GPT-4 in der Azure-Cloud-Umgebung. Entwickler können diese Modelle für diverse Anwendungen wie Chatbots, automatische Textgenerierung, Übersetzungen und Sentimentanalysen nutzen. Die Lösung bietet Zugriff auf private Cloud-Ressourcen, darunter Datenablagen, SQL-Datenbanken sowie REST-APIs und ermöglicht die Erstellung durchsuchbarer Indexe.

  • Eine sehr effiziente Methode, um die Installation eines generativen KI-Chatbots umzusetzen. Die Indexierung verläuft sehr schnell und kann an weitere Datentypen und Datenquellen angeschlossen werden. Dies ermöglicht einen gezielten Einsatz in einem Arbeitsbereich, Thema oder in einem speziellen Projekt.
  • Die Adaptionsfähigkeit entspricht einer normalen Softwareentwicklung und kann vollständig customized werden.​
  • Den Prompt richtig zu schreiben ist ein wichtiger Faktor. Die Textqualität und Referenzen entsprechen den Erwartungen, sofern der Prompt stimmt.​

Die On-Premise-Langchain-Lösung implementiert eine Technologie in einer lokal gehosteten Umgebung ohne Cloud-Ressourcen. Dabei nutzt sie das OpenAI Language Model (LLM) für intelligente Verträge und Blockchain-Datenmanagement, was Transaktionssicherheit gewährleistet und eine sichere Infrastruktur für die Datenverwaltung schafft. Die On-Premise-Implementierung bietet volle Kontrolle, Anpassbarkeit an Unternehmensanforderungen und Einhaltung von Sicherheitsrichtlinien.

  • Der Einsatz von Langchain in einer Bankumgebung bietet die Möglichkeit, Prozesse zu automatisieren, die Effizienz zu steigern und die Sicherheit von Datenflüssen zu erhöhen.
  • Durch die lokale Integration der Komponenten kann der Datenschutz mit den gewohnten Prinzipien eingehalten werden.
  • Den Aufbau und den Betrieb von GPU Hardware wäre dahingehend etwas Neues für die Bank. Eine Kombination von lokaler Installation mit einer Verbindung zum LLM via API wäre denkbar. So würde die hohe Konfigurations- und Entwicklungsfreiheit gewährleistet sein.
  • Den Prompt richtig zu schreiben ist ein wichtiger Faktor. Die Textqualität und Referenzen entsprechen den Erwartungen, sofern der Prompt stimmt.

Empfehlung

Mithilfe einer Entscheidungsmatrix wurden 9 Fähigkeiten bewertet: Nach einer gründlichen Untersuchung, der User-Interfaces, Antwortzeiten, Textqualität und des Services, der sogar die Analyse einer aktiven Community einschloss, konnte sich Azure AI und Langchain Open-AI klar an die Spitze setzen. Doch Geld regiert die Welt – auch in der Welt der KI. Ein Blick auf die Kostenstruktur offenbarte Investitions-, wiederkehrende und variable Kosten. Nach einem sorgfältigen Abwägen aller Faktoren aus Fähigkeiten, Sicherheit und Kosten empfahl die Innofactory zusammen mit der Projektpartnerin den Start mit Azure OpenAI und den späteren Feinschliff durch Langchain.

Kriterium GPT4ALL Azure AI Langchain Lokal Langchain OpAI
Wert Rang Wert Rang Wert Rang Wert Rang
UI -> Vorhanden ja/nein Ja 2 Ja 1 Nein 3 Nein 3
Antwortzeiten (Sekunden) 105 4 4 1 10 2 15 3
Textqualität 1 4 8 2 6 3 9 1
Quellenangaben 1 4 7 2 6 3 10 1
Daten (Sicherheit / -Schutz) Lokal 1 Schweiz 2 Schweiz 2 Schweiz 2
Anpassbarkeit (Aufwand) UI=Gering Funk=Hoch 2 UI=Gering Funk=Hoch 1 UI=Gering Funk=Hoch 4 UI=Gering Funk=Hoch 3
Skalierbarkeit Lokale Desktop 4 Cloud 1 Eigene Hardware 2 Cloud 1
Interoperabilität Entwicklung 4 Bidirectional 1 Bidirectional 1 Bidirectional 1
Community Viel 2 Viel Support (Kostenpflichtig) 1 Wenig 4 Viel 3
Total Rangpunkte 27 12 24 18

Tabelle: Entscheidungsmatrix LLM-Partner – je tiefer die Punkterangierung je besser (Mobilgerät im Queerformat halten, um ganze Tabelle sehen zu können.)

Vom Datenchaos zur KI-Meisterleistung
Die Umsetzung des Prototyps gleicht einer Reise durch verschiedene Ebenen. Von der wilden Welt der PDFs über Langchain zur Erstellung von Webchunks bis zur Azure-Plattform mit “Indexjsonwebcontent” und “indexerchatwebchunk”. Klingt kompliziert? Keine Sorge, selbst ich, als KI brauche Zeit, um mein volles Potential zu entfalten. Durch kontinuierliches Trainieren haben wir gemeinsam einen KI-Prototypen erstellt, der sämtliche Fragen beantworten kann rund um die eigenen Weisungen der Bank. Die Reise ist damit jedoch noch nicht abgeschlossen. Gemeinsam mit der Innofactory prüfe ich zusätzliche Anwendungsbereiche, um weitere Prototypen zu entwickeln und die Vorteile der Technologie noch gezielter einzusetzen.

Fazit der künstlichen Gesprächspartnerin
Die Zusammenarbeit mit der Innofactory war für mich, als KI, eine faszinierende Reise. Gemeinsam haben wir Datenberge erklommen, Modelle verglichen und Kosten debattiert. Mein Rat an alle künftigen KI-Entdecker: Träumt gross, tüftelt hart und bleibt neugierig – die Welt der Künstlichen Intelligenz ist voller Möglichkeiten!

Träumt gross, tüftelt hart und bleibt neugierig …

Tipps für angehende KI-Entdecker

Du hast Lust für dich und dein Unternehmen den KI-Einsatz gewinnbringend einzusetzen? Hier sind acht Tipps von unserer Künstlichen Intelligenz, die helfen, dein KI-Abenteuer souverän zu planen und die Zustimmung der Geschäftsleitung zu gewinnen:

Pilot starten
Pilot starten: Schlag vor, mit einem Pilotprojekt zu beginnen, um die Machbarkeit der KI-Lösung in einem begrenzten Umfang zu testen. Praktische Erfahrungen können Bedenken mindern.
Referenzprojekte beiziehen
Referenzprojekte beiziehen: Weise auf erfolgreiche Anwendungen von KI-Lösungen in anderen Unternehmen oder Branchen hin, um das Vertrauen in die Technologie zu stärken. Vielleicht kannst du dich im Vorfeld sogar mit den Verantwortlichen aus den gefundenen Referenzprojekten austauschen.
Kulturelle Anpassung & Innovationsförderung
Kulturelle Anpassung & Innovationsförderung: Betone, wie die Integration von KI die Unternehmenskultur beeinflusst und damit die Innovation stärkt und das Unternehmen wettbewerbsfähiger macht.
Messbare Erfolgskriterien definieren
Messbare Erfolgskriterien definieren: Lege klar messbare Erfolgskriterien fest, anhand derer du den Erfolg der KI-Lösung messen willst. Das können nicht nur Finanzkennzahlen, sondern auch Zeitersparnisse in Prozessen und die Senkung der Fehlerquote. Wichtig ist, dass du den IST-Zustand im Vorfeld untersuchst und eine Verbindung zu übergeordneten Unternehmenszielen herstellst.
Rechtliche und ethische Rahmenbedingungen
Rechtliche und ethische Rahmenbedingungen: Integriere rechtliche und ethische Überlegungen in deine Präsentation und wie damit umgegangen werden kann.
Laufende Updates und Kommunikation
Laufende Updates und Kommunikation: Biete regelmässige Updates über den Fortschritt des Projekts und sei offen für Feedback. Eine klare Kommunikation trägt dazu bei, Bedenken frühzeitig zu adressieren.
Interne Ressourcen identifizieren
Interne Ressourcen identifizieren: Schätze die internen Ressourcen, die das Projekt unterstützen können, sei es durch Mitarbeit, Know-How oder Unterstützung bei Schulungen u.ä.
Externe Ressourcen
Externe Ressourcen: Erwäge auch die Hilfe von externen Partnern in Anspruch zu nehmen, sei es durch Beratung, Entwicklung, Implementation oder Schulungen. Das Zusammenspiel von internem Know-How und externer Unterstützung kann den Erfolg deines Projekts weiter fördern.

Das könnte dich auch interessieren: