Sichere KI-Nutzung Ihrer Unternehmensdaten mit LLMs für Chatbots und interne Recherche

Large Language Models (LLMs) haben die Softwareentwicklung bereits stark verändert: Sie übernehmen Teile der Implementierung, während Menschen Ziele vorgeben, Ergebnisse prüfen und den Code überwachen. Hierbei ist der Einsatz jedoch vergleichsweise einfach, weil Code häufig keine besonders schutzbedürftigen Informationen enthält.

Bei Unternehmensdaten ist das anders: Sie sind oft vertraulich und können nicht ohne Weiteres in Cloud-Systeme übertragen werden. Deshalb verläuft der Einsatz von LLMs auf eigenen Businessdaten deutlich langsamer.

Um dieses Dilemma zu lösen, bieten wir Unternehmen im Rahmen unseres DiReKT-Projekts eine niederschwellige und kostenlose Möglichkeit, solche Experimente in einem geschützten Datenraum durchzuführen. Dabei nutzen wir LLMs, die auf einem dedizierten, von uns kontrollierten Server in einem deutschen Rechenzentrum betrieben werden. Nutzerinnen und Nutzer können dann Fragen an diese Modelle zu internen Informationsbeständen stellen.

Dafür entwickeln wir ein System, das leistungsfähige Sprachmodelle mit einer Retrieval-Komponente und Zugriffskontrollen verbindet. Die Retrieval-Komponente sorgt dafür, dass die jeweils relevanten Informationen aus den vorhandenen Datenbeständen gefunden und dem LLM gezielt bereitgestellt werden. Über Integrationen können dabei unterschiedliche Datenquellen eingebunden werden, zum Beispiel Dokumentensammlungen, E-Mail-Bestände, Datenbanken oder andere interne Wissensquellen.

Für diese Informationssuche werden verschiedene Verfahren kombiniert. Zum Beispiel klassische Embeddings, automatisch generierte Suchanfragen auf Basis der Nutzerfrage, die Nutzung von Metadaten wie Absender, Empfänger, Datum oder Betreff bei E-Mails, die Auswertung von Inhaltsverzeichnissen und Schlagwortregistern sowie gezielte Abfragen strukturierter Daten, etwa über SQL. Gleichzeitig muss das System berücksichtigen, welche Personen auf welche Informationen zugreifen dürfen. Zugriffskontrollen stellen sicher, dass Daten, die nur für bestimmte Personen oder Rollen bestimmt sind, nicht an andere Nutzerinnen und Nutzer weitergegeben werden.

Unternehmen können von der Kombination aus LLMs, RAG-Systemen und Zugriffskontrolle profitieren, da mit ihrer Hilfe Informationsbestände treffender und schneller genutzt werden.

Unser Angebot richtet sich insbesondere an kleine und mittlere Unternehmen aus der Region Mainfranken. Wir unterstützen sie mit Open-Source-Komponenten sowie im Projekt entwickelten Bausteinen bei der Erstellung kleiner, lauffähiger Prototypen. So können Unternehmen den praktischen Nutzen solcher Anwendungen niederschwellig erproben.

Die Kosten werden im EU-geförderten Projekt EFRE DiReKT übernommen. Haben Sie Interesse an einem unverbindlichen Austausch zu den Möglichkeiten der Implementierung von KI-Technologien in Ihr Unternehmen? Kontaktieren Sie uns hier.