Überlegungen zu RAG-Systemen in der Produkt- und Serviceentwicklung

Diese Systeme bieten eine einzigartige Kombination aus abrufbasierten Modellen und Generative AI-Modellen. Werden die Herausforderungen der Data Governance bei der Nutzung eines RAG mit der Entscheidung zwischen On-Premises- und Cloud-Varianten kombiniert, entstehen jedoch weitreichende Entscheidungen und Implementierungsaufwände.

Dieser Blogbeitrag zeigt euch, wie ihr RAG-Systeme effektiv und sicher in eure Organisation integriert.

Der Betrieb von RAG-Systemen bringt erhebliche Governance-Herausforderungen mit sich

RAG-Systeme eignen sich hervorragend für Anwendungen, die umfassende Antworten benötigen. Ihre Implementierung unterscheidet sich jedoch erheblich – je nachdem, ob sie On-Premises oder in der Cloud gehostet werden und welche Praktiken und Prozesse zur Datensicherheit ihr nutzt.

Ein zentraler Aspekt der Datensicherheit in diesen Systemen ist die Implementierung einer rollenbasierten Zugriffskontrolle (RBAC). RBAC schafft eine zusätzliche Sicherheitsebene, indem der Zugriff auf sensible Daten auf autorisierte Rollen innerhalb der Organisation beschränkt wird. Dadurch sinkt das Risiko von Datenlecks. Jeder Rolle werden spezifische Berechtigungen zugewiesen, und Benutzer sehen nur die Informationen, die für ihre Rolle erforderlich sind. So wird unbefugter Datenzugriff verhindert.

RBAC ist jedoch nur eine Funktion, für die ihr einen nachhaltigen Ansatz entwickeln müsst, damit eure RAG- und Agent-Lösung sicher und nutzbar ist. Die technische Implementierung von RBAC mag zwar „trivial“ erscheinen. Die eigentliche Herausforderung liegt jedoch darin, RBAC und RAG mit all ihren Daten in die soziologische Seite eures Unternehmens zu integrieren – also in Menschen, Prozesse und Tool-Integrationen.

On-Premises- und Cloud-Bereitstellungsoptionen

Ein On-Premises-RAG-System wird auf den eigenen Servern eines Unternehmens gehostet und von internen IT-Mitarbeitern verwaltet. Diese Variante bietet mehr Kontrolle über eure Daten, was besonders bei sensiblen Informationen entscheidend ist. Allerdings kann sie erhebliche Investitionen und technisches Fachwissen für Einrichtung und Wartung erfordern. Aufgrund von Hardwarebeschränkungen kann zudem die Skalierbarkeit eingeschränkt sein.

Ihr könnt ein solches System beispielsweise mit Open-Source-Vektordatenbanken wie Weaviate und einer LLM-Ausführungsumgebung wie vLLM oder Ollama aufbauen, um eure lokalen Modelle auszuführen. Anschließend könnt ihr das RAG-System mit Keycloak integrieren, um die Skalierbarkeit sicherzustellen und eure RBAC-Lösung zukunftssicher zu gestalten.

Cloudbasierte RAG-Systeme wie Azure Open AI Service oder AWS Q werden auf den Servern des Dienstanbieters gehostet. Sie bieten Skalierbarkeit, ein kosteneffizientes Pay-as-you-go-Modell und eine einfache Einrichtung. Je nach Art der Arbeit und den Richtlinien des Cloud-Anbieters können Organisationen jedoch Bedenken hinsichtlich Datensicherheit und Compliance haben.

Noch wichtiger ist die Frage, ob ihr eure Unternehmenskultur auf einer Plattform abbilden möchtet, die ihr nicht selbst kontrolliert. Die Nutzung cloudbasierter RAGs kann außerdem erhebliche Kosten verursachen.

Schritte zur Einführung von RAG- und Agent-Systemen

Bedarf bewerten

Bewertet euren Bedarf und bestimmt die Bereiche, in denen RAG-Systeme eurem Unternehmen nutzen können. Prüft, ob die Anforderungen eurer Organisation an Datensensibilität und Skalierbarkeit besser zu einer On-Premises- oder Cloud-Variante passen.

Daten-Embeddings

Ihr müsst eure Daten in einem Vektorformat verarbeiten, damit LLMs darauf zugreifen können. Das ist die Grundlage dafür, dass euer RAG-System für Anwendungsfälle in eurem Wertstrom der Softwareentwicklung wertvoll ist.

Je nachdem, ob ihr On-Premises oder in der Cloud arbeitet, müsst ihr die passenden Methoden, Tools und Bibliotheken auswählen, damit Chunking und Indexierung bei der Nutzung des Systems optimal funktionieren.

Expertise und Schulung

Stellt sicher, dass euer Team über die erforderlichen Kompetenzen verfügt, um das gewählte RAG-System zu verwalten. Dazu kann es nötig sein, bestehende Mitarbeiter zu schulen oder neue einzustellen. Fangt klein an – auch in lokalen Umgebungen. Nutzt eure eigenen Rechner und experimentiert mit Methoden für Daten-Embeddings.

Die richtigen Modelle für euer LLM-System wählen

Berücksichtigt die spezifische Funktion jedes Modells – etwa für Code, Benutzerhandbücher oder Spezifikationen – und stimmt sie auf die Anforderungen eurer Organisation ab. In naher Zukunft werden Dutzende oder Hunderte dieser Modelle in eurer Organisation laufen.

Integration

Integriert das RAG-System in eure bestehende Infrastruktur und RBAC-Lösung. Dieser Schritt unterscheidet sich erheblich, je nachdem, ob ihr ein On-Premises- oder cloudbasiertes System einführt.

Unabhängig von der Bereitstellungsstrategie müsst ihr eure bestehenden DevOps-Teams in die Lage versetzen, diese Systeme zu betreiben. Außerdem müsst ihr die Lifecycle-Management-Prozesse rund um diese Tools aufbauen. Die Verwaltung in der Cloud und On-Premises sollte selbstverständlich mit Infrastructure-as-Code-(IaC)-Tools erfolgen, die in CI/CD-Tools integriert sind.

Validierung

Entscheidend ist, bestehende oder durch GenAI-gestützte DevOps-Prozesse als Sicherheitsnetz zu nutzen. Ihr müsst umfassende Tests durchführen, um sicherzustellen, dass das System korrekt funktioniert und sich auf Grundlage der Ergebnisse eures Wertstroms der Softwareentwicklung anpasst.

Es ist eine gute Praxis, das soziotechnologische System als Leitfaden zu nutzen. Ihr müsst die Ergebnisse eurer durch RAG gestärkten Organisation auf allen Ebenen kontinuierlich validieren.

Schulung der Organisation

Schult eure Organisationsmitglieder darin, wie sie mit dem RAG-System interagieren und es nutzen können. Schafft außerdem Bewusstsein für die Fähigkeiten und Transparenz dieser RAG-Systeme, damit sie für die Nutzer nicht wie vollständige Blackboxes wirken.

Zu verstehen, wie und warum Prompting (Benutzereingaben) das Endergebnis beeinflusst, ist entscheidend für die erfolgreiche Nutzung KI-gestützter Tools. Viele Anwendungen stellen im Hintergrund Prompt-Vorlagen bereit, sodass Nutzer nicht alles verstehen müssen – zumindest größtenteils. Doch wenn etwas schiefläuft, braucht ihr Personen, die wissen, was sie tun.

Überwachen und verbessern

Überwacht regelmäßig die Performance, Prompts und Antworten des Systems und nehmt die notwendigen Verbesserungen vor, um seinen Mehrwert zu optimieren. Denkt daran, System-Prompts iterativ weiterzuentwickeln, und gebt bei schlechten Ergebnissen nicht auf.

Unabhängig davon, ob ihr euch für ein On-Premises- oder Cloud-basiertes RAG- und Agentensystem entscheidet: Entscheidend ist, eure organisatorischen Anforderungen zu verstehen und die Integration vorzubereiten. Mit einer durchdachten Planung und kontinuierlichen Verbesserung kann eure Organisation das volle Potenzial von LLM-Systemen ausschöpfen und so Entwicklung, operative Effizienz und Entscheidungsprozesse verbessern.