Der selbst gehostete KI-Stack

Self-Hosting kann Kontrolle über Verarbeitungsort, Zugriff und Aufbewahrung geben. Es garantiert keine Vertraulichkeit: ausgehende Verbindungen, Logs, Backups, Integrationen und Betreiberrechte müssen geprüft werden. Wählen Sie es, wenn die Anforderung die Betriebsverantwortung rechtfertigt und nicht nur als Ersatz eines Abonnements.

• Kubernetes auf Talos Linux - immutable, minimale Angriffsfläche, via GitOps verwaltet, sodass der Clusterzustand in Git überprüfbar ist
• Modellbereitstellung für private Inferenz - wählen Sie Modellendpunkt und Embedding-Dienst nach Daten-, Kapazitäts- und Betriebsprüfung.
• Cognee als Agenten-Gedächtnis - eine Wissensgraph-Schicht, die Agenten persistenten, prüfbaren Kontext gibt statt intransparentem Prompt-Füllmaterial
• Typebot für geführte Assistenten - konversationelle Annahme und interne Helfer, selbst gehostet mit eingeschränkten erlaubten Origins
• MinIO für Objektspeicher - Dokumente, Artefakte und modellnahe Daten unter denselben Souveränitätsregeln
• Keycloak für Identität - Assistenten und Werkzeuge authentifizieren sich gegen denselben IdP wie das Team

Messen Sie repräsentative Prompts, Kontextlängen und Parallelität auf der vorgesehenen Hardware. CPU-Kapazität kann für bestimmte Embeddings oder kleinere Workloads genügen; grössere Inferenzaufgaben können Beschleuniger benötigen. Berücksichtigen Sie Modellstart, Warteschlange, Datenwachstum und Betriebskosten vor der Plattformwahl. Ein hybrider Entwurf kann freigegebene externe Verarbeitung von privaten Workloads trennen.

• Versionierte Deployments via GitOps - jedes Modell, jeder Assistent und jeder Gedächtnisdienst ist eine geprüfte Änderung, kein Klick in einer Konsole
• Backup- und Restore-Verfahren, die Agenten-Gedächtnis und Objektdaten abdecken, mit dokumentierten Restore-Tests
• Monitoring, das KI-Dienste wie jede andere Workload behandelt - Verfügbarkeit, Latenz, Ressourcenverbrauch
• Zugriff über den Unternehmens-IdP - Assistenten sind kein Schatten-Identitätssystem
• Update-Pfade, die zuerst auf einer Kopie getestet werden - eine kaputte Gedächtnisschicht ist ein Ausfall, kein Experiment

Die Kontaktassistenten auf UHL Cloud und UHL-Services nutzen geführte Typebot-Abläufe. Gespeicherte Anfragen und einwilligungsabhängige Analytics zeigen Anwendungsintegration und keinen autonomen KI-Support. Das betreute Open-Source-Angebot beschreibt den weiteren Betriebsumfang.

1. Eine Anfrage nachverfolgen

   Verfolgen Sie Eingaben durch Identität, Anwendung, Retrieval, Modellverarbeitung, Logs und Backups. Erfassen Sie Systemverantwortung und Verarbeitungsort.

2. Jede Übermittlung entscheiden

   Halten Sie für jedes externe Ziel Zweck, zulässige Datenklasse, Aufbewahrung und geltenden Vertrag fest. Ungeprüfte Ziele bleiben deaktiviert.

3. Betrieb zuweisen

   Benennen Sie Zuständigkeiten für Updates, Zugriffsprüfung, Löschung, Vorfallreaktion und Wiederherstellungstests. Trennen Sie Aufgaben des Kunden und des Betriebsteams.

• Eine Beispielanfrage hat einen dokumentierten Ende-zu-Ende-Datenweg.
• Zugriffs- und Aufbewahrungsregeln umfassen auch Backups und Logs.
• Ein Wiederherstellungstest belegt nutzbare Daten und nicht nur einen erfolgreichen Backup-Job.

• Die Kubernetes-Sicherheitscheckliste unterstützt die Plattformprüfung.
• Die Keycloak-Serververwaltung beschreibt Identitäts- und Zugriffsverwaltung.