Als schlüsselfertige KI-Appliance ist Fast LTAs Silent AI für den lokalen Betrieb generativer KI gedacht. Das System kombiniert LLM-Inferenz, RAG-Architektur, Vektordatenbank, Konnektoren, Rechteprüfung und lokalen NVMe-Speicher in einem 2U-System. Sie richtet sich an Unternehmen, die internes Wissen per KI nutzbar machen wollen, ohne Daten an Cloud-Dienste zu übertragen.

Silent AI von FAST LTA ist eine On-Premises-Appliance für generative KI im eigenen Rechenzentrum. Das System soll Unternehmenswissen über einen KI-Assistenten nutzbar machen, ohne Prompts, Dokumente oder Nutzeranfragen an externe Cloud-Dienste zu übertragen. Gedacht ist die Lösung für Unternehmen, die interne Datenbestände mit KI erschließen wollen, dabei aber Datenschutz, Zugriffsrechte und Nachvollziehbarkeit unter Kontrolle behalten müssen.

Interessant ist der Ansatz, weil viele Unternehmen generative KI nutzen möchten, ihre internen Informationen aber nicht ohne Weiteres in Public-Cloud-Dienste geben können. Silent AI adressiert diese Lücke: KI soll produktiv werden, ohne dass Datenhoheit, Rechtekonzept und Compliance zur Verhandlungsmasse werden.

Vorgestellt wurde Silent AI bereits 2024. Die jetzt verfügbare Version setzt stärker auf Konnektoren zur Verbindung unterschiedlicher Datenquellen und bündelt Hardware, KI-Stack, lokalen Storage sowie Nutzerlizenzen in einem Komplettsystem.

Lokale KI statt Cloud-Chatbot

Technisch setzt Silent AI auf Retrieval Augmented Generation (RAG). Die Appliance verbindet sich mit internen Quellen, indexiert deren Inhalte lokal und legt sie in einer Vektordatenbank ab. Das lokale Sprachmodell formuliert Antworten auf Basis der gefundenen Inhalte. Jede Antwort soll mit Quellenverweisen nachvollziehbar bleiben.

Die Appliance bringt die lokale KI-Umgebung mit. Die LLM-Inferenz läuft auf einer dedizierten Nvidia-GPU, das Modell ist austauschbar. Als unterstützte bzw. beispielhafte Modelle werden Mistral, Qwen und Gemma genannt; in der Architektur wird Mistral als Beispielmodell geführt.

Zu den unterstützten Konnektoren zählen Microsoft Office, SharePoint, Outlook/Exchange, Confluence, Slack, SQL, SMB/File-Server, PDF-Upload und Web-Scraper. Weitere Konnektoren befinden sich in Entwicklung bzw. sollen auf Anfrage verfügbar sein. Damit zielt Silent AI auf typische Unternehmensumgebungen, in denen Wissen über Fileshares, Collaboration-Systeme, E-Mail, Datenbanken und Dokumentenplattformen verteilt liegt.

Wichtig ist dabei die Rechteprüfung. Silent AI integriert AD/LDAP (Active Directory/Lightweight Directory Access Protocol) vollständig und unterstützt LDAP sowie Single Sign-on (SSO) für die Authentifizierung. Nutzer sollen nur Antworten auf Basis von Inhalten erhalten, für die sie bereits Leserechte besitzen. Damit adressiert Fast LTA eines der zentralen Risiken bei Enterprise-KI: Eine KI darf vorhandene Berechtigungen nicht umgehen, sonst wird aus Wissensmanagement schnell ein sehr höfliches Datenleck.

Appliance mit Nvidia-GPU und NVMe-Storage

Silent AI wird als schlüsselfertige On-Premises-Appliance bereitgestellt. Das System belegt 2HE im Rack und nutzt eine aktuelle fanless Nvidia-GPU mit 96 GByte Speicher für die lokale Inferenz. Für lokale Daten kommt ein Silent-AI-Vault-Speichermodul mit zwölf NVMe-Medien und Triple Parity zum Einsatz.

Die Appliance bietet zwei Slots für Silent AI Vault. Unterstützt werden 12 oder 24 TByte brutto je Vault, insgesamt also bis zu 48 TByte brutto für lokale Vektordaten. Netzwerkseitig stehen Dual-10GbE über RJ45 oder 10GbE SFP+ zur Verfügung. Optional sind Dual 25/100GbE über QSFP vorgesehen. Für Management sind ein 1GbE-Admin-Port und ein 1GbE-IPMI-Port vorhanden.

Die Leistungsaufnahme liegt bei rund 170 Watt im Idle, typisch bei rund 636 Watt mit einem aktiven Silent-AI-Vault und maximal bei 1.200 Watt. Die Wärmeabgabe wird mit 2.170 bis 4.094 BTU/h (British Thermal Units per hour) angegeben, was umgerechnet etwa 636 bis 1.200 Watt thermischer Last entspricht. Das System wiegt etwa 17 Kilogramm. Damit ist Silent AI klar als kompakte Rechenzentrums-Appliance konzipiert, nicht als reine Software-Lösung.

Planbare Kosten statt Token-Abrechnung

Die Listenpreise starten bei 49.480 Euro für ein Komplettsystem mit Lizenzen für 25 Named User und 12 TByte lokalem Storage netto. Named User sind namentlich lizenzierte Nutzer, nicht gleichzeitige Sessions. Damit eignet sich das Einstiegspaket vor allem für definierte Fachbereiche, Arbeitsgruppen oder einen kontrollierten Einstieg in lokale Unternehmens-KI.

Weitere Nutzer lassen sich über zusätzliche User-Bundles ergänzen, ohne dass dafür eine neue Appliance erforderlich wird. Silent AI setzt damit nicht auf Pay-per-Token oder Pay-per-Use, sondern auf ein planbares Lizenzmodell. Für Wartung und Support sind CARE-Laufzeiten von einem, drei oder fünf Jahren vorgesehen.

Für die Wirtschaftlichkeitsbetrachtung ist das relevant: Eine lokale Appliance verursacht Investitions-, Wartungs- und Betriebsaufwand, vermeidet aber variable Token-Kosten externer KI-Dienste. Ob sich das Modell rechnet, hängt von Nutzerzahl, Abfragevolumen, Datenbestand, Compliance-Anforderungen und internen Betriebskosten ab.

Fazit: Datenhoheit, Rechte und Nachvollziehbarkeit

Die größte Stärke von Silent AI liegt in der Verbindung aus lokaler Inferenz, RAG, Konnektoren, Rechteübernahme und Quellenbelegen. Die Appliance soll Unternehmenswissen befragbar machen, ohne Dokumente, Prompts oder Nutzeranfragen an externe Dienste zu übertragen.

Damit rückt vor allem die Datensouveränität in den Mittelpunkt. Unternehmen behalten die Kontrolle darüber, wo ihre Daten liegen, wer darauf zugreifen darf und welche Systeme sie verarbeiten. Das ist mehr als ein Datenschutzargument. Es betrifft auch Betriebsmodelle, Abhängigkeiten, Auditierbarkeit, Rechtekonzepte und die Frage, ob sensible Informationen überhaupt in externe KI-Dienste einfließen dürfen. Gerade bei personenbezogenen Daten, Entwicklungsunterlagen, Vertragsdokumenten, Forschungsinformationen oder regulierten Prozessen ist diese Kontrolle ein entscheidender Faktor.

Silent AI adressiert damit Unternehmen, die KI produktiv nutzen wollen, aber bei Public-Cloud-Angeboten an Datenschutz, Informationssicherheit, Compliance oder internen Richtlinien hängen bleiben. Dazu zählen etwa regulierte Branchen, öffentliche Einrichtungen, Gesundheitswesen, Industrie, Forschung, Rechtsabteilungen und Organisationen mit sensiblen Wissensbeständen.

Appliance-Ansatz senkt die Einstiegshürde

Der Appliance-Ansatz ist für Organisationen interessant, die lokale KI nutzen möchten, sich aber nicht selbst um Hardware-Auswahl, GPU-Integration, Storage, Vektordatenbank, LLM-Stack und Konnektoren kümmern wollen. Fast LTA liefert ein Komplettsystem, das sich in bestehende IT-Umgebungen integrieren lassen soll. Das senkt die Einstiegshürde, ersetzt aber nicht die saubere Vorbereitung der Datenquellen.

Eine API ist ab Mitte 2026 vorgesehen. Für Integrationsprojekte ist das wichtig, weil Silent AI zunächst vor allem über Web-UI und Chat nutzbar ist. Wer die Appliance in eigene Anwendungen, Workflows oder Portale einbinden möchte, sollte API-Verfügbarkeit, Funktionsumfang und Authentifizierungsmodell konkret abfragen.

Für eine Beschaffung reicht kein Blick auf die technischen Eckdaten allein. Unternehmen sollten mit eigenen Dokumenten, realistischen Nutzergruppen, vorhandenen Berechtigungen und typischen Abfragen testen. Entscheidend sind Antwortqualität, Rechteprüfung, Indexierungsverhalten, Aktualität der Quellen, Performance und Betriebsintegration.

Mit Yeren Local AI verfolgt RNT Rausch einen ähnlichen Ansatz: Auch hier geht es darum, generative KI lokal im eigenen Rechenzentrum bereitzustellen. Während Yeren stärker als Private-AI-Plattform mit mehreren Ausbaustufen, KI-Agenten, Smart-Search, Multi-Tenancy und breiteren Workflow-Szenarien positioniert ist, fokussiert Silent AI stärker auf Unternehmenswissen, Konnektoren, Rechteübernahme, Quellenbelege und Datensouveränität.