Edge AI wertet Daten nahe an ihrer Quelle aus. Das verkürzt Reaktionszeiten und reduziert Datenströme, bringt aber neue Fragen zu Storage, Modellen und Betrieb mit sich. Entscheidend ist, welche Daten lokal bleiben, was zentral verarbeitet wird und wie neue Modelle zuverlässig an den Edge gelangen.

Eine Kamera erkennt einen fehlerhaften Schweißpunkt. Ein Sensor meldet ungewöhnliche Vibrationen. Ein Kamerasystem in einer Filiale erkennt eine lange Warteschlange. In solchen Fällen reicht es nicht mehr, Daten nur zu sammeln und weiterzuleiten. Sie müssen ausgewertet werden – oft möglichst schnell.

Hier kommt Edge AI ins Spiel. Ein trainiertes KI-Modell läuft nahe an der Datenquelle und wertet Bilder, Videos oder Sensordaten direkt vor Ort aus. In der Produktion reicht das von der Erkennung fehlerhafter Leiterplatten und Schweißfehler bis zur Kontrolle von Schutzausrüstung. Solche Analysen können auf einem Industrie-PC am Standort laufen und mehrere Video-Streams gleichzeitig verarbeiten. Intel führt genau diese Szenarien in seiner aktuellen Manufacturing AI Suite auf.

Damit verändert sich die Rolle des Edge. Daten werden dort nicht mehr nur gesammelt, gefiltert oder zwischengespeichert. Ein Teil der eigentlichen Auswertung findet bereits vor Ort statt. Für IT-Verantwortliche entstehen dadurch neue Fragen: Welche Rechenleistung wird benötigt? Welche Daten bleiben lokal? Was muss ins Core oder in die Cloud? Und wie lässt sich sicherstellen, dass an allen Standorten die richtige Modellversion läuft?

Die beiden ersten Teile unserer Edge-Serie haben bereits geklärt, wo Workloads laufen sollten und wie sich verteilte Edge-Systeme betreiben lassen. Edge AI setzt genau dort an und erweitert die Architektur um die Frage, wie Daten und KI-Modelle zwischen Edge, Core und Cloud zusammenspielen.

Training und Inferenz sind zwei verschiedene Aufgaben

Für die Architektur ist zunächst eine Unterscheidung wichtig. Beim Training lernt ein KI-Modell anhand vorhandener Daten, bestimmte Muster zu erkennen. Dafür werden häufig große Datenbestände und entsprechend viel Rechenleistung benötigt. Das Training findet deshalb typischerweise zentral im Rechenzentrum oder in der Cloud statt.

Am Edge läuft dagegen vor allem die Inferenz. Dabei wird ein bereits trainiertes Modell auf neue Daten angewendet. Eine Kamera liefert beispielsweise das Bild eines Werkstücks, das Modell bewertet es und meldet, ob es einen bekannten Fehler erkennt. Im Handel können schlanke Computer-Vision-Modelle etwa stark frequentierte Bereiche, Sicherheitsprobleme oder lange Warteschlangen erkennen. AWS beschreibt dafür eine Architektur, bei der solche Modelle direkt in den Filialen laufen, während Training, Fine-Tuning und Bereitstellung zentral organisiert werden.

Die Grenze ist nicht starr. Modelle können zentral trainiert und anschließend für die vorhandene Edge-Hardware angepasst werden. Entscheidend ist die Aufgabenteilung: Das Training braucht meist viele Daten und viel Rechenleistung. Die Inferenz profitiert oft davon, möglichst nah an der Datenquelle zu laufen.

KI-Modelle werden meist zentral trainiert und am Edge eingesetzt. Ausgewählte Daten fließen für Verbesserungen zurück. (Grafik: KI-generiert mit DALL-E, speicherguide.de)

Nicht jedes Bild muss ins Rechenzentrum

Besonders deutlich wird der Nutzen bei Bild- und Videodaten. Mehrere Kameras können kontinuierlich große Datenströme erzeugen. Werden sämtliche Aufnahmen in ein zentrales Rechenzentrum oder in die Cloud übertragen, belastet das Netzwerk, Compute und Storage.

Läuft die Analyse dagegen direkt am Produktionsstandort, müssen nur die Informationen weitergegeben werden, die tatsächlich benötigt werden. Das können beispielsweise ein Prüfergebnis, Metadaten und Bilder auffälliger Werkstücke sein. Ein großer Teil der Rohdaten muss den Standort dann nicht verlassen.

Das Prinzip funktioniert auch mit anderen Datenquellen. Intel kombiniert in einer Beispielanwendung Kamerabilder mit Sensordaten wie Strom, Spannung und Temperatur. Beide Datenarten werden am Edge ausgewertet, um mögliche Schweißfehler schnell zu erkennen.

Für Storage entsteht dadurch allerdings eine neue Frage: Welche Rohdaten dürfen anschließend gelöscht werden?

Edge AI filtert früh: Unwichtige Rohdaten können entfallen, relevante Informationen bleiben lokal oder wandern ins Core. (Grafik: KI-generiert mit DALL-E, speicherguide.de)

Welche Daten müssen erhalten bleiben?

Ein Bild, das heute als fehlerfrei eingestuft wird, kann später trotzdem wertvoll sein. Vielleicht ändert sich der Produktionsprozess. Vielleicht stellt sich heraus, dass das Modell bestimmte Fehler nicht zuverlässig erkennt. Oder für eine neue Modellversion werden zusätzliche Trainingsdaten benötigt.

Unternehmen müssen deshalb festlegen, welche Daten nur kurzfristig am Edge liegen, welche zentral übertragen werden und welche länger erhalten bleiben. Interessant können beispielsweise erkannte Fehler, Grenzfälle, Stichproben aus dem Normalbetrieb oder Fälle sein, bei denen ein Modell kein eindeutiges Ergebnis liefert.

Nicht alles muss gespeichert werden. Wer sämtliche Rohdaten unmittelbar nach der Inferenz löscht, nimmt sich jedoch möglicherweise Material für spätere Analysen oder Verbesserungen des Modells.

Daraus entsteht ein Kreislauf:

Daten entstehen am Edge → Modell wertet sie aus → ausgewählte Daten wandern ins Core → Modell wird verbessert → neue Version geht zurück an den Edge.

AWS setzt dieses Prinzip in seiner Retail-Architektur konkret um: Daten aus den Filialanwendungen fließen in die zentrale Umgebung zurück und können für das Training genutzt werden. Neue Modellartefakte werden anschließend wieder für den Einsatz in den Filialen bereitgestellt.

Modelle müssen gepflegt werden

Ein einmal ausgerolltes KI-Modell liefert nicht zwangsläufig dauerhaft dieselbe Qualität. Nicht das Modell selbst verändert sich, sondern seine Umgebung kann sich ändern: Eine Kamera wird ersetzt, Lichtverhältnisse verändern sich, neue Produkte oder Materialien kommen hinzu oder ein Produktionsprozess wird angepasst. Dann unterscheiden sich die aktuellen Eingangsdaten möglicherweise zunehmend von den Daten, mit denen das Modell entwickelt wurde.

IT und Fachbereich müssen deshalb wissen, welche Modellversion auf welchem Edge-System läuft. Neue Versionen sollten kontrolliert verteilt, getestet und bei Problemen wieder zurückgenommen werden können.

Damit kommt zum Betriebssystem, zur Anwendung und zur Konfiguration eine weitere Komponente hinzu: das KI-Modell. In größeren Edge-Umgebungen muss auch dessen Verteilung und Versionierung beherrschbar bleiben.

Aktuelle Edge-Plattformen berücksichtigen diese Anforderungen zunehmend. Intels Open-Edge Platform unterstützt beispielsweise mehrere gleichzeitig laufende Inferenz-Pipelines und kann dafür CPU, GPU oder NPU nutzen.

Die Hardware setzt Grenzen

Nicht jedes Modell, das auf einem leistungsfähigen Server im Rechenzentrum problemlos läuft, eignet sich automatisch für den Edge. Dort sind Platz, Stromversorgung, Kühlung und Rechenleistung häufig stärker begrenzt.

Modelle müssen deshalb gegebenenfalls für die vorhandene Hardware optimiert werden. Ein Beispiel ist eine geringere numerische Präzision, die den Rechenaufwand reduzieren kann. Intel hat bei seiner Anwendung zur Erkennung von Schweißporosität das verwendete Modell von FP16 auf INT8 umgestellt, um die Laufzeiteffizienz zu verbessern.

Auch die Wahl der Hardware spielt eine Rolle. Je nach Anwendung können CPU, GPU oder NPU sinnvoll sein. Moderne Plattformen unterstützen mittlerweile unterschiedliche Varianten derselben Inferenz-Pipeline für verschiedene Beschleuniger.

Die entscheidende Frage lautet deshalb nicht nur, ob ein Modell die gewünschte Aufgabe lösen kann, sondern ob es sie auf der vorhandenen Edge-Hardware schnell und zuverlässig genug erledigt.

Edge AI braucht Edge und Core

Edge AI ersetzt das zentrale Rechenzentrum genauso wenig wie Edge-Computing insgesamt. Die Ebenen übernehmen unterschiedliche Aufgaben.

Am Edge werden Daten erfasst und dort kann die schnelle Inferenz stattfinden. Core oder Cloud eignen sich dagegen besser für das Zusammenführen größerer Datenbestände, langfristige Speicherung, Training und die Bereitstellung neuer Modellversionen. Genau diese Aufgabenteilung findet sich auch in aktuellen Edge-AI-Architekturen für Produktion und Handel.

Damit schließt sich der Kreis zu den ersten beiden Beiträgen der Serie. Zuerst ging es darum, wo Workloads laufen sollten. Danach um die Frage, wie sich verteilte Edge-Systeme betreiben lassen. Bei Edge AI kommt eine weitere Aufgabe hinzu: Wie arbeiten Daten, Modelle und Infrastruktur dauerhaft zusammen?

Der Nutzen von Edge AI besteht deshalb nicht darin, möglichst viel KI an den Rand des Netzwerks zu verlagern. Sinnvoll ist sie dort, wo Daten schnell vor Ort ausgewertet werden müssen oder große Rohdatenströme nicht vollständig zentral verarbeitet werden sollen. Training, langfristige Datenhaltung und Modellverwaltung können trotzdem zentral bleiben.