Pictures of the Future Herbst 2002
Industrie – Augmented Reality
Pumpe 23, bitte melden!
Sprechende Rohre, Kessel und sonstige Anlagenteile? Ventile und Bolzen mit Internetadressen? Fabriken, die Wartungsdaten über jedes Maschinenteil sammeln, um bei Reparaturen Expertenwissen online bereitzustellen? All das ist möglich dank einer neuen Technologie namens sprachunterstützte Augmented Reality.
Ein Ingenieur beim Test des Augmented Reality Systems SEAR. Das Bild rechts zeigt eine typische Darstellung auf dem Mobilcomputer: Die Objekte im Sichtfeld mit zusätzlichen Informationen aus der Datenbank (oben), den Blick der Kamera (unten rechts) und den Status der Spracherkennung (unten links)
Das Aufspüren von Fehlerquellen bei größeren Anlagen – ob auf einer Bohrinsel, in einer chemischen Fabrik, einer Raffinerie oder einem Montagewerk – kann so kompliziert sein wie den Ausgang im sagenhaften Labyrinth von Knossos zu finden. In der Regel zeigt sich ein Problem erst, wenn auf einem der vielen Monitore im Schaltraum ein Lämpchen blinkt. Dann wird jemand losgeschickt, den Übeltäter zu finden und das Problem zu identifizieren; keine leichte und eine sehr zeitraubende Aufgabe. Oft sind erst nach vielen Telefonaten die richtigen Unterlagen gefunden und die Ersatzteile bestellt.
Eine von Siemens Corporate Research (SCR) in Princeton, USA, entwickelte Technologie könnte diesen Prozess erheblich vereinfachen. Ihr Name SEAR steht für Speech Enabled Augmented Reality (sprachunterstützte erweiterte Realität). SEAR würde im industriellen Umfeld in etwa so funktionieren, wie es ein derzeit bei SCR getestetes System zeigt:
Ein Wartungsingenieur, etwa in einer Chemiefabrik, erhält auf seinem Personal Digital Assistant (PDA) oder einem anderen mobilen Gerät die Nachricht, dass eine Pumpe in Sektor X defekt ist. Infrarotsensoren in jeder Ecke der Fabrik und 3D-Beschleunigungssensoren in seinem PDA verfolgen alle seine Bewegungen. Etwa zweimal pro Sekunde übermitteln Infrarotsender ein spezielles Identifikationssignal, das vom Empfänger im PDA erfasst wird. Anhand der Positionsdaten errechnet der Computer ein VRML-Modell (Virtual Reality Markup Language) – ein wirklichkeitsgetreues räumliches Bild, das auf dem PDA dargestellt wird. So sieht der Ingenieur, an welcher Stelle der Fabrik er sich befindet. Ein Pfeil zeigt, wohin er gehen soll.
Der PDA hat per Funk Zugriff auf die digitalisierte Datenbank der Fabrik, die Informationen über alle Geräte und Anlagenteile mit ihrer jeweiligen Ortsposition besitzt – diese Datenbank ist der wichtigste und am schwierigsten zu realisierende Teil von SEAR. Dank dieser Daten kennt das System das Zielobjekt des Ingenieurs und kann ihm mit Hilfe schriftlicher oder mündlicher Kommandos den Weg weisen. Sobald er in unmittelbarer Nähe des Objektes ist, liefern visuelle Marker präzisere Informationen zur Ortung.
Jeder Marker besteht aus einer speziellen Kombination von Punkten, die aussieht wie die Felder beim Spiel "Schiffe versenken". Wenn der Ingenieur die Kamera seines PDA in die Richtung hält, in die er blickt, kann sie alle dort sichtbaren Marker erkennen. "Auf diese Weise können wir die genaue Position und Blickrichtung des Anwenders bestimmen", sagt Dr. Nassir Navab, der bei SCR die Ortungstechnologie entwickelt. "Selbst wenn das betreffende Objekt keinen Marker hat, kann das System es identifizieren, da es dauernd die Position und Orientierung des Nutzers mit dem 3D-Modell der Fabrik abgleicht."
Wenn die defekte Pumpe geortet ist, werden die nötigen Informationen automatisch in den Speicher des Mobilcomputers geladen. "Sie erscheinen dann auf dem Bildschirm, einschließlich der Fragen, die der Wartungsingenieur ans System stellen kann", erklärt Navab. "Wenn er z.B. vor einer Pumpe steht, weiß das System, um welche Pumpe es sich handelt. Die sinnvollen Fragen, etwa zu Druck, Anschlüssen, Temperatur oder Wartungshistorie, werden dann auf dem Display dargestellt." Je nachdem, welche Datenbank zugrunde liegt, lassen sich fast unbegrenzt viele Nachfragen stellen.
Gespräch mit der Pumpe. Wenn der Ingenieur z.B. die Pumpe fragt: "Wie hoch ist der aktuelle Druck?", dann setzt SEAR ein spezielles Siemens-Spracherkennungsprogramm ein. Die erkannte Frage wird über ein drahtloses Netz (W-LAN) an einen Server weitergeleitet. Der durchsucht daraufhin seine Datenbank nach der entsprechenden Information und übermittelt sie an den PDA.
"Dieser wiederum generiert eine 3D-Stimme, die sich anhört, als käme sie vom Objekt selbst, und sendet sie zum Kopfhörer des Ingenieurs", erklärt Dr. Stuart Goose, der bei SCR diese patentierte Sprachsteuerung entwickelt hat. "Die Möglichkeit, mündlich Fragen zu stellen und ebenso Antworten zu bekommen, ist wichtig in Situationen, in denen der Anwender beide Hände frei haben muss."
ARVIKA: Immer die richtigen Daten im Blick
Computer- und Realbilder verschmelzen im Head-Mounted Display des Ingenieurs, der per Spracheingabe Informationen aus einer Datenbank abfragen und sich in sein Blickfeld einspiegeln lassen kann
Seit 1999 hat das deutsche Bundesministerium für Bildung und Forschung 21 Mio. € in ein Programm namens ARVIKA investiert. Im Rahmen von ARVIKA sollen AR-Technologien (Augmented Reality) weiterentwickelt werden. 18 Partner aus der Industrie und fünf Forschungsinstitute erarbeiten Lösungen für die Detailprobleme der erweiterten Realität: Wie sollen die Daten visualisiert werden? Wie lässt sich die exakte Position und Blickrichtung des Anwenders am besten ermitteln? Welche portablen Systeme eignen sich für AR und wie lässt sich die Mensch-Maschine-Schnittstelle möglichst intuitiv gestalten? Konsortialleiter ist der Siemens-Bereich Automation and Drives (A&D). "ARVIKA konzentriert sich auf AR-Anwendungen, die die Entwicklungs-, Produktions- und Wartungsarbeiten komplexer technischer Systeme unterstützen", erklärt Projektleiter Wolfgang Friedrich von A&D. "Wir gehen davon aus, dass AR und verwandte Technologien diese Prozesse insgesamt deutlich effizienter gestalten können". AR spiegelt Informationen aus einer digitalen Datenbank, die für die jeweiligen Aufgaben wichtig sind, ins Blickfeld des Benutzers – abhängig von seinem Ort und dem, was er gerade sieht. Dazu trägt er ein Head-Mounted Display oder eine Datenbrille. Er kann z.B. das System per Spracheingabe auffordern, ihm anzuzeigen, mit welchem Drehmoment er einen bestimmten Bolzen anziehen soll oder welche Rohrleitungen hinter der Wand verlaufen. "AR kann auch hervorragend für Trainingszwecke genutzt werden", betont Friedrich. "So kann ein Vergleich von echten Installationsarbeiten mit Simulationen dazu führen, dass der gesamte Serviceprozess optimiert wird. Dies würde die Arbeitsplanung vereinfachen und die Qualität erhöhen sowie die tatsächlichen Reparaturarbeiten beschleunigen."
Anschluss an Datenbanken. Braucht eine Fabrik nun eine Generalüberholung ihrer Informationsinfrastruktur, um SEAR nutzen zu können? Nicht unbedingt. Viele Anlagen verwenden schon eine Software von SAP, die auf Inventarnummern und Datenbanken basiert. Manche verfügen auch über 3D-Modelle, die mit einer solchen Datenbank verbunden sind. Und viele Fabriken arbeiten mit einem Automatisierungsprogramm von Siemens. "Allerdings werden Informationen auf den Monitoren oft noch abstrakt dargestellt", sagt Navab. "Doch immerhin gibt es sie und in solchen Fabriken ist bereits jedes Objekt in einer Datenbank erfasst. Um also möglichst effizient zu sein, muss unser System mit anderen kommunizieren, die z.B. auf SAP oder WinCC basieren."
Doch damit nicht genug: Weitere Anwendungsszenarien für ein solches System sind praktisch unbegrenzt. So könnte man künftig seinen PDA nach dem nächsten Blumenladen fragen oder eine Gruppe von Feuerwehrleuten könnte die Bewegungen aller Kollegen auf den Displays jedes einzelnen Teammitglieds darstellen, während sie sich auf ein gemeinsames Ziel zubewegen. Navab betont: "Dies ist eine so grundlegende Technologie, dass wir im Moment nur sagen können, dass durch sie viele Prozesse erheblich effizienter werden dürften."
Arthur F. Pease