Bildverarbeitung – Szenario 2020
Die ANTS kommen
Oktober 2020 – New York testet eine neue Art von autonomen Wartungsrobotern, die durch Sehen lernen können. Der folgende Bericht, von den Geräten als Metatext in Maschinensprache erzeugt und in unsere menschliche Sprache umgeschrieben, erklärt, wie sie ihre Umwelt wahrnehmen.
Hoch auf den Wolkenkratzern New Yorks arbeitet eine neue Klasse von Wartungsrobotern: autonome vernetzte Systeme (ANTS). Ihr Auftrag ist es, Überwachungskameras mit verbesserten Bildverarbeitungs-Prozessoren auszurüsten. Dank ihrer Fähigkeit, Informationen von einer Vielzahl von Sensoren korrekt zusammenzuführen, sehen die ANTS ihre Umwelt nicht nur, sondern lernen kontinuierlich aus den unterschiedlichsten Daten
New York. Wundern Sie sich nicht, wenn Sie uns sehen. Wir sehen vielleicht nicht wie normale Arbeiter der Stadtverwaltung aus, aber genau das sind wir. Wir sind 15 cm große mobile Maschinen. Wir sehen unsere Umwelt durch Sensoren, interpretieren, was wir sehen und reagieren entsprechend. Experten bezeichnen uns als autonome vernetzte Systeme (Autonomous Networked Systems, ANTS).
Unsere Aufgabe ist es, Inspektionen und Wartungsarbeiten an schwer erreichbaren oder gefährlichen Stellen durchzuführen und mobile Überwachungsaufgaben wahrzunehmen. Zur Zeit sollen wir die Prozessoren aller Überwachungskameras in einem 5 km² großen Gebiet in Manhattan aufrüsten. Die Kameras werden dadurch erstmals in die Lage versetzt, alles was sie sehen, intelligent zu interpretieren sowie Informationen mit anderen Kameras und Sensoren auszutauschen und selbst zu entscheiden, wann das menschliche Sicherheitspersonal alarmiert werden soll. Ist unser Einsatz erfolgreich, werden mehr Wartungsroboter wie wir angeschafft, um die gleiche Arbeit in allen fünf Bezirken von New York auszuführen. Dieser Bericht beschreibt unseren ersten Einsatz.
4:30 Uhr morgens: Die ersten von uns werden von einem Entwicklungszentrum in New Jersey an ein städtisches Verteilerlager im südlichen Manhattan gebracht.
6:14 Uhr: ANTS-1 (ich selbst) und ANTS-2 (mein Lehrling) werden aus einem automatisierten städtischen Transportfahrzeug an der Ecke 53. Straße und West End Avenue ausgeladen. Wir waren noch nie in dieser Gegend. Ich wurde zuvor in der Interpretation von komplexen visuellen Daten geschult, ANTS-2 nicht. Daher besteht mein zweiter Auftrag heute darin, ANTS-2 zu schulen und diesen Prozess zu evaluieren.
6:18 Uhr: Ich bestimme unsere genaue Position mit Hilfe des Satellitensystems und bestätige sie durch meine optischen Sensoren. Diese Verifikation umfasst das Erkennen von Hausnummern und Gebäudeansichten sowie den Vergleich mit den städtischen Datenbanken, auf die ich über drahtlose Netze zugreifen kann. Diese Daten gleiche ich wiederum mit den Positionen der nächstgelegenen Kameras ab und stelle so einen optimalen Einsatzplan auf, der sich nicht mit denen anderer ANTS-Teams überschneidet.
6:26 Uhr: Mit unseren Saugfüßen klettern wir an der vorwiegend gläsernen Fassade eines drei Jahre alten Bürogebäudes hoch – 64 Stockwerke haben wir zu überwinden. Ich übernehme die Führung, ANTS-2 folgt mir. Beim Aufstieg überprüfen wir mehrere Minikameras. Zunächst wird ANTS-2 durch verschiedene Phänomene verwirrt. Immer wenn er bei der Interpretation seiner Sensordaten unsicher ist, sendet er mir ein Bild, in dem die fraglichen Bereiche markiert sind. Ich schicke ihm dann die richtigen Interpretationen zurück.
7:32 Uhr: Während des Aufstiegs ändert sich die Perspektive, und ANTS-2 benötigt Hilfe bei der Bildinterpretation. Die Gebäudeumrisse über uns werden größer. Die Objekte unter uns scheinen sich langsamer zu bewegen, sind schwerer zu erkennen und erzeugen andere Geräusche. Ich weise ANTS-2 an, sein Radar einzusetzen, um die veränderte Perspektive zu interpretieren und mit einer Doppler-Analyse Fahrzeuggeschwindigkeiten zu bestimmen und sie mit den optischen Daten zu vergleichen. Damit können wir die Entfernungen bewegter Objekte in Echtzeit berechnen.
Beim Hinaufklettern wandeln unsere Piezo- und Solar-Systeme den Wind, das Sonnenlicht, die Gebäudeschwankungen und sogar die Vibrationen der Glasscheiben in Energie um, mit der wir kontinuierlich unsere Akkus aufladen.
8:23 Uhr: Als wir die Spitze des Hauses erreichen, bemerkt uns eine ältere Überwachungskamera, kann uns aber nicht richtig identifizieren und beginnt, eine hochauflösende Videoaufnahme von uns mit dem Vermerk "Alarm! Eindringlinge!" zu übertragen. Ich kann ihre Metatext-Nachricht über das städtische SecureNet empfangen und lesen. Ein zwischengeschalteter Verarbeitungsknoten erkennt aus den übermittelten Bildern, wer wir sind, und unterbricht die Übertragung der Kamera selbstständig, bevor sie an die menschlichen Kontrolleure in der Sicherheitsleitzentrale weitergeleitet werden kann.
8:52 Uhr: Wir beginnen mit der Aufrüstung der Überwachungskamera nahe dem Dachfirst. Den veralteten Kameraprozessor baue ich aus und lege ihn in das Ladefach am Rücken von ANTS-2. Danach überprüfe ich die Kamera-Hardware zerstörungsfrei mit Röntgenstrahlen und strukturiertem Licht. Ich bringe ANTS-2 bei, wie man auf die Sicherheitsdatei der Kamera zugreift und wie man frühere und aktuelle Bilder miteinander vergleicht, um Haarrisse und Abnutzungsstellen zu erkennen.
Wir achten auch auf Anzeichen von Manipulationen einschließlich Veränderungen der Liste der mit RFID-Chips gekennzeichneten Teile der Kamera. Ich zeige ANTS-2, wie ein datenbankgeführtes Expertensystem zur Unterstützung dieses Vergleichs einzusetzen ist. Dann führen wir einen ähnlichen Test an der Elektronik der Kamera durch. Zum Schluss entnehme ich einen Prozessor der neuesten Generation aus meinem Ersatzteilfach, setze ihn in die Kamera ein und teste die Funktionen. Alles einwandfrei. Die digitale Datei der Kamera wird entsprechend aktualisiert.
9:20 Uhr: Statuszusammenfassung der Mission an die Leitstelle: Kamera aufgerüstet. Überwachungssystem des Gebäudes verbessert. ANTS-2 darin geschult, verschiedene Sensordaten zu fusionieren und korrekt zu interpretieren. Eigenes Beobachtungssystem mit dem der Gebäudekameras vernetzt. Wir können jetzt sehen, was die Kameras sehen. Der erste Schritt zur Erhöhung der Sicherheit in New York ist abgeschlossen.
Arthur F. Pease
Sehen heißt Verstehen
Maschinen mit Bildverarbeitungssystemen werden immer intelligenter. Schon bald werden sie eigenständig Entscheidungen treffen können mehr
Automatischer Spürhund
Die neueste Generation der Videoüberwachung hilft dem Beobachter nicht nur, mehrere Areale gleichzeitig zu überwachen. Sie kann auch Veränderungen erkennen und etwaige Eindringlinge verfolgen mehr
Partner der Industrie
Wie die Zukunft der Bildverarbeitung aussieht, verrät Dr. Norbert Bauer, Leiter der Fraunhofer Allianz Vision, im Interview mehr
Vorstoß in die dritte Dimension
Neue Bildverarbeitungssysteme können Objekte dreidimensional erkennen. Autonome Kräne, automatische Paketsortierungen und digitale Abdrücke von Gehörgängen sind nur einige Beispiele für viele Einsatzmöglichkeitenmehr
Weltmeister im Abtasten
Hochmoderne Lesescanner erkennen in Millisekunden den individuellen "Fingerabdruck" eines Briefumschlags oder kleine Codes an Maschinenbauteilen, etwa an Turbinenschaufeln mehr