Informatik VII
Lehrstuhl für Computergraphik

a) Motivation: In Logistik-/Distributionszentren und Lagereinrichtungen kommen zunehmend Fahrerlose Transportsysteme (FTS) zum Einsatz [10]. Eine große Herausforderung innerhalb einer solchen logistischen Einheit ist es, dass gleichzeitig möglichst viele Transportsysteme aktiv sein können und diese Fahrzeuge (s. Abb. 1a zudem möglichst autonom arbeiten, um den Zeitaufwand und die Kosten erheblich zu reduzieren. Das zugrundeliegende Konzept, bei dem ein sogenannter Schwarm von autonomen Transportfahrzeugen tätig ist (s. Abb. 1b), wird als Zellulare Fördertechnik bezeichnet und ist Gegenstand aktueller Forschung [9]. Ein Hauptkriterium zum nachhaltigen Einsatz ist die Güte der vorhandenen Sensorik. Deshalb arbeiten die Lehrstühle Informatik VII und XII und das Fraunhofer-Institut für Materialfluss und Logistik (IML) gemeinsam an einem Projekt zur Optimierung und Verbesserung der vorhandenen Technik. Zurzeit werden Kollisionsvermeidung, Lokalisation und Navigation mit einem hybriden Sensorikkonzept, bestehend aus Laserscanner, Odometriedaten und einer Funkortung durchgeführt. Mithilfe der Funkortung und der Odometrie erfolgt eine grobe Lokalisation auf der Lagerfläche, mit dem Einsatz des Laserscanners sind präzise Andockmanöver an Übergabestationen, den sogenannten Kommissionierplätzen, möglich (s. Abb. 1b). Durch die Verfügbarkeit neuer Sensortechnologien, wie z.B. PMD-Kameras (Photonic Mixer Device - eine 3D-Kamera), auch Time-of-Flight-Kamera genannt [3], besteht die Möglichkeit, die sensorischen Einheiten der Fahrzeuge zu erweitern, um die Umgebung und damit auch die Lokalisation und Kollisionsvermeidung jetzt auch in drei Dimensionen durchzuführen.

Abbildung 1: (a) Foto eines Fahrerlosen Transportsystems und (b) virtuelle Darstellung eines exemplarischen Szenarios für ein Kommissioniersystem

Ausgehend von dieser Problemstellung ist die Zielsetzung dieser Projektgruppe der Entwurf und die Implementierung einer netzwerkbasierten Vision-System-Lösung für die neuartige PMD-Technologie zur 3D-Lokalisation und Kollisionsvermeidung und der Einsatz dieses Systems auf mehreren autonomen Fahrzeugen. Zur weiteren Steigerung der Messgüte ist zudem die Fusion von PMD-Messungen mit den Bilddaten einer 2D-CCD-Kamera zu realisieren. Die Fusion der Bilddaten der 2D- und 3D-Kameras wird zunächst auf einem Industrie-PC durchgeführt, der mittels Grafikkarte für eine echtzeitfähige Bildverarbeitung erweitert wurde. Anschließend sollen die fusionierten Sensorinformationen im Netzwerk des Fahrzeugschwarms in abstrahierter Form genutzt werden, um die Qualität der Sensormessungen und damit die Genauigkeit der Lokalisation zu verbessern und die Sicherheit der Kollisionsvermeidung zu erhöhen. Parallel dazu sollen die mit diesem Vision-System ausgestatteten Fahrzeuge durch ein geeignetes Kommunikationskonzept mit einem synchronen deterministischen Zeitverhalten zu einem verteilten Sensornetzwerk verbunden werden. Hierfür kann eine am Fraunhofer IML entwickelte Middleware zur Bereitstellung von heterogenen Sensordaten verwendet werden, die um eine effiziente Fahrzeug-zu-Fahrzeug-Kommunikation (F2F-Kommunikation) zu erweitern ist. Eine Möglichkeit zur F2F-Kommunikation ist die Nutzung einer Peer-to-Peer-Middleware (P2P) [8]. Peer-to-Peer-Netzwerke erlauben den Aufbau von verteilten Anwendungen ohne Nutzung von bei Client-Server-Architekturen üblichen zentralen Servern und erlaubt es den einzelnen Teilnehmern (Schwarmfahrzeug) dieses Netzwerks (Peers) direkt miteinander zu kommunizieren. Der zentrale Unterschied zu den "Client/Server"-Architekturen ist daher, dass jedes Schwarmfahrzeug somit als sogenannter Servant agiert, d.h. er ist Server und Client in einem. Die so zur Verfügung stehenden Sensordaten werden in einer späteren Projektphase zur Entwicklung von Algorithmen zur Objekterkennung und Kollisionsvermeidung auf der Fahrzeughardware eingesetzt. Die Ergebnisse dieser Arbeitspakete sollen zu einer netzwerkbasierten Vision-System-Lösung kombiniert und zur Verifikation auch visualisiert werden.

Abbildung 2: Schematische Darstellung der Projektgruppenaufgaben

a) Motivation: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe (s. Abb. 2) zwei wesentliche Aufgabengebiete, die in einem Optimierungs- und Validierungszyklus eingebunden sind. Ein Teilgebiet fokussiert sich dabei auf die digitale Bildverarbeitung und bildbasierte Mustererkennung, das zweite beinhaltet den Entwurf und die Implementierung von Konzepten Eingebetteter Systeme. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Für die digitale Bildverarbeitung sind folgende Verarbeitungsschritte angedacht:

• Kamerakalibrierung: Neben der klassischen photogrammetrischen Kalibrierung von RGB-Kameras zur Bestimmung von Kameraparametern ist ein zusätzlicher Kalibrierungsschritt zur Korrektur systematischer, PMD-typischer wie z.B. sogenannten Flying Pixeln (Objektgrenzen innerhalb eines Pixels) notwendig. Ansätze zur Korrektur sind u.a. die Verwendung von Lookup-Tabellen oder B-Spline basierten Korrekturfunktionen [4].
• Vorverarbeitung der Messdaten: Die Kompensierung von Artefakten in der Distanzmessung, beispielsweise Ausreißer bei räumlichen Diskontinuitäten (Flying Pixel), ist Thema dieses Arbeitspakets. Ansätze hierzu sind u.a. Non-Local-Means (NLM)-Filter oder die Aufskalierung der Entfernungsdaten [6].
• Sensordatenfusion: Teilaspekte sind die Kombination von Tiefeninformationen und Grauwertdaten einer PMD-Kamera und die Kombination mit Daten einer zusätzlichen RGB-Kamera. Realisierungsmöglichkeiten bestehen in der Projektion der kalibrierten PMD-Daten auf eine 2D-Bildebene [5] oder im Hochskalieren des Tiefenbilds mithilfe von bilateralen Filtern auf die Ortsauflösung des RGB-Bildes [11].
• Mustererkennung und Klassifikation: Ausgehend von den vorverarbeiteten Sensordaten ist es die Intention, die verschiedenen Fahrzeuge, deren Beladungszustand und die Übergabestationen automatisch zu erkennen. Dies könnte durch unüberwachte als auch überwachte Klassifikationsverfahren geschehen, welche auf Merkmalen arbeiten, die durch Methoden der Mustererkennung, wie z.B. "Pattern-Matching", aus den Sensordaten extrahiert werden [7].
• Visualisierung: Die multiplen Daten der Sensoren und dessen Detektionsergebnisse sollen visualisiert werden -- unter Beachtung des Projektfortschritts eventuell auch als interaktives 3D Visualisierungssystem.

• Grafikkartenimplementierung: Um eine echtzeitfähige Verarbeitung der Bildverarbeitungsalgorithmen zu garantieren und möglichst flexible Verarbeitungsplattformen verfügbar zu haben, sind die Sensordaten der verschiedenen Kamerasysteme mittels GPGPU-Programmierung (General Purpose Computing on GPUs) zu analysieren. Dazu soll OpenCL, eine Programmiersprache für sowohl Grafikkarten bzw. auch homogene Multicoresysteme eingesetzt werden [2].
• OpenCL-Programmierung: Zur Vereinfachung der OpenCL-Programmierung soll ein Source-to-Source-Compiler angepasst und zusätzlich das OpenCL Embedded Profile für die ausgewählte Plattform auf dem Schwarmfahrzeug umgesetzt werden, um OpenCL-Kernel vor der Ausführung zu kompilieren.

• Direkte und transparente Kommunikation zwischen den Fahrzeugen mit einem deterministischem Zeitverhalten ohne zentrale Kontrolle
• Gruppenkommunikation: Bildung und Kommunikation innerhalb einer Adhoc-Gruppe. Diese Funktionalität ermöglicht beispielsweise beim Umfahren eines möglichen Kollisionspunktes, Fahrzeuge im Umfeld zu benachrichtigen.
• Abstraktion der Kommunikationsschnittstelle: Für die Kommunikation mit den Fahrzeugen stehen mehrere Funkschnittstellen zur Verfügung. Diese sollen über eine vereinheitliche Schnittstelle erreichbar sein.