Informatik VII
Lehrstuhl für Computergraphik

a) Motivation: Für den Materialtransport in Logistik-/Distributionszentren oder Lagereinrichtungen werden zunehmend „Fahrerlose Transportsysteme“ (FTS) eingesetzt [10]. Die Navigation der automatisch gesteuerten Fördersysteme erfolgt dabei völlig autonom. Um einen adäquaten Durchsatz bzw. eine hohe Leistung zu erreichen, sind in der Regel möglichst viele Transportfahrzeuge innerhalb eines solchen logistischen Systems aktiv. Während die automatisierte Entnahme von Stückgut zur Beladung von Transportsystemen Stand der Technik ist, stellt eine automatisierte Lösung der Entladung der Transportfahrzeuge an Übergabestationen, die bisher überwiegend manuell erfolgt, eine Herausforderung dar, insbesondere dann wenn sich die Fahrzeuge in Bewegung befinden. Die hier anvisierte Lösung zur automatisierten Entladung der Transportsysteme sieht den Einsatz eines Industrieroboters vor. Aus Gründen der Energieeffizienz und der Durchsatzleistung sollen die vorbeifahrenden Fahrzeuge nicht abbremsen, sondern während der Fahrt über den Roboter, der sich der Bewegung und Beladung anpasst, entladen werden. Das Prinzip einer Roboterzelle, die eine solche Aufgabe erfüllen könnte, ist in Abbildung 1 dargestellt. Das Versuchs-Setup ist am Fraunhofer-Institut für Materialfluss und Logistik (IML) installiert und kann für die Evaluation genutzt werden.

Abbildung 1: Roboterzelle als Zwischenstation für das „Fahrerlose Transportsystem“: (a) Virtuelle Darstellung und (b) Foto des Roboters mit der am Sauggreifer befestigten Kinect-Kamera.

Abbildung 2: Darstellung eines Fahrerlosen Transportfahrzeugs (FTF) mit Beladung: (a) Foto und (b) mittels PMD-Kamera generierte Punktewolke (farbkodierte interpolierte Fläche)

Ausgehend von dieser Problemstellung ist die Zielsetzung dieser Projektgruppe der Entwurf und die Implementierung eines Systems zur Lokalisierung und Klassifizierung von sich in Bewegung befindenden Fahrerlosen Transportfahrzeugen (s. Abbildung 2(a)) und deren Ladungsobjekten sowie die dynamische Bewegungsplanung eines Roboters. Hierzu soll eine exakte Lokalisation der Fahrzeuge und der transportierten Kisten mit Stückgut über eine bildbasierte Sensorik erfolgen, während sich das Fahrzeug der Entladestation nähert. Vorgesehen ist dabei sowohl ein Einsatz von optischen 2D- und insbesondere 3D-Sensoren (s. Abbildung 2), wie PMD-Kameras (Photonic Mixer Device), die zu den 3D-Time-of-Flight-Kameras [4] zählen, sowie Kinect- bzw. Xtion-3D-Kameras (Prinzip des strukturierten Lichts) [9]. Zur weiteren Steigerung der Messgüte ist zudem die Fusion von 2D- und 3D-Sensoren zu realisieren. Im Hinblick auf die echtzeitfähige Bildverarbeitung soll die Umsetzung dabei unter Einsatz der Grafikkarte erfolgen. Für den nachgeschalteten Prozess des Entladens, der thematisch dem Bereich des Bin-Picking [6] zugeordnet wird, ist eine exakte Analyse der erfassten und vorverarbeiteten optischen Sensordaten notwendig. Dies ist die Grundlage für den nachfolgend umzusetzenden Schritt der Generierung kollisionsfreier Roboterbahnen. Nur durch eine adäquate Roboterbewegung ist es möglich, das Stückgut sicher aus der sich bewegenden Transportkiste zu greifen. Die Entnahme der Ladungsobjekte aus den FTF soll dabei vor dem eigentlichen Griff in einer Simulation virtuell berechnet werden, um die bestmögliche Roboterbewegung zu gewährleisten. Hierzu ermittelt das zu entwickelnde Bildverarbeitungssystem Informationen über Geschwindigkeit und Position aus den akquirierten Kameradaten.

b) Aufgabenbeschreibung: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe (s. Abbildung 3) zwei wesentliche Aufgabengebiete, die in einem Optimierungs- und Validierungszyklus eingebunden sind. Ein Teilgebiet fokussiert sich dabei auf die bildbasierte Objekterkennung und -Klassifikation sowie die Planung und Simulation der Roboterbewegung. Das zweite Teilgebiet beinhaltet die Multicore-Programmierung für Eingebettete Systeme mit dem Ziel der Abbildung der im ersten Teilgebiet erarbeiteten Algorithmen auf Grafikkarten bzw. homogene Multicoresysteme. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Das erste Teilgebiet umfasst folgende Arbeitspunkte:

• Sensorkalibrierung: Ausgehend von einer initial durchzuführenden Auswahl der geeigneten optischen Sensorik, auf Basis der spezifizierenden Anforderungen an die Berechnungszeit und Genauigkeit des Gesamtsystems, ist eine intrinsische sowie extrinsische Kalibrierung durchzuführen. Während die Kompensierung der sensortypischen Artefakte, wie z.B. des „Wiggling-Erros“ bei PMD-Kameras [4], das Ziel der intrinsischen Kalibrierung bildet, stellt die extrinsische Kalibrierung einen Bezug der Koordinatensysteme der einzelnen Sensoren zueinander sowie zum Koordinatensystem des Roboters her.
• Vorverarbeitung der optischen Sensordaten: Gegenstand der Vorverarbeitung ist u.a. sowohl die Kompensierung nicht-systematischer Sensorfehler, wie beispielsweise die bei PMD-Kameras an Objekträndern entstehenden „Flying Pixel“ [4] als auch die Reduktion der 3D-Daten (z.B. über ein „Voxelgrid“ [7]) und die Fusion multipler Sensordaten [5].
  

  Abbildung 3: Schematische Darstellung der Projektgruppenaufgaben im Gesamtkontext

• Lokalisierung und Klassifizierung von Fahrzeug- und Ladungstyp: Das Konzept der Lokalisierung der FTF samt Beladung soll einem zweistufigen hierarchischen Ansatz folgen. Auf einer übergeordneten makroskopischen Ebene werden zunächst die FTF samt Beladung
  erkannt, während im folgenden Verfeinerungsschritt auf mikroskopischer Ebene die Position und Ausrichtung der Beladung innerhalb des FTF erkannt werden soll. Im weiteren Verarbeitungsschritt erfolgt die Klassifizierung von Fahrzeug- und Ladungstyp. Mögliche Lösungen für das Problem der Lokalisierung und Klassifizierung in Verbindung mit den 3D-Sensordaten bilden hierbei z.B. die normalenbasierten Ansätze [7].
• Planung und Simulation der Roboterbewegung: Ausgehend von der Lokalisation der zu greifenden Stückgutpositionen soll eine kollisionsfreie Bewegungsbahn für den Roboter geplant werden – dies unter den Aspekten der Effizienz und Sicherheit. Die Planung und Generierung der Bewegungsbahn für den Roboter erfolgt mittels der nativen Roboterprogrammiersprache KRL (KUKA Robot Language), wobei initial eine Simulation erfolgen soll.
• Visualisierung: Die multiplen Daten der Sensoren, die Ergebnisse der Lokalisierung sowie die simulierte Roboterbewegung sollen in einem interaktiven 3D-Visualisierungssystem dargestellt werden.

Das zweite Teilgebiet der Projektgruppe geht von den o.g. Bildverarbeitungs- und Bahnplanungsalgorithmen aus und zielt auf eine effiziente Realisierung dieser Methoden auf Eingebetteten Systemen. Hierzu sind folgende Arbeitspunkte umzusetzen:

• Multicore-Programmierung für Eingebettete Systeme:Um eine echtzeitfähige Verarbeitung der Bildverarbeitungsalgorithmen zu garantieren und möglichst flexible Verarbeitungsplattformen verfügbar zu haben, sind die Sensordaten der verschiedenen Kamerasysteme mittels GPGPU-Programmierung (General Purpose Computing on GPUs) zu analysieren. Dazu soll entweder CUDA (Compute Unified Device Architecture) [8], eine Programmiersprache für Grafikkarten, oder OpenCL (Open Computing Language), eine Programmiersprache für sowohl Grafikkarten bzw. auch homogene Multicoresysteme eingesetzt werden [3].
• Effiziente Kommunikation:Zur Kommunikation der Sensoren (Kameras) und Aktoren (Roboter) - Aufbau des Sensor-Aktor-Netzwerks [2]) - soll eine ressourceneffiziente, dienstbasierte Middleware bereitgestellt werden, welche eine direkte und transparente Kommunikation als auch eine Gruppenkommunikation der Einheiten erlaubt.

Bei der Umsetzung dieser Anforderungen in ein Softwaresystem sollen verschiedene Entwurfsphasen beachtet werden [1] und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere einfache Erweiterung des Systems erlaubt, beispielsweise zur parallelen Entladung durch mehrere Fahrzeuge und/oder Roboter. Neben der Roboterstelle am IML steht zudem für Vorversuche auch die mobile Roboterplattform „youBot“ der Firma KUKA am Institut für Produktionssysteme zur Verfügung. Das gewählte Thema gibt einen engen thematischen Anschluss zu verschiedenen Forschungsarbeiten in Richtung digitale Bildverarbeitung/Mustererkennung am LS VII, Softwareentwicklung für Eingebettete Systeme am LS XII und hoch aktuellen Fragestellungen im Kontext der Robotik und Logistik und erlaubt damit den Teilnehmenden, sich für eine Reihe von möglichen Abschlussarbeiten an den Lehrstühlen zu qualifizieren.