DynOLog - Dynamische Detektion von Objekten im Kontext von logistischen Anwendungsfällen
SS 2013, WS 2013/2014
8 SWS pro Semester
Dr. Frank Weichert, Informatik VII (Graphische Systeme),
OH16, R.121, Tel.: 755 - 6122, E-Mail: frank.weichert@tu-dortmund.de
Pascal Libuschewski, Informatik XII (Entwurfsautomatisierung Eingebetteter Systeme),
OH16, R.101, Tel.: 755 - 6125, E-Mail: pascal.libuschewski@tu-dortmund.dee
Andreas Kamagaew, Fraunhofer-Institut für Materialfluss und Logistik,
Joseph-von-Fraunhofer-Str. 2-4, Tel.: 9743-127, E-Mail: andreas.kamagaew@iml.fraunhofer.de
Adrian Schyja, Lehrstuhl für Industrielle Robotik und Produktionsautomatisierung,
Leonhard-Euler-Str. 2, Tel.: 755 - 5617, E-Mail: adrian.schyja@tu-dortmund.de
Mittwoch, den 28.11. um 12.15 Uhr in der OH14, Raum E04
Folien der Projektgruppenvorstellung im pdf-Format: PG-Praesentation_DynOLog.pdf (0.8 MB)
a) Motivation: Für den Materialtransport in Logistik-/Distributionszentren oder Lagereinrichtungen werden zunehmend „Fahrerlose Transportsysteme“ (FTS) eingesetzt [10]. Die Navigation der automatisch gesteuerten Fördersysteme erfolgt dabei völlig autonom. Um einen adäquaten Durchsatz bzw. eine hohe Leistung zu erreichen, sind in der Regel möglichst viele Transportfahrzeuge innerhalb eines solchen logistischen Systems aktiv. Während die automatisierte Entnahme von Stückgut zur Beladung von Transportsystemen Stand der Technik ist, stellt eine automatisierte Lösung der Entladung der Transportfahrzeuge an Übergabestationen, die bisher überwiegend manuell erfolgt, eine Herausforderung dar, insbesondere dann wenn sich die Fahrzeuge in Bewegung befinden. Die hier anvisierte Lösung zur automatisierten Entladung der Transportsysteme sieht den Einsatz eines Industrieroboters vor. Aus Gründen der Energieeffizienz und der Durchsatzleistung sollen die vorbeifahrenden Fahrzeuge nicht abbremsen, sondern während der Fahrt über den Roboter, der sich der Bewegung und Beladung anpasst, entladen werden. Das Prinzip einer Roboterzelle, die eine solche Aufgabe erfüllen könnte, ist in Abbildung 1 dargestellt. Das Versuchs-Setup ist am Fraunhofer-Institut für Materialfluss und Logistik (IML) installiert und kann für die Evaluation genutzt werden.
![]() |
Abbildung 1: Roboterzelle als Zwischenstation für das „Fahrerlose Transportsystem“: (a) Virtuelle Darstellung und (b) Foto des Roboters mit der am Sauggreifer befestigten Kinect-Kamera. |
![]() |
Abbildung 2: Darstellung eines Fahrerlosen Transportfahrzeugs (FTF) mit Beladung: (a) Foto und (b) mittels PMD-Kamera generierte Punktewolke (farbkodierte interpolierte Fläche) |
Ausgehend von dieser Problemstellung ist die Zielsetzung dieser Projektgruppe der Entwurf und die Implementierung eines Systems zur Lokalisierung und Klassifizierung von sich in Bewegung befindenden Fahrerlosen Transportfahrzeugen (s. Abbildung 2(a)) und deren Ladungsobjekten sowie die dynamische Bewegungsplanung eines Roboters. Hierzu soll eine exakte Lokalisation der Fahrzeuge und der transportierten Kisten mit Stückgut über eine bildbasierte Sensorik erfolgen, während sich das Fahrzeug der Entladestation nähert. Vorgesehen ist dabei sowohl ein Einsatz von optischen 2D- und insbesondere 3D-Sensoren (s. Abbildung 2), wie PMD-Kameras (Photonic Mixer Device), die zu den 3D-Time-of-Flight-Kameras [4] zählen, sowie Kinect- bzw. Xtion-3D-Kameras (Prinzip des strukturierten Lichts) [9]. Zur weiteren Steigerung der Messgüte ist zudem die Fusion von 2D- und 3D-Sensoren zu realisieren. Im Hinblick auf die echtzeitfähige Bildverarbeitung soll die Umsetzung dabei unter Einsatz der Grafikkarte erfolgen. Für den nachgeschalteten Prozess des Entladens, der thematisch dem Bereich des Bin-Picking [6] zugeordnet wird, ist eine exakte Analyse der erfassten und vorverarbeiteten optischen Sensordaten notwendig. Dies ist die Grundlage für den nachfolgend umzusetzenden Schritt der Generierung kollisionsfreier Roboterbahnen. Nur durch eine adäquate Roboterbewegung ist es möglich, das Stückgut sicher aus der sich bewegenden Transportkiste zu greifen. Die Entnahme der Ladungsobjekte aus den FTF soll dabei vor dem eigentlichen Griff in einer Simulation virtuell berechnet werden, um die bestmögliche Roboterbewegung zu gewährleisten. Hierzu ermittelt das zu entwickelnde Bildverarbeitungssystem Informationen über Geschwindigkeit und Position aus den akquirierten Kameradaten.
b) Aufgabenbeschreibung: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe (s. Abbildung 3) zwei wesentliche Aufgabengebiete, die in einem Optimierungs- und Validierungszyklus eingebunden sind. Ein Teilgebiet fokussiert sich dabei auf die bildbasierte Objekterkennung und -Klassifikation sowie die Planung und Simulation der Roboterbewegung. Das zweite Teilgebiet beinhaltet die Multicore-Programmierung für Eingebettete Systeme mit dem Ziel der Abbildung der im ersten Teilgebiet erarbeiteten Algorithmen auf Grafikkarten bzw. homogene Multicoresysteme. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Das erste Teilgebiet umfasst folgende Arbeitspunkte:
![]() |
Abbildung 3: Schematische Darstellung der Projektgruppenaufgaben im Gesamtkontext |
Das zweite Teilgebiet der Projektgruppe geht von den o.g. Bildverarbeitungs- und Bahnplanungsalgorithmen aus und zielt auf eine effiziente Realisierung dieser Methoden auf Eingebetteten Systemen. Hierzu sind folgende Arbeitspunkte umzusetzen:
Bei der Umsetzung dieser Anforderungen in ein Softwaresystem sollen verschiedene Entwurfsphasen beachtet werden [1] und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere einfache Erweiterung des Systems erlaubt, beispielsweise zur parallelen Entladung durch mehrere Fahrzeuge und/oder Roboter. Neben der Roboterstelle am IML steht zudem für Vorversuche auch die mobile Roboterplattform „youBot“ der Firma KUKA am Institut für Produktionssysteme zur Verfügung. Das gewählte Thema gibt einen engen thematischen Anschluss zu verschiedenen Forschungsarbeiten in Richtung digitale Bildverarbeitung/Mustererkennung am LS VII, Softwareentwicklung für Eingebettete Systeme am LS XII und hoch aktuellen Fragestellungen im Kontext der Robotik und Logistik und erlaubt damit den Teilnehmenden, sich für eine Reihe von möglichen Abschlussarbeiten an den Lehrstühlen zu qualifizieren.
Implementierung eines echtzeitfähigen Bildverarbeitungssystems zum Tracking der bewegten FTF sowie zur Klassifikation des Fahrzeug- und Ladungstyps.
[1] H. Balzert. Lehrbuch der Software-Technik. Spektrum Akademischer Verlag, 1997.
[2] R. Brooks and S. S. Iyengar. Multi-sensor fusion: fundamentals and applications with software. Prentice-Hall, Inc., 1998.
[3] Khronos OpenCL Working Group. The OpenCL Specification, 2008.
[4] A. Kolb, E. Barth, R. Koch, and R. Larsen. Time-of-Flight Sensors on Computer Graphics. Proc. Eurographics (State-of-the-Art Report), 2009.
[5] K.-D. Kuhnert and M. Stommel. Fusion of stereo-camera and pmd-camera data for real-time suited precise 3d environment reconstruction. In Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference on, pages 4780 –4785, oct. 2006.
[6] A. Pochyly, T. Kubela, M. Kozak, and P. Cihak. Robotic vision for bin-picking applications of various objects. 41st Int. Symp. and 6th German Conf. on Robotics, pages 1 –5, june 2010.
[7] R.B. Rusu. Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments. PhD thesis, Computer Science department, Technische Universität Müchen, Germany, 2009.
[8] J. Sanders and E. Kandrot. CUDA by Example: An Introduction to General-Purpose GPU Programming. Addison-Wesley Professional, 1 edition, July 2010.
[9] N. Silberman and R. Fergus. Indoor scene segmentation using a structured light sensor. In 2011 IEEE Int. Conf. on Computer Vision Workshops, pages 601 –608, nov. 2011.
[10] M. ten Hompel and L. Nagel. Zellulare Transportsysteme: Den Dingen Beine machen im "Internet der Dinge". Information Technology, it 50, Nr.1:pp. 59–65, 2008.
Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik, dem Fraunhofer-Institut für Materialfluss und Logistik sowie dem Institut für Produktionssysteme uneingeschränkt zur freien Forschung und Lehre zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.