Sprachen

LogViRT - WS 2017/2018, SS 2018

Thema: 

LogViRT – Logistic Virtual Reality Training, Entwicklung eines Trainingssystems für logistische Prozesse in der virtuellen/augmentierten Realität

Zeitraum: 

WS 2017/2018, SS 2018

Umfang: 

8 SWS pro Semester

Veranstalter: 

Dr. Frank Weichert, Informatik VII (Graphische Systeme),
OH16, R.121, Tel.: 6122, E-Mail: frank.weichert@cs.uni-dortmund.de
Dr. Christian Schwede, Fraunhofer-Institut für Materialfluss und Logistik IML,
Joseph-von-Fraunhofer-Str. 2-4, R.1507, Tel.: 9743 137, E-Mail: christian.schwede@iml.fraunhofer.de
Dipl.-Inf. Benjamin Korth, Fraunhofer-Institut für Materialfluss und Logistik IML,
Joseph-von-Fraunhofer-Str. 2-4, R.2907, Tel.: 9743 232, E-Mail: benjamin.korth@iml.fraunhofer.de

Einzelpräsentation: 

Montag, 3. Juli, 11:00 – 12:00 Uhr, Fraunhofer-Institut für Materialfluss und Logistik IML, Joseph-von-Fraunhofer-Str. 2-4, Treffpunkt "Haupteingang"

Thematik: 

a) Motivation: Die Digitalisierung von Prozessen verspricht für den Menschen verbesserte Arbeitsbedingungen, in der Mensch und Technik optimal zusammenarbeiten können [2]. Die Schulung von Mitarbeitern im Umgang mit neuer Technologie ist hier ein wesentlicher Aspekt [6]. Neben der Vermittlung von theoretischem Wissen muss der praktische Umgang mit der Technik geübt werden. Hinzu kommen Besonderheiten der Arbeitsumgebung oder der Unternehmensprozesse. Die praktische Schulung findet in Unternehmen häufig im laufenden Betrieb statt, indem bereits ausgebildete Mitarbeiter den neuen die Prozesse erklären und „vormachen“. Durch diese Vorgehensweise wird der operative Betrieb jedoch beeinträchtigt und wertvolle Mitarbeiter gebunden. Abhilfe durch gesonderte Ausbildungsorte vermeiden zwar die Störung des operativen Betriebs, verursachen aber zusätzliche Kosten für Raum und Ausstattung. Eine Möglichkeit, um diesem Problem zu begegnen ist, Schulungsmaßnahmen zu digitalisieren und in eine virtuelle Umgebung zu verlegen. Während eines Trainings werden Daten gesammelt, die anschließend zu analysieren sind – dies soll helfen, den Schulungserfolg der Kandidaten darzustellen. Ein weiteres Anwendungsszenario ist es, mit Hilfe des Trainings in der virtuellen Realität, Arbeitsabläufe zu optimieren. Insbesondere können durch verschiedene Optimierungsstrategien die Handlungen mehrerer Personen in einem kooperativen oder sogar kollaborativen Szenario aufeinander abgestimmt werden. Das Trainingssystem könnte es somit ermöglichen, unterschiedlichste Prozesse und den Umgang mit verschiedensten technischen Systemen nachhaltig zu schulen. Um Nutzer in die virtuelle Welt einzubetten, kann generalisiert einsetzbare Hardware verwendet werden, was unternehmensübergreifende Schulungszentren ermöglicht.

Abbildung 1: <strong>(a)</strong> Darstellung der u.a. zur Verfügung stehenden Hardware für eine maximale Immersion, bestehend aus Bewegungsplattform, AR-Brillen und Motion Capturing-Anzug und <strong>(b)</strong> exemplarische Darstellung eines virtuellen logistischen BeispielszenariosAbbildung 1: (a) Darstellung der u.a. zur Verfügung stehenden Hardware für eine maximale Immersion, bestehend aus Bewegungsplattform, AR-Brillen und Motion Capturing-Anzug und (b) exemplarische Darstellung eines virtuellen logistischen Beispielszenarios

Ausgehend von dieser Problemstellung ist die Zielsetzung der Projektgruppe der Entwurf und die Implementierung eines Trainingssystems für logistische Prozesse in einer virtuellen/augmentierten Realität (VR/AR). Innerhalb der Projektgruppe soll daher ein System realisiert werden, welches ein grafisch intuitives (eventuell augmentiertes) Steuerungs- und Visualisierungskonzept, eine automatische Detektion von menschlichen Handlungsmustern (Posen, Gesten) sowie eine Manipulation der (virtuellen) Umgebung beinhaltet – dabei sollen kooperative und kollaborative Szenarien berücksichtigt werden. Entsprechend sind die Umgebung, aktive und passive Objekte in 3D zu modellieren, die Abläufe abzubilden und die handelnden Personen in die virtuelle Umgebung einzubetten. Dazu stehen im Rahmen der Projektgruppe u.a.
  • Virtual-Reality-Brillen (HTC-Vive)
  • Augmented-Reality-Brillen (Microsoft Hololens)
  • Bewegungsplattformen (Cyberith Virtualizer)
  • Motion-Capturing-Anzüge (Perception Neuron 32)
zur Verfügung. Hierdurch soll eine möglichst gute Immersion des Nutzers in die virtuelle Welt und eine intuitive Steuerung durch Gesten erreicht werden (siehe Abbildung 1). Die Realisierung kann sowohl als virtuelle als auch augmentierte Realität erfolgen. Abhängig vom Szenario soll mit der Umgebung oder auch mit einer anderen Person interagiert werden können. Hierdurch lassen sich nachfolgende Interaktionsmöglichkeiten abbilden:
  • eine Person trainiert in einer reaktiven Umgebung,
  • zwei Personen trainieren in einem kooperativen Szenario oder
  • zwei Personen trainieren in einem kollaborativen Szenario.
Für die aufgezeigten Komponenten stehen umfangreiche realitätsnahe logistische/industrielle Anwendungsszenarien zur Verfügung, die umgesetzt, analysiert und evaluiert werden können.

b) Aufgabenbeschreibung: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe folgende wesentliche Aufgabengebiete. Ein Teilgebiet fokussiert sich auf die Bausteine zur Einbettung von Personen in eine virtuelle Umgebung. Hierzu sind folgende Arbeitspunkte umzusetzen:

  • VR-/AR-Design:
  • In der Design-Phase soll ein kompaktes Design-Dokument erstellt werden [4], welches die Konzepte der Trainingsumgebung, zentrale Aspekte der Handlungs- und Interaktionsoptionen und geplante Funktionsweisen der Multi-User-GUI für die zu entwickelnde virtuelle oder augmentierte Interaktionsumgebung darlegt. Die nachfolgende Modellierung und Implementierung soll mit Hilfe der Unity3DEngine erfolgen.
  • Handlungs-, Gesten- und Posenerkennung:Daten von u.a. Head-Mounted-Display, Bewegungsplattform und Motion-Capturing-Anzug müssen erhoben und klassifiziert werden, um die Bewegung und Interaktion zu ermöglichen. Bei der damit assoziierten Anforderung, dem Erkennen einer Sequenz von Bewegungen (Handlungsanweisungen) ist die Assistierung durch eine Benutzungsschnittstelle sowie ein adaptiertes Lernen durch kontinuierliche Anpassung, beispielsweise über (Deep) Reinforcement-Learning umzusetzen [10].
  • Personentracking und -ortung:In Anbetracht der spezifischen Herausforderungen, u.a. gleichzeitiges Verfolgen mehrerer Personen und Abgleich mit der augmentierten Realität, sind Feature-gestützte und selbstlernende Trackingverfahren zu berücksichtigen. Methodische Ansätze zum Verfolgen von Personen beruhen auf probabilistischen Algorithmen, u.a. Kalman- oder Partikel-Filter. Modernere Konzepte integrieren Convolutional Neural Networks (CNN) [8], welche über die Integration ergänzender Verfahren verfeinert werden können, z.B. Optical Flow [7] oder Tracklets [11]. Eine CNN-gestützte Kombination aus Klassifikation und Tracking könnte auch erarbeitet werden.
  • Synchronisation und Kommunikation:Ausgehend von der Auswahl an unterschiedlichen Sensoren zur Erfassung von Position, Orientierung oder Gestik des Menschen und deren Anzahl muss eine gleichzeitige und/oder gekoppelte Informationsverarbeitung mehrerer (auch unterschiedlicher) Sensoren (Multi-Sensing, Multisensorik) realisiert werden [9]. Zu berücksichtigen ist u.a. die Bewegungen des Menschen optimal auf den virutellen Charakter zu übertragen. Dies erfordert Methoden zur Sensordatenfusion sowie zur örtlichen und zeitlichen Registrierung/Synchronisierung [13]. In Szenarien mit mehreren Personen muss ein Netzwerk [3] mit einer direkten und transparenten Echtzeit-konformen Kommunikation aufgebaut werden, sodass jede Person mit dem Trainingsszenario interagieren kann.
  • Reaktive Umgebungsmanipulation:Ein wesentlicher Aspekt zur Immersion und im Hinblick auf den Realitätsgrad soll durch die kontinuierliche Überführung der (virtuellen) Handlungen in die virtuell/augmentierte Realität erreicht werden. Dies beinhaltet neben dem Einsatz von Controllern auch die Realisierung von geeigneten Verfahren zur Kollisionserkennung [5] des virtuellen Avatars mit der Umgebung und anderen Charakteren. Im Falle einer augmentierten Umsetzung ist zudem die Generierung eines adaptiven Umgebungsmodells [12] und das Erkennen von allgemeinen Umgebungsfeatures, z.B. geometrischen oder spezifischen Landmarks, bedeutsam.
Das zweite Teilgebiet der Projektgruppe beschäftigt sich mit der Evaluierung und der Analyse von Trainingsergebnissen. Hierzu sind folgende Arbeitspunkte umzusetzen:
  • Evaluierung:Die Zielsetzung der Evaluierung ist die Untersuchung aller Konzepte und Methoden des Gesamtsystems unter den Gesichtspunkten einer korrekten Verzahnung und Abstimmung der Arbeitsabläufe aufeinander. An dieser Stelle soll insbesondere die Ergonomie der Multi-User Interaktion und der VR-/AR-Umgebung kritisch beleuchtet und so eventuelle konzeptionelle Schwachstellen im Hinblick auf das Trainingssystem detektiert und dokumentiert werden.
  • Analyse von Arbeits- und Handlungsabläufen:Mit der Analyse sollen Schwachstellen in den Abläufen in den logistischen Prozessen aufgedeckt und behoben werden können. Hierzu sind zunächst geeignete Kennzahlen zu definieren und die entsprechende Datengrundlage zu schaffen. Anschließend sind die gesammelten Daten zu analysieren und darzustellen. In einem zweiten Schritt sollen Strategien entwickelt werden, die durch Kombination von Handlungsbausteinen einen verbesserten Gesamtprozess bilden.
Bei der Umsetzung des virtuellen/augmentierten Trainingssystems sollen verschiedene Entwurfsphasen beachtet werden und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden [1]. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere, einfache Erweiterung des Systems erlaubt, beispielsweise die Integration weiterer Hardwarekomponenten, Verknüpfung der AR-Umgebung mit (physikalischen) Simulationskomponenten, Interaktion mit autonomen Fahrzeugen oder Drohnen sowie im Hinblick auf Outdoor-Szenarien.

Teilnahmevoraussetzungen:

  • Eines der Module Mensch-Maschine-Interaktion, Eingebettete Systeme, Digitale Bildverarbeitung, Datenvisualisierung, Webtechnologien, Computervision, Graphische Datenverarbeitung, Mustererkennung, Software ubiquitärer Systeme oder vorlesungsäquivalente Kenntnisse [vorausgesetzt]
  • Kenntnisse in einer Programmiersprache, z. B. C#, Java, oder C++ [vorausgesetzt]

Minimalziele:

Entwurf und Implementierung einer virtuellen Trainingsumgebung mit Unity für ein kooperatives Szenario mit zwei Personen unter Verwendung der zur Immersion notwendigen Hardware.

Literatur:

[1]H. Balzert. Lehrbuch der Software-Technik. Spektrum Akademischer Verlag, 1997.
[2]T. Bauernhansl, M. ten Hompel, and B. Vogel-Heuser, editors. Industrie 4.0 in Produktion, Automatisierung und Logistik: Anwendung, Technologien, Migration. Springer Vieweg, 2014.
[3]R. Brooks and S. S. Iyengar. Multi-sensor fusion: fundamentals and applications with software. Prentice- Hall, Inc., 1998.
[4]T. Connolly, E. Boyle, E. MacArthur, T. Hainey, and J. Boyle. A systematic literature review of empirical evidence on computer games and serious games. Computers & Education, 59(2):661–686, 2012.
[5] C. Ericson. Real-Time Collision Detection. Morgan Kaufmann Publishers Inc., 2004.
[6]M. Henke and S. Kaczmarek. Gamification in der Logistik. Huss-Verlag, 2017.
[7]B. Horn and B. Schunck. Determining optical flow. Artificial Intelligence, 17(1):185 – 203, 1981.
[8]R. Kasturi and et al. Framework for performance evaluation of face, text, and vehicle detection and tracking in video: Data, metrics, and protocol. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009.
[9] M. Liggins, D. Hall, and J. Llinas, editors. Handbook of Multisensor Data Fusion. CRC Press, 2008.
[10]V. Mnih and et al. Human-level control through deep reinforcement learning. Nature, 518(7540):529–533, 2015.
[11]M. Raptis and et al. Tracklet Descriptors for Action Modeling and Video Analysis, pages 577–590. 2010.
[12]S. Thrun and J. Leonard. Simultaneous localization and mapping. In Springer handbook of robotics, pages 871–889. 2008.
[13]J. Zhu and et al. Fusion of time-of-flight depth and stereo for high accuracy depth maps. In Conference on Computer Vision and Pattern Recognition (CVPR), pages 1–8, 2008.

Rechtliche Hinweise:

Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik und dem Fraunhofer-Institut für Materialfluss und Logistik uneingeschränkt zur freien Forschung und Lehre zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.