Masterarbeit: »Reinforcement Learning zur Regelung vernetzter Roboter am Beispiel des 5G-TSN-Jugglers«

Die Fraunhofer-Gesellschaft (www.fraunhofer.de) betreibt in Deutschland derzeit 76 Institute und Forschungseinrichtungen und ist die weltweit führende Organisation für anwendungsorientierte Forschung. Rund 30 000 Mitarbeitende erarbeiten das jährliche Forschungsvolumen von 2,9 Milliarden Euro.

Am Fraunhofer IPT in Aachen arbeiten wir mit mehr als 530 Mitarbeitenden täglich daran, dass die Produktion der Zukunft digitaler, flexibler und nachhaltiger wird. In der Gruppe »Digitale Infrastrukturen« beschäftigen wir uns mit dem Einsatz neuer Technologien, wie z. B dem Internet of Things, der kabellosen Echtzeitkommunikation und der Künstlichen Intelligenz für die moderne, flexible und vernetzte Produktion. Dabei schließen wir die Lücke zwischen der klassischen OT und IT-Welt, in dem wir Produktionsmaschinen mit Edge- und Cloud Computing Systemen vernetzten und somit Unternehmen unterstützen, ihre Produktionsprozesse optimaler und nachhaltiger zu gestalten.

Im Rahmen der Abschlussarbeit entwickelst du einen Reinforcement Learning basierten Regler für den 5G-TSN-Juggler. Der 5G-TSN-Juggler ist ein Demonstrator des Fraunhofer IPT, welcher das Potential von 5G für Echtzeitregelungen in der Produktion veranschaulicht. Dabei werden zwei der vier Motoren des Roboters zeitgleich über eine kabelgebundene Verbindung und die anderen beiden über eine 5G Funkstrecke angesteuert. Ziel ist es, herauszufinden, ob die Integration einer Netzwerksimulation in die Reinforcement-Learning-Trainingsumgebung es dem Agenten ermöglicht, die Regelaufgabe trotz sich ändernder Latenzen und Paketverluste zu ermöglichen und wie sich diese Simulation auf das Regelverhalten am realen Roboter auswirkt. Dies bietet dir die Möglichkeit, deine Ideen praktisch an einem physischen Roboter auszuprobieren und gleichzeitig am Cutting Edge der Digitalen Infrastrukturen in der Produktion zu arbeiten. Hierbei bearbeitest du einen Teil deiner Aufgaben in unserem Institut bzw. in unserem Maschinenpark.

Was Du bei uns tust

• Integration von Netzwerksimulationen in Reinforcement-Learning-Trainingsumgebungen
• Training verschiedener Agenten zur Regelung des 5G-TSN-Jugglers
• Finetuning und Testen des Modells am realen Roboter

Was Du mitbringst

• Du studierst Maschinenbau, Computer Engineering, Informatik, Automatisierungstechnik, Elektrotechnik oder eine vergleichbare Fachrichtung
• Erste Erfahrung in der Programmierung
• Erste Kenntnisse im Bereich des Reinforcement Learning oder der künstlichen Intelligenz im Allgemeinen
• Eine selbstständige Arbeitsweise und Freude an interdisziplinärer Teamarbeit
• Gute Sprachkenntnisse in Deutsch und/oder Englisch

Was Du erwarten kannst

• Wissenschaftliche Bearbeitung eines aktuellen und praxisrelevanten Themas
• Eine professionelle Betreuung und fachliche Unterstützung bei der Erstellung deiner Abschlussarbeit
• Mitwirkung in innovativen Forschungs- und Entwicklungsprojekten mit namhaften Industriepartnern
• Ein hochmoderner Maschinenpark, ausgestattet mit Edge-Cloud-Systemen und einer 5G-Infrastruktur

Fragen zu dieser Abschlussarbeit beantwortet Dir gerne:

André Gilerson M.Sc.
Wissenschaftlicher Mitarbeiter Digitale Infrastrukturen
Telefon: +49 241 8904-230