Gesture Controlled Drone

Team: Sebastian Schultschik, Daniel Schuster

Es soll eine Drohnensteuerung entwickelt werden, um die im Handel erhältliche Drohne „Parrot Mambo Fly“ zu steuern. Diese Steuerung soll anhand von Gesten und anderseits mit Hilfe eines Beschleunigungssensors erfolgen. Weiters ist eine Simulation des Flugverhaltens der Drohne unter unterschiedlichsten Einflüssen durchzuführen und zu analysieren.

Die Sensorsysteme wurden zunächst auf Basis eines CortexM3-Microcontrollersystems entwickelt. Als Schnittstelle zwischen Sensoren und Drohne wurde ein Raspberry Pi gewählt. Der Beschleunigungssensor wird auf dem Handrücken des Benutzers befestigt und wird über einen Akku mit geeigneter Ladeschaltung betrieben. Als Controller wurde ein ESP32 gewählt, welcher über Bluetooth mit dem Raspberry Pi kommuniziert. Die möglichen Flugmanöver sind: Flug vorwärts / rückwärts / links / rechts / Rotation. Die Ergebnisse, welche der Gestensensor liefert, werden über die serielle Schnittstelle zum Raspberry Pi gesendet. Mögliche Flugmanöver sind: Starten, Landen, Flip vorwärts / rückwärts/ links / rechts. Die Simulation wird mit einem Zusatzpaket der Firma MathWorks für ihr Produkt Matlab/Simulink durchgeführt. Mithilfe dieser Funktion ist es ebenso möglich die physikalische Drohne zu steuern.

Dem Gestensensor liegt das Sensormodul APDS9960 zugrunde. Um die Daten auszulesen, wurde eine Anwendung für den CortexM3 geschrieben. Die Daten werden über die serielle Schnittstelle an den Raspberry Pi gesendet. Der Beschleunigungssensor beruht auf dem MPU9150, welcher mithilfe eines weiteren Microcontrollers ausgelesen wird und über Bluetooth die Daten an den Raspberry Pi sendet. Die empfangenen Daten werden anschließend mithilfe eines Python-Scripts interpretiert. Die Flugbefehle werden an die Drohne über ein Bluetooth-Interface übermittelt. Weiters wird die Drohne mit Matlab angesteuert. Dabei wird eine Flugroute festgelegt, simuliert und dann in Form von einzelnen Flugmanövern der Drohne gesendet. Die Drohne arbeitet diese daraufhin autonom ab.

Aktuelle Projekte und Diplomarbeiten