Augmented Reality unterstütztes Klettern

Team: Daniel Dirl und Julian Dörr

Klettern in Kletterhallen ist in den letzten Jahren eine beliebte Trendsportart geworden. In vielen Kletterhallen sind Kletterrouten entweder vorgegeben oder nicht vorhanden, es fehlt die Möglichkeit selbst Kletterrouten zu erstellen und zu speichern. Um Kletterrouten selbst erstellen und abspeichern zu können ist Augmented Reality bestens geeignet, die Möglichkeit Hologramme in der echten Welt erscheinen lassen zu können kann für das Erstellen und Anzeigen von Kletterrouten genutzt werden. Die Aufgabe besteht also darin auf der Microsoft HoloLens eine Software zu entwickeln welche Klettergriffe erkennen und in infolge dessen selbst Kletterrouten erstellen und abspeichern zu können. Über einen Server soll es möglich sein die erstellten Kletterrouten mit anderen HoloLens-Brillen austauschen zu können.

Mit der Kamera der HoloLens konnten Bilder aufgenommen werden und mithilfe eines zuvor erstellten, neuronalen Netzes, auf Klettergriffe untersucht werden. Für das neuronale Netz wurde der von Microsoft bereitgestellte Dienst „Custom Vision“ verwendet. Mit Custom Vision können neuronale Netze trainiert und anschließend exportiert werden. Das neuronale Netz erkennt die Klettergriffe und kann deren Position bestimmen.

Mit der Game-Engine „Unity“ werden die Kamera und das neuronale Netz kombiniert. Die Unity Engine ist eine beliebte Game Engine und war für das Projekt attraktiv da die Dokumentation dafür äußerst umfangreich ist und in der Vergangenheit schon für Projekte in Kombination mit der HoloLens verwendet wurde. Auf der HoloLens werden die erkannten Klettergriffe entsprechend gekennzeichnet. Das Programm wird über ein intuitives Menü bedient. Über ein W-LAN Netzwerk können die Kletterrouten übertragen und gespeichert werden.

Aktuelle Projekte und Diplomarbeiten