Refine
Year of publication
Document Type
- Article (reviewed) (8)
- Conference Proceeding (8)
- Patent (6)
- Letter to Editor (3)
- Contribution to a Periodical (2)
- Moving Images (1)
- Article (unreviewed) (1)
Conference Type
- Konferenzartikel (5)
- Konferenz-Abstract (2)
- Konferenz-Poster (1)
Is part of the Bibliography
- yes (29)
Keywords
- Augmented Reality (3)
- Kamera (3)
- Kamera-Tracking (3)
- Prothetik (3)
- Steuerung (3)
- prosthesis (2)
- visual control (2)
- 3D-print (1)
- AR (1)
- AR glasses (1)
Institute
Open Access
- Open Access (17)
- Closed Access (10)
- Bronze (3)
- Hybrid (1)
Die Erfindung betrifft ein Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms, wobei wenigstens ein an oder im Bezug zu dem Gerät positionierter Marker von einer an einer Bedienperson angeordneten Kamera erkannt wird, wobei ab dem Erkennen des wenigstens einen Markers eine vordefinierte Bewegung der Bedienperson zusammen mit der Kamera erkannt wird und zum Auslösen einer entsprechenden Aktion des Geräts verwendet wird, wobei die vordefinierte Bewegung einer Bedienperson in Form eines Sehstrahls mittels Kamera-Tracking erkannt wird. Weiterhin betrifft die Erfindung eine Anordnung aus einem Gerät, insbesondere einer Handprothese oder eines Roboterarms, und einer AR-Brille zur Durchführung eines derartigen Verfahrens.
eLetter zum Artikel "Hybrid EEG/EOG-based brain/neural hand exoskeleton restores fully independent daily living activities after quadriplegia" von Surjo R. Soekadar et al., veröffentlicht in Science Robotics, Vol. 1, No. 1 (DOI: 10.1126/scirobotics.aag3296)
Optische Navigationssysteme weisen bisher eine eindeutige Trennung zwischen nachverfolgendem Gerät (Tool Tracker) und nachverfolgten Geräten (Tracked Tools) auf. In dieser Arbeit wird ein neues Konzept vorgestellt, dass diese Trennung aufhebt: Jedes Tracked Tool ist gleichzeitig auch Tool Tracker und besteht aus Marker-LEDs sowie mindestens einer Kamera, mit deren Hilfe andere Tracker in Lage und Orientierung nachverfolgt werden können. Bei Verwendung von nur einer Kamera geschieht dies mittels Pose Estimation, ab zwei Kameras werden die Marker-LEDs trianguliert. Diese Arbeit beinhaltet die Vorstellung des neuen Peer-To-Peer-Tracking-Konzepts, einen sehr schnellen Pose-Estimation-Algorithmus für beliebig viele Marker sowie die Klärung der Frage, ob die mit Pose Estimation erreichbare Genauigkeit vergleichbar mit der eines Stereo-Kamera-Systems ist und den Anforderungen an die chirurgische Navigation gerecht wird.
This work describes a non-parametric camera-based method for the calibration of Optical See-Through Glasses (OSTG). Existing works model the optical system through perspective projection and parametric functions. In the border areas of the displays such models are often inadequate. Moreover, rigid calibration patterns, that produce only a small amount of non-equidistant point correspondences, are used. In order to overcome these disadvantages every single display pixel is calibrated individually. The error prone user interaction is avoided by using cameras placed behind the displays of the OSTG. The displays show a shifting pattern that is used to calculate the pixels' locations. A camera mounted rigidly on the OSTG is used to find the relations between the system components. The obtained results show better accuracies than in previous works and prove that a second calibration step for user adaptation is necessary for high accuracy applications.
Die Verwendung von Kameras als Messmittel für medizinische Anwendungen setzt deren präzise Kalibrierung voraus. Gängige Verfahren modellieren die Abbildungseigenschaften einer Kamera mittels perspektivischer Projektion und parametrisierter Funktionen zur Beschreibung von Linsenverzerrung. In den Randbereichen des Kamerabildes sind diese Modelle oft unzureichend. Außerdem bedingt die Verwendung starrer Kalibriermuster eine in der Regel kleine Anzahl an nicht gleichmäßig verteilten Punktkorrespondenzen zur Bestimmung der Modellparameter. In der vorliegenden Arbeit wird ein vollkommen neues und nicht auf Modellen basierendes Kalibrierverfahren vorgestellt, bei dem jedes Kamerapixel unabhängig von jedem anderen kalibriert wird.
In the field of neuroprosthetics, the current state-of-the-art method involves controlling the prosthesis with electromyography (EMG) or electrooculography/electroencephalography (EOG/EEG). However, these systems are both expensive and time consuming to calibrate, susceptible to interference, and require a lengthy learning phase by the patient. Therefore, it is an open challenge to design more robust systems that are suitable for everyday use and meet the needs of patients. In this paper, we present a new concept of complete visual control for a prosthesis, an exoskeleton or another end effector using augmented reality (AR) glasses presented for the first time in a proof-of-concept study. By using AR glasses equipped with a monocular camera, a marker attached to the prosthesis is tracked. Minimal relative movements of the head with respect to the prosthesis are registered by tracking and used for control. Two possible control mechanisms including visual feedback are presented and implemented for both a motorized hand orthosis and a motorized hand prosthesis. Since the grasping process is mainly controlled by vision, the proposed approach appears to be natural and intuitive.
Purpose
This work presents a new monocular peer-to-peer tracking concept overcoming the distinction between tracking tools and tracked tools for optical navigation systems. A marker model concept based on marker triplets combined with a fast and robust algorithm for assigning image feature points to the corresponding markers of the tracker is introduced. Also included is a new and fast algorithm for pose estimation.
Methods
A peer-to-peer tracker consists of seven markers, which can be tracked by other peers, and one camera which is used to track the position and orientation of other peers. The special marker layout enables a fast and robust algorithm for assigning image feature points to the correct markers. The iterative pose estimation algorithm is based on point-to-line matching with Lagrange–Newton optimization and does not rely on initial guesses. Uniformly distributed quaternions in 4D (the vertices of a hexacosichora) are used as starting points and always provide the global minimum.
Results
Experiments have shown that the marker assignment algorithm robustly assigns image feature points to the correct markers even under challenging conditions. The pose estimation algorithm works fast, robustly and always finds the correct pose of the trackers. Image processing, marker assignment, and pose estimation for two trackers are handled in less than 18 ms on an Intel i7-6700 desktop computer at 3.4 GHz.
Conclusion
The new peer-to-peer tracking concept is a valuable approach to a decentralized navigation system that offers more freedom in the operating room while providing accurate, fast, and robust results.