Publicação
Developing an MR-Based Robotic Control System for Object Grasping Application
| dc.contributor.advisor | Correia, Ricardo João Luís Marques | |
| dc.contributor.author | Silva, Carlos Daniel Ferreira | |
| dc.date.accessioned | 2026-09-15T09:14:12Z | |
| dc.date.available | 2026-09-15T09:14:12Z | |
| dc.date.issued | 2026-06-15 | |
| dc.description.abstract | This dissertation presents the design, implementation, and evaluation of a mixed reality (MR) teleoperation system for controlling a Universal Robots UR5e using a Meta Quest 3S headset and a Unity-based application. The system integrates an XR interaction layer for capturing controller pose and inputs, a communication and control layer based on the UR dashboard interface and RTDE, and a synchronized digital twin rendered in MR to provide continuous visual feedback aligned with the physical workspace. Robot motion is generated through a clutch-based interaction mechanism: when the control button is held, relative controller motion is mapped to incremental robot motion commands; when released, motion commands stop and the user can reposition without affecting the robot. Runtime tuning parameters (e.g., translation and rotation multipliers and jitter thresholds) are exposed through in-headset UI panels to support sensitivity adjustment during operation. A user study was conducted to assess perceived responsiveness, intuitiveness of translational and rotational control, and overall interface usability. Results indicate that translational control was generally easy to learn and rated as intuitive by most participants. Rotational control was rated positively overall, although roll was iden tified as the most challenging axis. Perceived delay was typically reported as having low impact, but qualitative feedback highlighted the importance of fine control tun ing and interface readability, including accessibility concerns for users with strong vision correction needs. Overall, the findings support MR-based teleoperation with a digital twin as a practical and intuitive interaction paradigm, while highlighting concrete design trade-offs between responsiveness, stability, and interface accessibil ity. | eng |
| dc.description.abstract | Esta dissertação apresenta o desenho, implementação e avaliação de um sistema de teleoperação em realidade mista (RM) para controlo de um Universal Robots UR5e utilizando um headset Meta Quest 3S e uma aplicação desenvolvida em Unity. O sistema integra uma camada de interação XR para aquisição da pose e inputs do controlador, uma camada de comunicação e controlo baseada na interface de dashbo ard e em RTDE, e um gémeo digital sincronizado, visualizado em RM, que fornece feedback visual contínuo alinhado com o espaço físico. O movimento do robô é gerado através de um mecanismo de clutch: enquanto o botão de controlo está pre mido, o movimento relativo do controlador é mapeado para comandos incrementais de movimento do robô; ao libertar o botão, o envio de comandos cessa e o utilizador pode reposicionar a mão/controlador sem afetar o robô. Parâmetros de afinação em tempo de execução (por exemplo, multiplicadores de translação e rotação e limia res de jitter) são disponibilizados em painéis de interface dentro do headset para permitir o ajuste de sensibilidade durante a operação. Foi realizado um estudo com utilizadores para avaliar a responsividade perceci onada, a intuitividade do controlo translacional e rotacional e a usabilidade global da interface. Os resultados indicam que o controlo translacional foi, em geral, fácil de aprender e considerado intuitivo pela maioria dos participantes. O controlo ro tacional obteve avaliações globalmente positivas, embora o eixo de roll tenha sido identificado como o mais desafiante. O atraso percecionado foi tipicamente repor tado como tendo baixo impacto, mas o feedback qualitativo salientou a importância de afinação para controlo fino e da legibilidade da interface, incluindo preocupações de acessibilidade para utilizadores com fortes necessidades de correção visual. No seu conjunto, os resultados suportam a teleoperação em RM com gémeo digital como uma abordagem prática e intuitiva, evidenciando simultaneamente compromissos de desenho entre responsividade, estabilidade e acessibilidade da interface. | por |
| dc.identifier.tid | 204357845 | |
| dc.identifier.uri | http://hdl.handle.net/10400.19/10172 | |
| dc.language.iso | eng | |
| dc.rights.uri | http://creativecommons.org/licenses/by/4.0/ | |
| dc.subject | Digital Twin | |
| dc.subject | Mixed Reality | |
| dc.subject | Teleoperation | |
| dc.subject | Universal Robots UR5e | |
| dc.subject | RTDE | |
| dc.subject | Meta Quest 3S | |
| dc.subject | Human-Robot Interaction | |
| dc.subject | Realidade Mista | |
| dc.subject | Teleoperação | |
| dc.subject | Gémeo Digital | |
| dc.subject | Universal Robots UR5e | |
| dc.subject | RTDE | |
| dc.subject | Meta Quest 3S | |
| dc.subject | Interação Humano-Robô | |
| dc.title | Developing an MR-Based Robotic Control System for Object Grasping Application | |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Sistemas de Informação |
Ficheiros
Principais
1 - 1 de 1
A carregar...
- Nome:
- Carlos Daniel Ferreira da Silva - Trabalho de Projeto - MEISI.pdf
- Tamanho:
- 31.63 MB
- Formato:
- Adobe Portable Document Format
Licença
1 - 1 de 1
Miniatura indisponível
- Nome:
- license.txt
- Tamanho:
- 1.79 KB
- Formato:
- Item-specific license agreed upon to submission
- Descrição: