A carregar...
Publicação
Developing an MR-Based Robotic Control System for Object Grasping Application
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 31.63 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
This dissertation presents the design, implementation, and evaluation of a mixed
reality (MR) teleoperation system for controlling a Universal Robots UR5e using a
Meta Quest 3S headset and a Unity-based application. The system integrates an
XR interaction layer for capturing controller pose and inputs, a communication and
control layer based on the UR dashboard interface and RTDE, and a synchronized
digital twin rendered in MR to provide continuous visual feedback aligned with the
physical workspace. Robot motion is generated through a clutch-based interaction
mechanism: when the control button is held, relative controller motion is mapped
to incremental robot motion commands; when released, motion commands stop and
the user can reposition without affecting the robot. Runtime tuning parameters
(e.g., translation and rotation multipliers and jitter thresholds) are exposed through
in-headset UI panels to support sensitivity adjustment during operation.
A user study was conducted to assess perceived responsiveness, intuitiveness of
translational and rotational control, and overall interface usability. Results indicate
that translational control was generally easy to learn and rated as intuitive by most
participants. Rotational control was rated positively overall, although roll was iden
tified as the most challenging axis. Perceived delay was typically reported as having
low impact, but qualitative feedback highlighted the importance of fine control tun
ing and interface readability, including accessibility concerns for users with strong
vision correction needs. Overall, the findings support MR-based teleoperation with
a digital twin as a practical and intuitive interaction paradigm, while highlighting
concrete design trade-offs between responsiveness, stability, and interface accessibil
ity.
Esta dissertação apresenta o desenho, implementação e avaliação de um sistema de teleoperação em realidade mista (RM) para controlo de um Universal Robots UR5e utilizando um headset Meta Quest 3S e uma aplicação desenvolvida em Unity. O sistema integra uma camada de interação XR para aquisição da pose e inputs do controlador, uma camada de comunicação e controlo baseada na interface de dashbo ard e em RTDE, e um gémeo digital sincronizado, visualizado em RM, que fornece feedback visual contínuo alinhado com o espaço físico. O movimento do robô é gerado através de um mecanismo de clutch: enquanto o botão de controlo está pre mido, o movimento relativo do controlador é mapeado para comandos incrementais de movimento do robô; ao libertar o botão, o envio de comandos cessa e o utilizador pode reposicionar a mão/controlador sem afetar o robô. Parâmetros de afinação em tempo de execução (por exemplo, multiplicadores de translação e rotação e limia res de jitter) são disponibilizados em painéis de interface dentro do headset para permitir o ajuste de sensibilidade durante a operação. Foi realizado um estudo com utilizadores para avaliar a responsividade perceci onada, a intuitividade do controlo translacional e rotacional e a usabilidade global da interface. Os resultados indicam que o controlo translacional foi, em geral, fácil de aprender e considerado intuitivo pela maioria dos participantes. O controlo ro tacional obteve avaliações globalmente positivas, embora o eixo de roll tenha sido identificado como o mais desafiante. O atraso percecionado foi tipicamente repor tado como tendo baixo impacto, mas o feedback qualitativo salientou a importância de afinação para controlo fino e da legibilidade da interface, incluindo preocupações de acessibilidade para utilizadores com fortes necessidades de correção visual. No seu conjunto, os resultados suportam a teleoperação em RM com gémeo digital como uma abordagem prática e intuitiva, evidenciando simultaneamente compromissos de desenho entre responsividade, estabilidade e acessibilidade da interface.
Esta dissertação apresenta o desenho, implementação e avaliação de um sistema de teleoperação em realidade mista (RM) para controlo de um Universal Robots UR5e utilizando um headset Meta Quest 3S e uma aplicação desenvolvida em Unity. O sistema integra uma camada de interação XR para aquisição da pose e inputs do controlador, uma camada de comunicação e controlo baseada na interface de dashbo ard e em RTDE, e um gémeo digital sincronizado, visualizado em RM, que fornece feedback visual contínuo alinhado com o espaço físico. O movimento do robô é gerado através de um mecanismo de clutch: enquanto o botão de controlo está pre mido, o movimento relativo do controlador é mapeado para comandos incrementais de movimento do robô; ao libertar o botão, o envio de comandos cessa e o utilizador pode reposicionar a mão/controlador sem afetar o robô. Parâmetros de afinação em tempo de execução (por exemplo, multiplicadores de translação e rotação e limia res de jitter) são disponibilizados em painéis de interface dentro do headset para permitir o ajuste de sensibilidade durante a operação. Foi realizado um estudo com utilizadores para avaliar a responsividade perceci onada, a intuitividade do controlo translacional e rotacional e a usabilidade global da interface. Os resultados indicam que o controlo translacional foi, em geral, fácil de aprender e considerado intuitivo pela maioria dos participantes. O controlo ro tacional obteve avaliações globalmente positivas, embora o eixo de roll tenha sido identificado como o mais desafiante. O atraso percecionado foi tipicamente repor tado como tendo baixo impacto, mas o feedback qualitativo salientou a importância de afinação para controlo fino e da legibilidade da interface, incluindo preocupações de acessibilidade para utilizadores com fortes necessidades de correção visual. No seu conjunto, os resultados suportam a teleoperação em RM com gémeo digital como uma abordagem prática e intuitiva, evidenciando simultaneamente compromissos de desenho entre responsividade, estabilidade e acessibilidade da interface.
Descrição
Palavras-chave
Digital Twin Mixed Reality Teleoperation Universal Robots UR5e RTDE Meta Quest 3S Human-Robot Interaction Realidade Mista Teleoperação Gémeo Digital Universal Robots UR5e RTDE Meta Quest 3S Interação Humano-Robô