Manipolazione di oggetti deformabili
Questa pagina raccoglie il mio lavoro sulla manipolazione di oggetti deformabili, dalle basi di percezione e grasping su cavi fino alla ricerca attuale su manipolatori mobili e co-manipolazione. Le attività più recenti sono collegate al progetto SiMOD.
Mobile manipulation di oggetti deformabili
Il progetto
Nel progetto SiMOD lavoro su pipeline di percezione e manipolazione di oggetti deformabili con mobile manipulators.
Uno dei setup principali combina un UR5e montato su base mobile Neobotix MPO-500, con una Intel RealSense D435i installata in prossimità della pinza. Questo consente rilevamento del target, percezione dell’ambiente, grasp planning ed esecuzione anche in scenari parzialmente occlusi o poco strutturati.
Il mio ruolo
Questo lavoro software è principalmente mio, salvo modelli di percezione di terze parti.
- Integrazione della pipeline di percezione e manipolazione
- Logica software per grasping ed esecuzione del task
- Test in simulazione e su piattaforma reale
- Estensione verso comportamenti di manipolazione a feedback di forza
Focus tecnico
- Rilevamento e localizzazione di oggetti deformabili
- RGB-D perception per stima del target
- Grasping di sacchi e oggetti “morbidi”
- Manipolazione reattiva in presenza di vincoli di interazione
- Integrazione tra percezione, motion ed execution control
Co-manipolazione e strategia di interazione
Un aspetto chiave di questa linea di ricerca è la co-manipolazione di grandi oggetti deformabili con più manipolatori.
La logica di controllo non consiste solo nel seguire una traiettoria condivisa. Un robot agisce da leader e decide autonomamente il moto di riferimento, mentre il secondo segue attraverso sensori di forza e un comportamento di controllo passivo basato sulla forza. Questo rende il sistema più tollerante all’incertezza nella deformazione dell’oggetto e nei vincoli di interazione.
Link relativi
Basi di visione e di grasping sui DLOs
Il progetto
Questo lavoro nasce dal mio tirocinio e dalla mia tesi magistrale e ha posto le basi dei progetti successivi sulla manipulation.
Ho sviluppato una pipeline in ROS per la manipolazione di oggetti lineari deformabili, come cavi e corde, su superfici piane. Il workflow combina detection da immagine, ricostruzione 3D della posa, esecuzione del grasp e validazione sia in simulazione sia sul sistema reale.
Cosa ho sviluppato
- Pipeline software completa in ROS per il workflow di manipolazione
- Integrazione tra percezione, stima 3D ed esecuzione del manipolatore
- Simulazione in CoppeliaSim per validare configurazioni di grasp
- Test reali di grasp su cavi
Sintesi del metodo
- Elaborazione di immagini RGB per il rilevamento dei DLO
- Ricostruzione della posa 3D tramite informazione stereo o depth
- Routine di grasp e spostamento di DLO su superficie piana
- Confronto sim-to-real tra comportamento simulato e reale
Nota sui modelli di percezione
Il modulo di segmentazione dei cavi si basava su metodi state-of-the-art per la detection dei DLOs e non su una rete di detection sviluppata da me. I riferimenti sono qui di seguito.
Strumenti e piattaforme lungo questa linea di lavoro
- ROS1 e ROS2
- CoppeliaSim
- RGB-D perception
- Bracci Robotici Universal Robots
- Basi mobili e mobile manipulators
- Controllo di interazione basato sulla forza