Un team coordinato dal professor Vincenzo Ferrari dell’Università di Pisa ha messo a punto un visore che combina le immagini pre operatorie in Realtà Aumentata con la realtà del campo operatorio. Il progetto europeo ha avuto un finanziamento di 4 milioni di euro
La Realtà Aumentata entra in sala operatoria con il progetto VOSTARS (Video and Optical See Through Augmented Reality surgical Systems), coordinato dal professor Vincenzo Ferrari, del dipartimento di Ingegneria dell’Informazione dell’Università di Pisa. Il progetto fa capo a un consorzio di 12 realtà pubbliche e private sparse tra Francia, Italia, Germania e Inghilterra e ha ottenuto un finanziamento da parte della Commissione Europea pari a circa 4 milioni di euro. Protagonista di VOSTARS è un visore indossabile che farà da navigatore in sala operatoria e che guiderà la mano del chirurgo in ogni fase dell’intervento, fornendo informazioni in Realtà Aumentata aggiuntive proprio davanti agli occhi del chirurgo allineate con le informazioni reali del campo operatorio e garantendo una precisione millimetrica.
La sala operatoria oggi
A parlare del progetto è il professor Vincenzo Ferrari: “Ho iniziato a lavorare alla tematica della Realtà Aumentata in chirurgia quando ho intrapreso il dottorato di ricerca nel 2006 e poi io e il mio gruppo di ricerca l’abbiamo portata avanti. Oggi un chirurgo ha a disposizione prima di eseguire l’intervento una serie di informazioni che caratterizzano il paziente anche da un punto di vista morfologico, inteso come conoscenza dello sviluppo tridimensionale delle varie strutture anatomiche. Questo permette di pianificare l’intervento in modo ottimale per ogni paziente, a seconda della sua anatomia o della sua patologia. Quindi, se nel passato il chirurgo si basava sull’anatomia standard e pianificava solo nella sua testa, oggi può predisporre un planning tridimensionale che può anche condividere con il suo team chirurgico. Quello che oggi diventa fondamentale è implementare questa mappa anatomica in sala operatoria, in modo da poter guidare il chirurgo in modo diretto”. Oggi in commercio esistono sistemi di navigazione chirurgica in sala operatoria che partono da immagini. Su un monitor viene proiettata una scena virtuale con tutta la pianificazione pre operatoria, guidando gli strumenti chirurgici durante l’operazione. Il problema è che il chirurgo deve distogliere lo sguardo dal campo operatorio per poter osservare il monitor del navigatore.
La novità di VOSTARS
La novità di VOSTARS è proprio questa: fornire la mappa pre-operatoria direttamente davanti agli occhi del chirurgo, che, sottolinea il professor Ferrari, “non deve voltare lo sguardo verso un monitor aggiuntivo ma può continuare a guardare il campo operatorio e avere al tempo stesso davanti a sé quelle informazioni aggiuntive tanto preziose”. I vantaggi sono chiari: “Il chirurgo potrà ad esempio seguire una linea di taglio precedentemente pianificata vedendola direttamente sovrapposta sul paziente, ottenendo così una maggiore precisione rispetto allo standard, oppure vedere anatomie non ancora esposte. Al tempo stesso potrà accorgersi se nel paziente sta per avvenire un sanguinamento ”. Non dovendo distogliere lo sguardo, il chirurgo potrà accorgersi più facilmente di problematiche di varia natura e si risolverà anche la problematica di coordinazione occhio – mano non banale.
Le problematiche della tecnologia attuale
Ma perché ancora tutto questo non è ancora stato realizzato? Il professor Vincenzo Ferrari lo spiega bene: “Ancora non è stato fatto perché ci sono problematiche sia di tecnologia pura sia di applicazione della stessa che ancora non sono state risolte. C’è quindi bisogno di ricerca e sviluppo. Quando ero dottorando, mi avevano spiegato che erano possibili due possibili approcci. Il primo è un sistema video see – through. L’utente indossa un caschetto per la Realtà Virtuale, delle camere esterne acquisiscono lo scenario reale e le immagini vengono proiettate sul display del caschetto. Su queste immagini si possono aggiungere le informazioni virtuali che interessano al chirurgo. Questo paradigma è molto accurato ma su lunghi periodi non è confortevole ad esempio poiché i movimenti con le mani possono non venire percepiti istantaneamente dal sistema visivo”.
Prosegue il professor Vincenzo Ferrari: “L’altro paradigma è invece il sistema optical see – through, dove la vista attraverso il display non avviene attraverso delle camere ma attraverso lo stesso display, sviluppato con una tecnologia semitrasparente. Un po’ come se su degli occhiali fosse proiettata una informazione aggiuntiva: si vede il mondo circostante direttamente con i propri occhi attraverso questo schermo semi trasparente e, quando necessario, è possibile vedere altra informazione. Questo comporta varie problematiche percettive, come un errore di parallasse (errore di misurazione causato dal differente punto di vista che si può assumere, ndr). All’inizio ho optato per il primo sistema e abbiamo iniziato a portare avanti la ricerca per ottenere allineamento tra reale e virtuale. Tuttavia, è a mio avviso impensabile che un chirurgo possa lavorare tutto il tempo con due camere sulla testa. Così abbiamo cercato una via di mezzo”.
Come funziona VOSTARS
Via di mezzo che ha trovato corpo in VOSTARS. Continua il professor Vincenzo Ferrari: “Abbiamo realizzato un sistema che normalmente è optical see – through ma quando è necessario possa passare a un sistema video see – through. In pratica, davanti al display semitrasparente è posizionato un pannellino che elettronicamente può essere oscurato. Se si vuole passare all’altra modalità, basterà premere un pedale e le camere si accenderanno, passando così al video see – through”. Per fare tutto questo il team di ricerca ha coinvolto una molteplicità di attori e di competenze, dalle industrie ai gruppi di chirurghi agli economisti sanitari. È già stato realizzato un prototipo del visore ma con molta probabilità in autunno il sistema sarà testato in sala operatoria.
